de esta manera es la forma mas correcta de ventana en pygame

import pygame
import sys
pygame.init()

ventana = pygame.display.set_mode((800,600))# la tupla (800,600) es para darle el atamaño a la ventana

fps = 60 # cantidad de fps
clock=pg.time.Clock() # instancia del limitador de fps 


while True: # no hace falta crear una variable para cerrar el bucle, porque puede
            #traer error al finalizar pygame, por eso se captura el evento con
            #pygame.QUIT, para luego utilizar la función pygame.quit() que finaliza
            #todo lo relacionado con pygame

    for evento in pygame.event.get():
        if evento.type == pygame.QUIT:
           pygame.quit() # con esto cerras la ventana
           sys.exit() # con esto le comunicas al sistema que se cierra la ejecución

pygame.display.update() #actualiza la pantalla por cada frame, sino te queda rastro de todo lo que hagas
clock.tick(fps) # esto es un limitador de frames para que no se esfuerce demas la pc