0

Como lo dice el título, necesito saber como programar un efecto visual de retardo en Python utilizando un video como entrada, procesarlo con Opencv, y que retorne el video original aplicando este efecto. El efecto se logra al cargar primero los pixeles de más arriba y luego los de abajo, es decir, las líneas tienen un retardo según la posición en el eje vertical. Las de más abajo se muestran más tarde

1
  • Bienvenido a Stack Overflow en español. Las preguntas del tipo: "Tengo que hacer esto" sin mostrar el código que has escrito no suelen ser bien recibidas ya que la respuesta será siempre adivinando y no encaja en el formato de preguntas y respuestas del sitio. Recomiendo que hagas el recorrido de bienvenida para entender el funcionamiento de SO y ya de paso ganar tu primera medalla. Por otro lado, estaría bien que le echaras un vistazo a Cómo preguntar para que tus preguntas reciban respuesta cuanto antes.
    – Richard
    Commented el 18 mar. 2021 a las 18:44

1 respuesta 1

1

Una solución directa (con unos resultados que distan bastante de ser óptimos) consistiría en dividir el alto de la imagen en un número de "franjas", para ir tomando una franja de cada frame, y así ir construyendo cada frame destino.

Por ejemplo, partimos del siguiente vídeo:

Bailarina

Cuya resolución vertical es de 360 líneas. Esto se puede dividir por ejemplo en 45 franjas de 8 pixels cada una.

El primer frame del vídeo resultante se compondrá de:

  • La franja 0 del frame 45
  • La franja 1 del frame 44
  • La franja 2 del frame 43
  • etc.

Análogamente el segundo frame del vídeo resultante se compondrá de:

  • La franja 0 del frame 46
  • La franja 1 del frame 45
  • La franja 2 del frame 44
  • etc.

y así sucesivamente.

Si tenemos que el vídeo completo es un array numpy (un array en el que cada elemento es un frame, el cual a su vez es otro array) tomar las franjas e ir creando con ellas los frames resultantes es bastante simple y se limita a crear bucles y acceder a los slices apropiados del array numpy.

Quizás la parte más farragosa sea la lectura y escritura del vídeo.

Lectura del video

Las siguientes lineas dejan en buf el array deseado

import cv2
import numpy as np

cap = cv2.VideoCapture('Ballet.mp4')
frameCount = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
frameWidth = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
frameHeight = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))

buf = np.empty((frameCount, frameHeight, frameWidth, 3), np.dtype('uint8'))

fc = 0
ret = True

while (fc < frameCount  and ret):
    ret, buf[fc] = cap.read()
    fc += 1

cap.release()

El resultado es un array cuyo .shape en este ejmplo es (232, 360, 480, 3) que indica que tenemos 232 frames (unos 10s de vídeo), de 480x360 pixels cada frame, con una profundidad de color 3.

Creación de los frames resultantes

Como dije, se trata de crear un nuevo array numpy a base de hacer slices apropiadamente del array buf:

tam_franja = 8
h = buf.shape[1]   # Alto del frame
n = h//tam_franja  # numero de franjas
f = np.array(
    [ np.concatenate([buf[t-i, i*tam_franja:(i+1)*tam_franja] for i in range(n)])
      for t in range(n, buf.shape[0])
    ])

el array f (resultado) crea cada frame iterando t. Cada frame se crea iterando i y tomando franjas apropiadas, que se juntan en un nuevo array con np.concatenate().

Conversión a vídeo del resultado

Las siguientes líneas vuelcan el array f de nuevo a disco, en este caso en formato avi, con el codec divx.

size = f.shape
fps = 25
out = cv2.VideoWriter('output.avi', cv2.VideoWriter_fourcc(*'DIVX'), fps, (size[2], size[1]))
for data in f:
    out.write(data)
out.release()

Y este es el (cochambroso) resultado:

Resultado

Más o menos se logra el resultado buscado, pero se notan demasiado los "bordes" entre trozos. Desconozco si sería posible interpolar de alguna forma esos saltos entre franjas para que no se noten tanto, o si el secreto es simplemente usar franjas más estrechas (pero entonces habría que avanzar más en el tiempo a la hora de crear cada frame, es decir, si en este ejemplo cada frame se toma "juntando" 45 frames del vídeo original, si disminuimos el ancho de la franja habría que juntar más frames, por lo que la distorsion del objeto que se mueve sería mucho mayor).

Actualización

Tratando de reducir un poco los "artefactos" introducidos, aumenté el vídeo de entrada intercalando entre cada fotograma otra secuencia de ellos que fuese "mezclando progresivamente" los dos fotogramas en cuestión. Así por ejemplo, entre cada par de fotogramas intercalé otros 6 de modo que el primero intercalado es un 88% del primero y un 12% del último, el siguiente es un 76% del primero y 14% del último, etc.

El vídeo así aumentado, si se reprodujera, se vería como a cámara lenta, 8 veces más lento, pero sigue sin haber una transición fluida entre fotogramas, simplemente se ve como si se estuviera reproduciendo foto a foto con un "fade" entre fotos.

Este video "aumentado" es sometido al mismo procesamiento de antes, y a la hora de generar el vídeo final se multiplican los fps por 8 para que se reproduzca a velocidad normal.

El resultado mejora un poco (no puedo pegar aqui el gif pues por alguna razón el cambio de fps hace que sea demasiado pesado).

No obstante creo que para obtener los mejores resultados es necesario ir a tamaños de franja de 1 pixel, lo que significa probablemente grabar el vídeo originalmente a alto número de fps para que los movimientos rápidos queden captados en un mayor número de fotogramas y la distorsión introducida no sea tan alta. En este sentido el vídeo que elegí como prueba no es el mejor posible, ya que la bailarina gira demasiado deprisa.

4
  • Para reducir los "bordes" entre trozos también podrías insertar un frame extra, resultado de superponer dos frames contiguos para así tener un "paso intermedio" a ambos frames que deje el movimiento más "fluido"
    – Benito-B
    Commented el 18 mar. 2021 a las 21:06
  • @Benito-B Sí, eso se me ocurrió tras poner la respuesta. Hice ese experimento (de hecho intercalando varios frames interpolados), y sí, un poco se mejora, pero no lo suficiente porque el método de interpolación es un poco burdo (se "suman" las imágenes inicial y final, cada una afectada de un coeficiene que la hace más transparente o menos, según el extremo del intervalo interpolado). Eso no interpola verdaderamente movimientos (lo que sería mucho más complejo). En realidad creo que para hacer este tipo de videos habría que filmar a un elevado numero de fps que se reduciría al procesarlo.
    – abulafia
    Commented el 18 mar. 2021 a las 21:09
  • @abulafia podrías explicarme detalladamente este paso ? f = np.array( [ np.concatenate([buf[t-i, itam_franja:(i+1)*tam_franja] for i in range(n)]) for t in range(n, buf.shape[0]) ]) especificamente no entiendo itam_franja:(i+1)*tam_franja Commented el 21 mar. 2021 a las 17:50
  • Es un slice, es decir una "rodaja" de la imagen original. La rodaja usa la sintaxis inicio:fin y copia todas las filas (de pixeles) entre ambos extremos (exceptuando fin). Por ejempo, si fuese 5:10, copiaría las filas de pixeles 5,6,7,8, y 9. En mi expresión uso i*tam_franja:(i+1)*tam_franja. Imagina que tam_franja es 5 y que i vale 0. Eso daría 0:5, o sea, las cinco primeras filas. En la siguiente iteración i es 1, y por tanto tendríamos 5:10, o sea, las cinco siguientes filas, etc. Sólo que esas filas van siendo tomadas de frames sucesivos debido a buffer[t-i, ...
    – abulafia
    Commented el 21 mar. 2021 a las 17:56

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.