Como lo dice el título, necesito saber como programar un efecto visual de retardo en Python utilizando un video como entrada, procesarlo con Opencv, y que retorne el video original aplicando este efecto. El efecto se logra al cargar primero los pixeles de más arriba y luego los de abajo, es decir, las líneas tienen un retardo según la posición en el eje vertical. Las de más abajo se muestran más tarde
-
Bienvenido a Stack Overflow en español. Las preguntas del tipo: "Tengo que hacer esto" sin mostrar el código que has escrito no suelen ser bien recibidas ya que la respuesta será siempre adivinando y no encaja en el formato de preguntas y respuestas del sitio. Recomiendo que hagas el recorrido de bienvenida para entender el funcionamiento de SO y ya de paso ganar tu primera medalla. Por otro lado, estaría bien que le echaras un vistazo a Cómo preguntar para que tus preguntas reciban respuesta cuanto antes.– RichardCommented el 18 mar. 2021 a las 18:44
1 respuesta
Una solución directa (con unos resultados que distan bastante de ser óptimos) consistiría en dividir el alto de la imagen en un número de "franjas", para ir tomando una franja de cada frame, y así ir construyendo cada frame destino.
Por ejemplo, partimos del siguiente vídeo:
Cuya resolución vertical es de 360 líneas. Esto se puede dividir por ejemplo en 45 franjas de 8 pixels cada una.
El primer frame del vídeo resultante se compondrá de:
- La franja 0 del frame 45
- La franja 1 del frame 44
- La franja 2 del frame 43
- etc.
Análogamente el segundo frame del vídeo resultante se compondrá de:
- La franja 0 del frame 46
- La franja 1 del frame 45
- La franja 2 del frame 44
- etc.
y así sucesivamente.
Si tenemos que el vídeo completo es un array numpy (un array en el que cada elemento es un frame, el cual a su vez es otro array) tomar las franjas e ir creando con ellas los frames resultantes es bastante simple y se limita a crear bucles y acceder a los slices apropiados del array numpy.
Quizás la parte más farragosa sea la lectura y escritura del vídeo.
Lectura del video
Las siguientes lineas dejan en buf
el array deseado
import cv2
import numpy as np
cap = cv2.VideoCapture('Ballet.mp4')
frameCount = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))
frameWidth = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
frameHeight = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
buf = np.empty((frameCount, frameHeight, frameWidth, 3), np.dtype('uint8'))
fc = 0
ret = True
while (fc < frameCount and ret):
ret, buf[fc] = cap.read()
fc += 1
cap.release()
El resultado es un array cuyo .shape
en este ejmplo es (232, 360, 480, 3)
que indica que tenemos 232 frames (unos 10s de vídeo), de 480x360 pixels cada frame, con una profundidad de color 3.
Creación de los frames resultantes
Como dije, se trata de crear un nuevo array numpy a base de hacer slices apropiadamente del array buf
:
tam_franja = 8
h = buf.shape[1] # Alto del frame
n = h//tam_franja # numero de franjas
f = np.array(
[ np.concatenate([buf[t-i, i*tam_franja:(i+1)*tam_franja] for i in range(n)])
for t in range(n, buf.shape[0])
])
el array f
(resultado) crea cada frame iterando t
. Cada frame se crea iterando i
y tomando franjas apropiadas, que se juntan en un nuevo array con np.concatenate()
.
Conversión a vídeo del resultado
Las siguientes líneas vuelcan el array f de nuevo a disco, en este caso en formato avi, con el codec divx.
size = f.shape
fps = 25
out = cv2.VideoWriter('output.avi', cv2.VideoWriter_fourcc(*'DIVX'), fps, (size[2], size[1]))
for data in f:
out.write(data)
out.release()
Y este es el (cochambroso) resultado:
Más o menos se logra el resultado buscado, pero se notan demasiado los "bordes" entre trozos. Desconozco si sería posible interpolar de alguna forma esos saltos entre franjas para que no se noten tanto, o si el secreto es simplemente usar franjas más estrechas (pero entonces habría que avanzar más en el tiempo a la hora de crear cada frame, es decir, si en este ejemplo cada frame se toma "juntando" 45 frames del vídeo original, si disminuimos el ancho de la franja habría que juntar más frames, por lo que la distorsion del objeto que se mueve sería mucho mayor).
Actualización
Tratando de reducir un poco los "artefactos" introducidos, aumenté el vídeo de entrada intercalando entre cada fotograma otra secuencia de ellos que fuese "mezclando progresivamente" los dos fotogramas en cuestión. Así por ejemplo, entre cada par de fotogramas intercalé otros 6 de modo que el primero intercalado es un 88% del primero y un 12% del último, el siguiente es un 76% del primero y 14% del último, etc.
El vídeo así aumentado, si se reprodujera, se vería como a cámara lenta, 8 veces más lento, pero sigue sin haber una transición fluida entre fotogramas, simplemente se ve como si se estuviera reproduciendo foto a foto con un "fade" entre fotos.
Este video "aumentado" es sometido al mismo procesamiento de antes, y a la hora de generar el vídeo final se multiplican los fps por 8 para que se reproduzca a velocidad normal.
El resultado mejora un poco (no puedo pegar aqui el gif pues por alguna razón el cambio de fps hace que sea demasiado pesado).
No obstante creo que para obtener los mejores resultados es necesario ir a tamaños de franja de 1 pixel, lo que significa probablemente grabar el vídeo originalmente a alto número de fps para que los movimientos rápidos queden captados en un mayor número de fotogramas y la distorsión introducida no sea tan alta. En este sentido el vídeo que elegí como prueba no es el mejor posible, ya que la bailarina gira demasiado deprisa.
-
Para reducir los "bordes" entre trozos también podrías insertar un frame extra, resultado de superponer dos frames contiguos para así tener un "paso intermedio" a ambos frames que deje el movimiento más "fluido"– Benito-BCommented el 18 mar. 2021 a las 21:06
-
@Benito-B Sí, eso se me ocurrió tras poner la respuesta. Hice ese experimento (de hecho intercalando varios frames interpolados), y sí, un poco se mejora, pero no lo suficiente porque el método de interpolación es un poco burdo (se "suman" las imágenes inicial y final, cada una afectada de un coeficiene que la hace más transparente o menos, según el extremo del intervalo interpolado). Eso no interpola verdaderamente movimientos (lo que sería mucho más complejo). En realidad creo que para hacer este tipo de videos habría que filmar a un elevado numero de fps que se reduciría al procesarlo.– abulafiaCommented el 18 mar. 2021 a las 21:09
-
@abulafia podrías explicarme detalladamente este paso ? f = np.array( [ np.concatenate([buf[t-i, itam_franja:(i+1)*tam_franja] for i in range(n)]) for t in range(n, buf.shape[0]) ]) especificamente no entiendo itam_franja:(i+1)*tam_franja Commented el 21 mar. 2021 a las 17:50
-
Es un slice, es decir una "rodaja" de la imagen original. La rodaja usa la sintaxis
inicio:fin
y copia todas las filas (de pixeles) entre ambos extremos (exceptuando fin). Por ejempo, si fuese5:10
, copiaría las filas de pixeles 5,6,7,8, y 9. En mi expresión usoi*tam_franja:(i+1)*tam_franja
. Imagina quetam_franja
es 5 y quei
vale 0. Eso daría0:5
, o sea, las cinco primeras filas. En la siguiente iteracióni
es 1, y por tanto tendríamos5:10
, o sea, las cinco siguientes filas, etc. Sólo que esas filas van siendo tomadas de frames sucesivos debido abuffer[t-i, ...
– abulafiaCommented el 21 mar. 2021 a las 17:56