2

Quiero conocer la dirección de la cara (head pose) y saber sus movimientos de translación y rotación.

Lo primero que hago es detectar si hay cara en la imagen y obtener todos los puntos que la representan mediante la librería dlib. A continuación muestro un mapa de los puntos de la cara.

introducir la descripción de la imagen aquí

Cada punto me da dos valores, los cuales son sus coordendas XY en una lista, por ejemplo para dos puntos aleatorios si los imprimo obtengo:

(201, 203) (213, 187)

Según la documentación de OpenCV debo emplear la función cv2.solvePnP() y a esta introducirle los siguientes parámetros:

  • objectPoints: Puntos 3D a trabajar.
  • imagePoints: Puntos 2D.
  • cameraMatrix: Matriz cámara.
  • distCoeffs:coeficientes de distorsión.

Para los dos últimos si no leo mal en esta otra documentación (la previa a la primera mostrada) los obtengo de aplicar cv2.calibrateCamera() pero resulta que a estos hay que volver a defnirle objectPoints y imagePoints.

Ahora mis dudas,

  1. imagePoints son los puntos 2D, ¿debo entonces aquí introducirle los puntos obtenidos de las diferentes coordenadas de la cara?

  2. objectPoints. Sinceramente, ni idea que es lo que debo introducir aquí, puesto que son la representación de los valores 3D de mis valores 2D y no entiendo cómo obtenerlos.

Mi código:

import dlib
import numpy as np
import cv2

detector = dlib.get_frontal_face_detector() # DETECTAR CARA DE FRENTE
predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat") # Puntos de la cara
imgpoints = []
objpoints = []

cap = cv2.VideoCapture(0)
while(True):
    # 1. Preparo la imagen
    _, frame = cap.read()
    frame = cv2.flip(frame, 1)
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    # 2. Detecto cara y puntos dlib
    faces = detector(gray)
    if len(faces) > 0:  # mirar lo del not none
        for face in faces:
            # Dibujo rectangulo cara
            x1, y1 = face.left(), face.top()
            x2, y2 = face.right(), face.bottom()
            cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2)
            # Obtengo puntos de estudio
            landmarks = predictor(gray, face)
            p17 = (landmarks.part(17).x, landmarks.part(17).y)
            p18 = (landmarks.part(18).x, landmarks.part(18).y)
            # Dibujo puntos
            cv2.circle(frame, p17, 1, (0, 0, 255), -1)
            cv2.circle(frame, p18, 1, (0, 0, 255), -1)
            imgpoints.append(p17)
            imgpoints.append(p18)
            print(imgpoints)

    # 3. Empiezo FACE POSE
    ret, mtx, dist, rvecs, tvecs = cv.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)
    ret, rvecs, tvecs = cv2.solvePnP(objpoints, imgpoints, mtx, dist)

    # 99. Muestro resultados
    cv2.imshow('frame',frame)

    #
    key = cv2.waitKey(1)
    if key == 27: # Esc
        break

# When everything done, release the capture
cap.release()
cv2.destroyAllWindows()

¡Salud y gracias!

2
  • Conseguiste solucionarlo? Yo me encuentro ahora en un problema similar.
    – xXNukem KS
    el 10 sep. 2021 a las 7:30
  • Lograste solucionarlo? tengo un problema similar el 9 ene. 2023 a las 15:44

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

Examina otras preguntas con la etiqueta o formula tu propia pregunta.