1

Estoy realizando unas inferencias que estiman la posición de una persona. Específicamente Movenet. En el código, después de realizar la inferencia, se dibujan elipses en los puntos X e Y de los resultados de la inferencia (He quitado la parte de argparse, pero se puede ver todo en el git de Movenet, es el mismo fichero):

from PIL import Image
from PIL import ImageDraw
from pycoral.adapters import common
from pycoral.utils.edgetpu import make_interpreter

_NUM_KEYPOINTS = 17

  interpreter = make_interpreter(args.model)
  interpreter.allocate_tensors()

  img = Image.open(args.input)
  resized_img = img.resize(common.input_size(interpreter), Image.ANTIALIAS)
  common.set_input(interpreter, resized_img)
  #common.set_input(interpreter, img)

  interpreter.invoke()

  pose = common.output_tensor(interpreter, 0).copy().reshape(_NUM_KEYPOINTS, 3)
  print(pose)
  draw = ImageDraw.Draw(img)
  width, height = img.size
  for i in range(0, _NUM_KEYPOINTS):
    draw.ellipse(
        xy=[
            pose[i][1] * width - 2, pose[i][0] * height - 2,
            pose[i][1] * width + 2, pose[i][0] * height + 2
        ],
        fill=(255, 0, 0))
  img.save(args.output)
  print('Done. Results saved at', args.output)

El output lo hace bien!

introducir la descripción de la imagen aquí

Pero estoy intentando unir estos puntos con la recta que toca a un par de puntos (para tener de manera visual un "esqueleto"). He intentado añadir el método draw.line([(x1, y1), (x2, y2)]) pero no está funcionando. Quitandolo de ser bonito, he hecho pruebas más manuales fuera del loop, pero no consigo que la foto tenga cambio alguno.

    draw.line([(pose[0][0], pose[0][1]),(pose[1][0], pose[1,1])], fill = 'red', width=3)
    draw.line([(pose[2][0], pose[2][1]),(pose[3][0], pose[3,1])], fill = 'red', width=3)
    draw.line([(pose[4][0], pose[4][1]),(pose[5][0], pose[5,1])], fill = 'red', width=3)
    draw.line([(pose[6][0], pose[6][1]),(pose[7][0], pose[7,1])], fill = 'red', width=3)
    draw.line([(pose[8][0], pose[8][1]),(pose[9][0], pose[9,1])], fill = 'red', width=3)
    draw.line([(pose[10][0], pose[10][1]),(pose[11][0], pose[11,1])], fill = 'red', width=3)
    draw.line([(pose[12][0], pose[12][1]),(pose[13][0], pose[13,1])], fill = 'red', width=3)
    draw.line([(pose[14][0], pose[14][1]),(pose[15][0], pose[15,1])], fill = 'red', width=3)

BTW el output de la inferencia son 3 coordenadas por punto (17 joints en total), de las cuales imagino que por como dibuja las elipses, x e y son la 0 y 1 respectivamente. He pensado que podría usar matplotlib al tener el output en formato numpy.ndarray, pero quería empezar ajustándome al cómo dibujan las elipses y hacerlo de manera similar.

[[0.2581018  0.5776564  0.70056206]
 [0.24990809 0.6022375  0.6350124 ]
 [0.22532697 0.5776564  0.49981618]
 [0.27039236 0.589947   0.43016967]
 [0.20893955 0.53259104 0.5694627 ]
 [0.32365146 0.6063344  0.15568045]
 [0.2949735  0.41378227 0.24581124]
 [0.44655707 0.67188406 0.6350124 ]
 [0.4178791  0.34413573 0.84395194]
 [0.36462    0.7456274  0.75382113]
 [0.32365146 0.31545776 0.36462   ]
 [0.5407847  0.58175325 0.6350124 ]
 [0.5448816  0.4547508  0.6350124 ]
 [0.70056206 0.68827146 0.6350124 ]
 [0.70875573 0.4793319  0.6350124 ]
 [0.8521456  0.6513998  0.84395194]
 [0.8685331  0.4711382  0.70056206]]

Ejemplo mínimo viable testeado en jupyter (por algún motivo, por separado en jupter, los puntos se pintan desplazados, pero por el momento creo que es irrelevante para la pregunta de dibujar lineas):

import numpy as np
from PIL import Image
from PIL import ImageDraw

pose = np.load('/home/mk/Desktop/testing_statics/dance_pose_file.npy')
img = Image.open('/home/mk/Desktop/testing_statics/dance_pose.jpg')
_NUM_KEYPOINTS = 17
width, height = img.size
draw = ImageDraw.Draw(img)

for i in range(0, _NUM_KEYPOINTS):
                draw.ellipse(
                    xy=[
                        pose[i][1] * width - 2, pose[i][0] * height - 2,
                        pose[i][1] * width + 2, pose[i][0] * height + 2
                    ],
                    fill=(255, 0, 0))

print('DRAWING LINE')

print('LINE DRAWN')
draw.line([(pose[7][1], pose[7][0]),(pose[5][1], pose[5,0])], fill = 'red', width=3)
draw.line([(pose[9][1], pose[9][0]),(pose[7][1], pose[7,0])], fill = 'red', width=3)
# Another way to test draw.line
pos1 = (pose[7][1], pose[7][0])
pos2 = (pose[5][1], pose[5,0])
draw.line((pos1, pos2), fill=(255, 102, 168), width=20)

img.save('/home/mk/Desktop/to_del.jpg')
4
  • 1
    Perdon el comentario anterior, no mire bien el codigo. Estas seguro de que tu fragmento de codigo donde dibujas las lineas se esta ejecutando? Si esta dentro de un bucle for, te aseguraste de que el iterador no este agotado (ejemplo, un iterador sobre una lista vacia)? Si esta dentro de una funcion, la estas llamando correctamente? Podrias poner un ejemplo minimo, completo y verificable donde intentes dibujar las lineas para entender mejor que pasa por favor?
    – Dante S.
    Commented el 27 sept. 2022 a las 9:59
  • 1
    Mmmm estoy observando que en la parte donde creas las elipses, multiplicas pose[i][0 y 1] por height y width respectivamente. Si queres unir las elipses con una linea, no tendrias que hacer lo mismo cuando vas a dibujarlas?
    – Dante S.
    Commented el 27 sept. 2022 a las 10:07
  • He editado para añidir un EMCV. Acabo de probar también lo que has dicho y efectivamente! Le he puesto esa operación solo en una linea de las draw lines, y se ha dibujado. Había visto eso pero pensaba que sería nomenclatura específica para la elipse (una recta necesitaría 2 puntos y ya, una elipse, con radios y demás, no estaba seguro). @DanteS. Mil gracias! Puedes ponerlo como respuesta si quieres! Si no, la añado cuando me deje SO!
    – M.K
    Commented el 27 sept. 2022 a las 10:11
  • 1
    El tema de logica fue mas matematico que de programacion. Piensa que lo que haces realmente es tratar de unir el centro de dos elipses. Si los puntos por los que pasa la recta no son exactamente esos, la recta no va a unir los puntos correctos (y encima menores que uno). En un ratito lo convierto en respuesta c:
    – Dante S.
    Commented el 27 sept. 2022 a las 10:18

1 respuesta 1

1

Lo que esta pasando es que no estas usando los puntos correctos. Supongo que cada item de pos es un porcentaje del ancho y alto respectivamente. Eso significa que al dibujar las lineas sin usar la solucion propuesta, estas se intentan dibujar en posiciones como (0.1, 0.1) (0.5, 0.5). Y por supuesto, no es posible dibujar menos de un pixel (supongo que pillow redondea o trunca los numeros).

Eso significa que la solucion es, en ese caso, usar los mismos puntos obtenidos para hacer el centro de la ellipse (esto para unir ambos centros). En este caso seria hacer la multiplicacion mencionada mas arriba:

draw.line([pos[0][0] * width, pos[0][1] * height, ...], ...)

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.