Estoy realizando unas inferencias que estiman la posición de una persona. Específicamente Movenet. En el código, después de realizar la inferencia, se dibujan elipses en los puntos X e Y de los resultados de la inferencia (He quitado la parte de argparse
, pero se puede ver todo en el git de Movenet, es el mismo fichero):
from PIL import Image
from PIL import ImageDraw
from pycoral.adapters import common
from pycoral.utils.edgetpu import make_interpreter
_NUM_KEYPOINTS = 17
interpreter = make_interpreter(args.model)
interpreter.allocate_tensors()
img = Image.open(args.input)
resized_img = img.resize(common.input_size(interpreter), Image.ANTIALIAS)
common.set_input(interpreter, resized_img)
#common.set_input(interpreter, img)
interpreter.invoke()
pose = common.output_tensor(interpreter, 0).copy().reshape(_NUM_KEYPOINTS, 3)
print(pose)
draw = ImageDraw.Draw(img)
width, height = img.size
for i in range(0, _NUM_KEYPOINTS):
draw.ellipse(
xy=[
pose[i][1] * width - 2, pose[i][0] * height - 2,
pose[i][1] * width + 2, pose[i][0] * height + 2
],
fill=(255, 0, 0))
img.save(args.output)
print('Done. Results saved at', args.output)
El output lo hace bien!
Pero estoy intentando unir estos puntos con la recta que toca a un par de puntos (para tener de manera visual un "esqueleto"). He intentado añadir el método draw.line([(x1, y1), (x2, y2)])
pero no está funcionando. Quitandolo de ser bonito, he hecho pruebas más manuales fuera del loop, pero no consigo que la foto tenga cambio alguno.
draw.line([(pose[0][0], pose[0][1]),(pose[1][0], pose[1,1])], fill = 'red', width=3)
draw.line([(pose[2][0], pose[2][1]),(pose[3][0], pose[3,1])], fill = 'red', width=3)
draw.line([(pose[4][0], pose[4][1]),(pose[5][0], pose[5,1])], fill = 'red', width=3)
draw.line([(pose[6][0], pose[6][1]),(pose[7][0], pose[7,1])], fill = 'red', width=3)
draw.line([(pose[8][0], pose[8][1]),(pose[9][0], pose[9,1])], fill = 'red', width=3)
draw.line([(pose[10][0], pose[10][1]),(pose[11][0], pose[11,1])], fill = 'red', width=3)
draw.line([(pose[12][0], pose[12][1]),(pose[13][0], pose[13,1])], fill = 'red', width=3)
draw.line([(pose[14][0], pose[14][1]),(pose[15][0], pose[15,1])], fill = 'red', width=3)
BTW el output de la inferencia son 3 coordenadas por punto (17 joints en total), de las cuales imagino que por como dibuja las elipses, x
e y
son la 0
y 1
respectivamente. He pensado que podría usar matplotlib al tener el output en formato numpy.ndarray
, pero quería empezar ajustándome al cómo dibujan las elipses y hacerlo de manera similar.
[[0.2581018 0.5776564 0.70056206]
[0.24990809 0.6022375 0.6350124 ]
[0.22532697 0.5776564 0.49981618]
[0.27039236 0.589947 0.43016967]
[0.20893955 0.53259104 0.5694627 ]
[0.32365146 0.6063344 0.15568045]
[0.2949735 0.41378227 0.24581124]
[0.44655707 0.67188406 0.6350124 ]
[0.4178791 0.34413573 0.84395194]
[0.36462 0.7456274 0.75382113]
[0.32365146 0.31545776 0.36462 ]
[0.5407847 0.58175325 0.6350124 ]
[0.5448816 0.4547508 0.6350124 ]
[0.70056206 0.68827146 0.6350124 ]
[0.70875573 0.4793319 0.6350124 ]
[0.8521456 0.6513998 0.84395194]
[0.8685331 0.4711382 0.70056206]]
Ejemplo mínimo viable testeado en jupyter (por algún motivo, por separado en jupter, los puntos se pintan desplazados, pero por el momento creo que es irrelevante para la pregunta de dibujar lineas):
import numpy as np
from PIL import Image
from PIL import ImageDraw
pose = np.load('/home/mk/Desktop/testing_statics/dance_pose_file.npy')
img = Image.open('/home/mk/Desktop/testing_statics/dance_pose.jpg')
_NUM_KEYPOINTS = 17
width, height = img.size
draw = ImageDraw.Draw(img)
for i in range(0, _NUM_KEYPOINTS):
draw.ellipse(
xy=[
pose[i][1] * width - 2, pose[i][0] * height - 2,
pose[i][1] * width + 2, pose[i][0] * height + 2
],
fill=(255, 0, 0))
print('DRAWING LINE')
print('LINE DRAWN')
draw.line([(pose[7][1], pose[7][0]),(pose[5][1], pose[5,0])], fill = 'red', width=3)
draw.line([(pose[9][1], pose[9][0]),(pose[7][1], pose[7,0])], fill = 'red', width=3)
# Another way to test draw.line
pos1 = (pose[7][1], pose[7][0])
pos2 = (pose[5][1], pose[5,0])
draw.line((pos1, pos2), fill=(255, 102, 168), width=20)
img.save('/home/mk/Desktop/to_del.jpg')