import re
import numpy as np
import cv2
from mss import mss
from PIL import Image
import pytesseract #pip install pytesseract
a_aux = ""
pytesseract.pytesseract.tesseract_cmd = r'C:\Program Files\Tesseract-OCR\tesseract'
#Establesco las coordenadas de la pantalla que quiero capturar
mon = {'left': 390, 'top': 100, 'width': 530, 'height': 730}
with mss() as sct:
while True:
screenShot = sct.grab(mon)
img = Image.frombytes('RGB', (screenShot.width, screenShot.height), screenShot.rgb, )
frame = np.array(img)
frame = cv2.cvtColor(frame, cv2.COLOR_RGB2BGR)
all_input_text = pytesseract.image_to_string(frame,lang='spa') #Reconocimiento Optico de Caracteres en español
all_input_text = all_input_text.lower() #convierto todo a minusculas
a = all_input_text
if(a == a_aux):
pass
elif(a != None):
print("debo contestar!")
a_aux = a
#print(a)
print(repr(a))
cv2.imshow('window_name', frame)
if cv2.waitKey(33) & 0xFF in (ord('q'), 27, ):
break
Estoy usando este codigo con el filtro HSV para extraer solo las textbox que contienen los mensajes de la otra persona (osea las encuadradas en cuadros blancos y no verdes).
Ahora necesitaba una regex para extraer solamente el texto del ultimo mensaje que envio la otra persona, osea "TODAVIA NO ESTA CONFIRMADO PERO LO MAS PROBABLE ES QUE SI Y MESA FUEGUINA"
Algo que es importante es que NO necesariamente el texto debe ser en mayuscula, en este caso lo es porque la imagen que consegui en internet de un chat rondom justo era asi, pero no puede ser condicion necesaria de la regex las mayusculas porque en un chat real puede que no sean usadas.
Actualmente el programa esta extrayendo esto, si lo visualizo con:
print(repr(a))
Es:
'<\n\nb buenas noches si\n\n \n\nheledla ob\n\n \n\n \n\nwa partir del dia jueves 16\n\nestara depositado un bono\nextraordinario para beneficiarios\nde red sol y pel.\n\ntodabia no esta comfirmado pero\nlo mas probable es que si y mesa\n| fuesuina\n\n \n\x0c'
Entre cuadros de texto lo que suele haber en medio son 2 o mas saltos de linea consecutivos por ejemplo: \n\n
o \n \n
o \n\n \n
o \n\n \n\n
o \n\n \n\n \n\n
, pero cuando esta dentro del mismo textbox solo usa un solo salto de linea \n
.
Para "extraer" el ultimo mensaje creo que deberia tomar lo que sigue de \n\n
o \n \n
o \n\n \n
o \n\n \n\n
o \n\n \n\n \n\n
hasta el final, pero no los de los cuadros anteriores quedando en este caso solamente "TODAVIA NO ESTA CONFIRMADO PERO LO MAS PROBABLE ES QUE SI Y MESA FUEGUINA"
Lo que me complica para plantear la regex es que al final tambien hay unos \n\n \n\
y luego x0c
, pero eso no es un mensaje que se deba tomar, sino que necesito lo anterior a eso.
\n \n
o\n\n \n
o\n\n \n\n
o\n\n \n\n \n\n
, creo que lo mejor para ello es el uso de una regex. Pero se me complica su planteo porque pueden ser dos o mas saltos de linea, ademas de que puede haber espacios y ademas debe agarrarse el ultimo texto\n\n \n el texto adhahdsadsj \n\n \n\x0c
o con\n\n el texto adhahdsadsj \n\n \x0c