0
import re
import numpy as np
import cv2
from mss import mss
from PIL import Image
import pytesseract #pip install pytesseract

a_aux = ""

pytesseract.pytesseract.tesseract_cmd = r'C:\Program Files\Tesseract-OCR\tesseract'

#Establesco las coordenadas de la pantalla que quiero capturar
mon = {'left': 390, 'top': 100, 'width': 530, 'height': 730}

with mss() as sct:
    while True:
        screenShot = sct.grab(mon)
        img = Image.frombytes('RGB', (screenShot.width, screenShot.height), screenShot.rgb, )
        frame = np.array(img)
        frame = cv2.cvtColor(frame, cv2.COLOR_RGB2BGR)

        all_input_text = pytesseract.image_to_string(frame,lang='spa') #Reconocimiento Optico de Caracteres en español

        all_input_text = all_input_text.lower() #convierto todo a minusculas

        a = all_input_text

        if(a == a_aux):
            pass

        elif(a != None):
            print("debo contestar!")
            a_aux = a
            #print(a)
            print(repr(a))

        cv2.imshow('window_name', frame)


        if cv2.waitKey(33) & 0xFF in (ord('q'), 27, ):
            break

Estoy usando este codigo con el filtro HSV para extraer solo las textbox que contienen los mensajes de la otra persona (osea las encuadradas en cuadros blancos y no verdes).

Ahora necesitaba una regex para extraer solamente el texto del ultimo mensaje que envio la otra persona, osea "TODAVIA NO ESTA CONFIRMADO PERO LO MAS PROBABLE ES QUE SI Y MESA FUEGUINA"

Algo que es importante es que NO necesariamente el texto debe ser en mayuscula, en este caso lo es porque la imagen que consegui en internet de un chat rondom justo era asi, pero no puede ser condicion necesaria de la regex las mayusculas porque en un chat real puede que no sean usadas.

introducir la descripción de la imagen aquí

Actualmente el programa esta extrayendo esto, si lo visualizo con:

print(repr(a))

Es:

'<\n\nb buenas noches si\n\n \n\nheledla ob\n\n \n\n \n\nwa partir del dia jueves 16\n\nestara depositado un bono\nextraordinario para beneficiarios\nde red sol y pel.\n\ntodabia no esta comfirmado pero\nlo mas probable es que si y mesa\n| fuesuina\n\n \n\x0c'

Entre cuadros de texto lo que suele haber en medio son 2 o mas saltos de linea consecutivos por ejemplo: \n\n o \n \n o \n\n \n o \n\n \n\n o \n\n \n\n \n\n, pero cuando esta dentro del mismo textbox solo usa un solo salto de linea \n.

Para "extraer" el ultimo mensaje creo que deberia tomar lo que sigue de \n\n o \n \n o \n\n \n o \n\n \n\n o \n\n \n\n \n\n hasta el final, pero no los de los cuadros anteriores quedando en este caso solamente "TODAVIA NO ESTA CONFIRMADO PERO LO MAS PROBABLE ES QUE SI Y MESA FUEGUINA"

Lo que me complica para plantear la regex es que al final tambien hay unos \n\n \n\ y luego x0c, pero eso no es un mensaje que se deba tomar, sino que necesito lo anterior a eso.

4
  • No se tu objetivo. Pero creo que te complicarias menos creando un bot de whatsapp, en lugar de hacer un codigo que obtenga el ultimo mensaje sacando screenshots todo el tiempo. Ademas, si lees detenidamente la cadena que obtienes, veras que algunas palabras no fueron detectadas correctamente (como fueguina que se detecto como fuesuina, o te agrego "heledla ob" luego del "buenas noches si")
    – Dante S.
    Commented el 20 ene. 2022 a las 2:01
  • No se nada del mundo de los bots de whatsapp, pero tiene pinta de que para ti seria lo mejor.
    – Dante S.
    Commented el 20 ene. 2022 a las 2:02
  • Es un proyecto de vision artificial de un bot multiplataforma, dentro de ellas usa whatsapp, por eso la mejor correlacion que encontre es agarrar el texto que esta luego de \n \n o \n\n \n o \n\n \n\n o \n\n \n\n \n\n, creo que lo mejor para ello es el uso de una regex. Pero se me complica su planteo porque pueden ser dos o mas saltos de linea, ademas de que puede haber espacios y ademas debe agarrarse el ultimo texto \n\n \n el texto adhahdsadsj \n\n \n\x0c o con \n\n el texto adhahdsadsj \n\n \x0c Commented el 20 ene. 2022 a las 2:08
  • Entiendo. En ese caso es una buena idea supongo.
    – Dante S.
    Commented el 20 ene. 2022 a las 2:11

1 respuesta 1

1

Si aislamos el problema lo único que estás buscando es el último elemento de un string basándonos en un delimitador, pero la cadena tiene caracteres de control de página al final (en este caso el x0c, que se corresponde con el salto de página).

Por lo tanto limpiamos con strip() la cadena y luego usamos split('\n\n') para construir una lista utilizando el doble salto de línea como separador y accedemos con [-1] al último elemento:

a = '<\n\nb buenas noches si\n\n \n\nheledla ob\n\n \n\n \n\nwa partir del dia jueves 16\n\nestara depositado un bono\nextraordinario para beneficiarios\nde red sol y pel.\n\ntodabia no esta comfirmado pero\nlo mas probable es que si y mesa\n| fuesuina\n\n \n\x0c'

ultimo_mensaje = a.strip().split('\n\n')[-1]
1

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.