9

Me gustaría realizar un filtro en un programa que he realizado que caza mensajes concretos de una base de datos.

He estado viendo otros post y googleando un poco, y si duplico alguna pregunta existente disculpen, pero no encuentro exactamente lo que estoy buscando.

Lo que quiero realizar es un filtro que me bloquee los textos que vienen desde la base de datos, pero el filtro que tengo echo ahora mismo no me filtra exactamente como yo quiero, ya que no filtra literalmente por lo que tengo escrito.

No sé muy bien qué criterio sigue para filtrar pero, buscando encontre esto:

#Keywords to ignore messages
exclude : "^(?!.*(paga|pago|expul)).*$"

Lo que hace por ejemplo con un texto que vi, es, si tiene en el texto "ganar" automáticamente no me lo recoge, cuando debería,

Con lo cual mi pregunta es: ¿qué método puedo utilizar en python para filtrar «literalmente» las palabras clave que yo quiera?

EDITO: Codigo del programa:

blacklist = ["paga", "pago", "expul"]

@client.on(events.NewMessage(pattern=lambda msg: not 
is_blacklisted(msg.message, blacklist)))
async def my_event_handler(event): 
  from_channel_id = event.original_update.message.to_id.channel_id
  entity = redirections.get(from_channel_id)
  if entity:
    await event.client.send_message(entity, event.original_update.message)

def is_blacklisted(frase, palabras):
  for palabra in palabras:
    if palabra in frase:
      return True
  return False

Edito2:

A pesar de que el filtro funciona sin ningún error, si el mensaje contiene un salto de línea, lo filtra, aunque no contenga ninguna palabra clave como tal.

Le pasa lo mismo a la hora de utilizar una expresión regular.

12
  • Sin más contexto, ese trozo de código que has pegado no parece python. Tampoco entiendo qué significa "filtrar". Digamos que tienes una lista de palabras clave. ¿Lo que quieres es una función que, dada una lista de frases y la de palabras clave te retorne una lista con las frases que no contienen ninguna de las palabras clave?
    – abulafia
    Commented el 12 dic. 2018 a las 15:54
  • si no lo he entendido mal, ¿estas buscando una expresión regular RegEx para aplicarla a una base de datos en python?
    – meegle84
    Commented el 12 dic. 2018 a las 15:58
  • @abulafia va relacionado con los mensajes del otro post que puse de manejo de listas de python, es.stackoverflow.com/posts/comments/412176?noredirect=1. Lo que quiero es filtrar algunos de los mensajes que recibo, ya que contienen informacion poco relevante. el fragmento de codigo, es otro diccionario del fichero .yml que utiliza mi programa python.
    – Peisou
    Commented el 12 dic. 2018 a las 16:21
  • @meegle84 estoy buscando que algunos mensajes que siempre traen el mismo cuerpo, se filtren ya que la información que contiene no es relevante, realmente la consulta no es sobre una base de datos, con lo cual lo que necesito es que filtre tal cual, las palabras o conjunto de palabras que yo le indico en el diccionario
    – Peisou
    Commented el 12 dic. 2018 a las 16:23
  • Si pudiera usar una expresión regular seria perfecto, ya que por motivos de rendimiento me es mucho mas útil que tener un método comprobando cada mensaje, pero si no es posible, no quedara mas remedio. @meegle84
    – Peisou
    Commented el 13 dic. 2018 a las 9:19

1 respuesta 1

10

Lo siguiente sería una función genérica que te retorna True si la frase que le pasas contiene como subcadena alguna de las que le pasas en el parámetro blacklist:

def is_blacklisted(frase, palabras):
  for palabra in palabras:
    if palabra in frase:
      return True
  return False

Esto puedes usarlo para filtrar una lista, por ejemplo la lista siguiente:

frases =[
    "En un lugar de la Mancha ",
    "de cuyo nombre no quiero acordarme ",
    "no ha mucho tiempo que vivía ",
    "un hidalgo ",
    "de los de lanza en astillero, ",
    "adarga antigua, ",
    "rocín flaco, ",
    "y galgo corredor."
]

blacklist = ["de", "nombre"]

filtradas = [frase for frase in frases if not is_blacklisted(frase, blacklist)]

con el resultado:

['no ha mucho tiempo que vivía ',
 'un hidalgo ',
 'adarga antigua, ',
 'rocín flaco, ',
 'y galgo corredor.']

Observa que lo que busca es la sub-cadena. Si pones ["a"] en blacklist no pasaría ninguna. Por otro lado esta versión es sensible al caso (mayus/minus), puede modificarse fácilmente para que no lo sea:

def is_blacklisted(frase, palabras):
  for palabra in palabras:
    if palabra.lower() in frase.lower():
      return True
  return False

Actualización

La función events.NewMessage() que usa tu framework admite un parámetro llamado pattern, el cual, además de una expresión regular, puede ser una función que recibirá como parámetro el mensaje y devolverá como resultado True si ese mensaje debe ser manejado.

La función que proporcioné antes (is_blacklisted()) no sirve directamente para este propósito, pues por un lado recibe dos parámetros en vez de uno, y por otro lado retorna lo contrario de lo que se espera (True indica que el mensaje no debe ser manejado). Pero es trivial hacer una expresión lambda que haga uso de ella y se ajuste a lo que se necesita.

Lo siguiente debería funcionar (aunque no he podido testearlo por carecer de la infrasctructura necesaria):

blacklist = ["paga", "pago", "expul"]
@client.on(events.NewMessage(
              pattern=lambda msg: not is_blackisted(msg, blacklist)))
async def my_event_handler(event):
  from_channel_id = event.original_update.message.to_id.channel_id
  entity = redirections.get(from_channel_id)
  if entity:
    await event.client.send_message(entity, event.original_update.message)
15
  • OH! Muchísimas gracias, contaba con que tuviera algún error en la sintaxis, pero la verdad que esta muchísimo mejor la manera que me propones. Lo probare ahora por la noche y te digo que tal, aunque vamos, mas claro el agua.. :))
    – Peisou
    Commented el 12 dic. 2018 a las 18:54
  • he intentado adaptarlo, la verdad me ha sido muy util, pero a la hora de aplicarlo a mi programa, yo realmente donde necesito aplicar el filtro es antes de enviar el mensaje, yo lo envio con event.client.send_message(entity, event.original_update.message) donde entity es el diccionario de canales y lo otro los mensajes correspondientes mañana le edito la pregunta, muchas gracias por tu ayuda :D
    – Peisou
    Commented el 12 dic. 2018 a las 23:03
  • Disculpame, que no lo viera, lo voy a probar ahora mismo. Muchas gracias @abulafia
    – Peisou
    Commented el 13 dic. 2018 a las 15:49
  • Me tira un error en el async def que dice "for expected" imagino que sera, porque en el my_Event_handler tengo que hacer un bucle para ir mandando los mensajes despues de comprobarlos no?
    – Peisou
    Commented el 13 dic. 2018 a las 16:18
  • No conozco el framework que usas, pero según entendí no tendría por qué haber ningún bucle en tu código. Meramente estás registrando una función que se ejecutará cuando llegue un mensaje, sólo si el mensaje pasa el filtro. El bucle si acaso lo gestionaría el framework. ¿Puedes editar la pregunta y añadir el código que te tira ese error, y el traceback concreto que muestra en qué línea rompe?
    – abulafia
    Commented el 13 dic. 2018 a las 16:25

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.