2

leí un post de stackoverflow de la comunidad inglesa que daban una función parz quitar todos los emojis , y en parte me funciona quita casi todos los emojis de los textos que extraigo de twitter , pero hay otros que no los elimina , dejo la función aquí por si alguien sabe como podría mejorar esta función , o dar otra posible solución,

def deEmojify(text):
    regrex_pattern = re.compile(pattern = "["
        u"\U0001F600-\U0001F64F"  # emoticons
        u"\U0001F300-\U0001F5FF"  # symbols & pictographs
        u"\U0001F680-\U0001F6FF"  # transport & map symbols
        u"\U0001F1E0-\U0001F1FF"  # flags (iOS)
                           "]+", flags = re.UNICODE)
    return regrex_pattern.sub(r'',text)

ejemplos que fallan :

-RT @JHarden13: Another day, Another opportunity. 🙏🏾

-¿qué debo hacer mientras para esperar la 3a temporada? 🤪🤪

3
  • Agrega ejemplos mostrando cuando falla. Entrega información que podamos usar para reproducir y probar en nuestros equipos.
    – Candid Moe
    el 27 sep. 2020 a las 18:19
  • Acabo de editar la pregunta , se me olvidó adjuntar algún ejemplo donde no se borran
    – RoyalUp
    el 27 sep. 2020 a las 18:22
  • y que tal si creas la expresion regular para admitir letras y los caracteres especificos que deseas~
    – Bryro
    el 28 sep. 2020 a las 14:04

3 respuestas 3

0

El primer ejemplo que pusiste ya se está eliminando, el 2do es:

🤪  U+1f92a

Podrías agregar sólo ese caracter, o el bloque completo en donde está: Supplemental Symbols and Pictographs (https://www.compart.com/en/unicode/block/U+1F900)

en los rangos que ya estás eliminando:

u"\U0001F600-\U0001F64F"  # emoticons
u"\U0001F300-\U0001F5FF"  # symbols & pictographs
u"\U0001F680-\U0001F6FF"  # transport & map symbols
u"\U0001F1E0-\U0001F1FF"  # flags (iOS)
u"\U0001F900-\U0001F9FF"  # supplemental symbols and pictographs

o ser más drástico y eliminar todo el Plano en el que están todos los casos anteriores Supplementary Multilingual Plane de U+10000 a U+1FFFF (https://www.compart.com/en/unicode/plane/U+1F900)

Unicode tiene una lista de emojis recopilados en https://www.unicode.org/Public/UCD/latest/ucd/emoji/emoji-data.txt (que están dispersos, no necesariamente dentro de un bloque/plano)

3
  • Acabo de hacer de 10000 a 1FFFF , y aún hay emotes que los sigue sin eliminar.
    – RoyalUp
    el 27 sep. 2020 a las 18:49
  • Este no lo borra por ejemplo: the natural wildlife has returned to the water and forests ❤️
    – RoyalUp
    el 27 sep. 2020 a las 18:49
  • No conozco una mejor manera. Agregué el link de unicode.org al final de la respuesta, pero como verás esa lista también incluye dígitos 0 a 9... Creo que el problema es que la definición de "emoji" depende mucho del contexto.
    – Pollo
    el 27 sep. 2020 a las 19:03
0

Esta es la que uso yo siempre, por su facilidad y eficacia.

  • Instalo la librería Emoji con pip install emoji
  • Creo un función que sustituya los emojis por un texto en blanco
import emoji

def deEmojify(text):
    return emoji.get_emoji_regexp().sub(r'', text.decode('utf8'))

Una vez tienes esta función la aplicas al texto/s que necesites.

La función lo que hace es:

  1. Primero obtiene las expresiones regulares de los emojis con emoji.get_emoji_regexp()
  2. Una vez tienes las expresiones regulares, cade, las sustituyes por un string vacio con el método sub() así: .sub(r'', text.decode('utf8'))
  3. Con el return devuelves el texto original sin emoticonos

Esta librería contiene todos los emojis, y no te tienes que preocupar de las codificaciones, como en el código de la pregunta.

0

Otra posibilidad es filtrar los caracteres por su Categoría Unicode:

import unicodedata

cat_filter = ["Cn", "Sc", "Sk", "Sm", "So"]  # categorías a filtrar


def deEmojify(text):
    return "".join(c for c in text
                  if unicodedata.category(c) not in cat_filter)

Si queremos filtrar algún carácter que pertenece a otra categorías, basta con añadir esa categoría al filtro

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.