30

Supongamos que tengo la siguiente cadena:

s = 'Pingüino: Málaga es una ciudad fantástica y en Logroño me pica el... moño'

Por lo que fuera, quiero eliminar todas las tildes y diéresis para que quede como:

s = 'Pinguino: Malaga es una ciudad fantastica y en Logroño me pica el... moño'
#        ^      ^                       ^

He descubierto la librería unidecode que hace exactamente esto:

>>> unidecode.unidecode(s)
'Pinguino: Malaga es una ciudad fantastica y en Logrono me pica el... mono'

Pero desgraciadamente también sustituye las ñ por n (LogroñoLogrono, moñomono).

¿Existe alguna otra librería que permita hacer esta substitución, cambiando solamente las tildes y diéresis? En caso contrario, entiendo que lo que debo hacer es una expresión regular que haga esta modificación.

0

5 respuestas 5

31

La técnica es generalmente la misma: consiste en llevar a la forma descompuesta de normalización en Unicode, eliminar lo que no se quiere, y volver a la forma compuesta.

¿Forma descompuesta 😳? En Unicode, un caracter (en realidad un "grafema") se descompone en su equivalencia de caracter base, seguido de sus marcas. Por ejemplo:


Source -> NFD NFC

Tanto la forma descompuesta (D) como la compuesta (C) son equivalentes (equivalencia canónica Unicode). O sea que sus bytes son diferentes, pero se imprimen igual
(siguen siendo el mismo grafema y hay algoritmos para comparar entre formas).

NFD :: Normalization Form Canonical Decomposition
NFC :: Normalization Form Canonical Composition

En la forma NFD, los diacríticos son puntos de código separados de su caracter base (el primer punto de código)... ¡Esta es la clave para poder eliminar lo que no se quiere! Y luego de eliminar se podría imprimir en esa forma (D), pero conviene volver a la forma compuesta para evitarnos problemas.


¿Qué eliminar? Todas las opciones son válidas. Si se entienden, pasa por una elección según lo que te convenga y prefieras aplicar en tu caso.

ChemaCortes en su respuesta eligió eliminar todos los caracteres que no son ascii (por eso reemplaza temporalmente la ñ por otra cadena ascii que no se elimina).

FJSevilla en su respuesta apuntó los fusiles directamente a las tildes (´) y las diéresis (¨).

Con las bases cubiertas, me quedó optar por mostrar la opción más fundamentalista: exterminar todas las marcas diacríticas.


Eliminar todos los diacríticos excepto la ñ

Todas las marcas diacríticas están en un bloque en el rango U+0300 - U+036F (Combining Diacritical Marks). Y vamos a hacer la excepción para U+0303, la virgulilla (~), pero

  • sólo si está después de una n (reemplazando otras como una ã)
  • y sólo si no tiene otros diacríticos (reemplazando cosas raras como ñ͚͡)


con un regex donde el primer grupo es el caracter base y los diacríticos están fuera del grupo:

([^n\u0300-\u036f]|n(?!\u0303(?![\u0300-\u036f])))[\u0300-\u036f]+
  • ([^n\u0300-\u036f])[\u0300-\u036f]+ un caracter que no es una n ni un diacrítico, seguido de diacríticos, o

  • (n(?!\u0303(?![\u0300-\u036f])))[\u0300-\u036f]+ una n que no está seguida por ~ (a menos que esta última esté seguida por otro diacrítico), entonces sí que coincida con todos los diacríticos que le siguen.

Reemplazando por \1 nos quedamos con la letra sin el diacrítico.


Código

import re
from unicodedata import normalize

s = "Pingüino: Málãgà ês uñ̺ã cíudãd fantástica y èn Logroño me pica el... moñǫ̝̘̦̞̟̩̐̏̋͌́ͬ̚͡õ̪͓͍̦̓ơ̤̺̬̯͂̌͐͐͟o͎͈̳̠̼̫͂̊"


# -> NFD y eliminar diacríticos
s = re.sub(
        r"([^n\u0300-\u036f]|n(?!\u0303(?![\u0300-\u036f])))[\u0300-\u036f]+", r"\1", 
        normalize( "NFD", s), 0, re.I
    )

# -> NFC
s = normalize( 'NFC', s)

print( s )
Pinguino: Malaga es una ciudad fantastica y en Logroño me pica el... moñoooo

https://ideone.com/YcXaQD

3
  • 2
    Madre mía, esta respuesta es oro puro.
    – fedorqui
    Commented el 20 feb. 2018 a las 9:30
  • @Mariano Y para evitar que quite las letras ñ y la letra ç. Que lo sustituya todas menos esas 2? Un saludo
    – RodriKing
    Commented el 5 oct. 2018 a las 9:31
  • @RodriKing para excluir la ç (c con cedilla): ([^cn\u0300-\u036f]|n(?!\u0303(?![\u0300-\u036f]))|c(?!\u0327(?![\u0300-\u036f])))[\u0300-\u036f]+ - ideone.com/LSIEIF
    – Pollo
    Commented el 20 oct. 2020 a las 6:45
17

Otra posible idea tirando también de la biblioteca estándar con unicodedata es obtener la forma normalizada descompuesta de la cadena unicode. Esto permite para "á" pasar de u"\u00E1" a u"\u0061\u0301" por ejemplo.

Luego simplemente usar str.translate para eliminar los codepoints unicode que queramos, en este caso U+0308 (combining diaeresis) y U+0301 (combining acute accent):

>>> from unicodedata import normalize

>>> s = 'Pingüino: Málaga es una ciudad fantástica y en Logroño me pica el... moño'
>>> trans_tab = dict.fromkeys(map(ord, u'\u0301\u0308'), None)
>>> s = normalize('NFKC', normalize('NFKD', s).translate(trans_tab))
>>> s
'Pinguino: Malaga es una ciudad fantastica y en Logroño me pica el... moño'
3
  • ¡Qué idea tan buena! Además es fácilmente ampliable para, por ejemplo, acentos abiertos u otras cosas.
    – fedorqui
    Commented el 2 feb. 2018 a las 14:10
  • 1
    Una alternativa para hacer el diccionario: trans_tab = str.maketrans("", "", "\u0301\u0308") Commented el 2 feb. 2018 a las 18:11
  • Esta respuesta me sigue pareciendo estupenda. Pero es que resulta que Mariano hizo un tratado magistral y no me queda más remedio que aceptar su respuesta :) ¡Gracias otra vez!
    – fedorqui
    Commented el 20 feb. 2018 a las 9:31
9

En Python 3, simplemente puedes hacer esto:

s = 'Pingüino: Málaga es una ciudad fantástica y en Logroño me pica el... moño'
a,b = 'áéíóúü','aeiouu'
trans = str.maketrans(a,b)

print(s.translate(trans))

Por desgracia en Python 2 o anteriores no, además tendrías que importar el módulo de String para poder usar string.maketrans(), y a la hora de aplicarlo te diría que las cadenas a y b no tienen la misma longitud, de hecho len(a) = 12 mientras que len(b) = 6

7

No hace falta nada más que la librería estándar para "limpiar" la cadena:

import unicodedata

s = 'Pingüino: Málaga es una ciudad fantástica y en Logroño me pica el... moño'
s2 = unicodedata.normalize("NFKD", s).encode("ascii","ignore").decode("ascii")

Para evitar que se pierdan las eñes, es simple reemplazarlas por un símbolo que sepas que no se van a usar:

import unicodedata

s = 'Pingüino: Málaga es una ciudad fantástica y en Logroño me pica el... moño'
s1 = s.replace("ñ", "#").replace("Ñ", "%")
s2 = unicodedata.normalize("NFKD", s1)\
     .encode("ascii","ignore").decode("ascii")\
     .replace("#", "ñ").replace("%", "Ñ")
1
  • Gracias por la solución, Chema. Funciona, pero no me acaba de convencer el hecho de utilizar el truquillo de convertir en algo "raro" para luego devolverlo. Aunque si no hay más remedio lo haré así, claro está :)
    – fedorqui
    Commented el 2 feb. 2018 a las 14:11
0

Hola se que llego bastante tarde pero una posible solución utilizando solo la biblioteca de unidecode seria algo asi :

import re

from unidecode import unidecode
def quitar_tildes_y_preservar_n(texto):
    parts = re.split(r'([ñÑ])', texto)
    texto_sin_tildes = ''.join([(unidecode(x) if x != 'ñ' and x != 'Ñ' else x) for x in parts])
    return texto_sin_tildes
cadena_original = "Me encantá Logroño"
cadena_sin_tildes = quitar_tildes_y_preservar_n(cadena_original)
print(cadena_sin_tildes)

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.