La técnica es generalmente la misma: consiste en llevar a la forma descompuesta de normalización en Unicode, eliminar lo que no se quiere, y volver a la forma compuesta.
¿Forma descompuesta 😳? En Unicode, un caracter (en realidad un "grafema") se descompone en su equivalencia de caracter base, seguido de sus marcas. Por ejemplo:
Tanto la forma descompuesta (D) como la compuesta (C) son equivalentes (equivalencia canónica Unicode). O sea que sus bytes son diferentes, pero se imprimen igual
(siguen siendo el mismo grafema y hay algoritmos para comparar entre formas).
NFD :: Normalization Form Canonical Decomposition
NFC :: Normalization Form Canonical Composition
En la forma NFD, los diacríticos son puntos de código separados de su caracter base (el primer punto de código)... ¡Esta es la clave para poder eliminar lo que no se quiere! Y luego de eliminar se podría imprimir en esa forma (D), pero conviene volver a la forma compuesta para evitarnos problemas.
¿Qué eliminar? Todas las opciones son válidas. Si se entienden, pasa por una elección según lo que te convenga y prefieras aplicar en tu caso.
ChemaCortes en su respuesta eligió eliminar todos los caracteres que no son ascii (por eso reemplaza temporalmente la ñ
por otra cadena ascii que no se elimina).
FJSevilla en su respuesta apuntó los fusiles directamente a las tildes (´
) y las diéresis (¨
).
Con las bases cubiertas, me quedó optar por mostrar la opción más fundamentalista: exterminar todas las marcas diacríticas.
Eliminar todos los diacríticos excepto la ñ
Todas las marcas diacríticas están en un bloque en el rango U+0300
- U+036F
(Combining Diacritical Marks). Y vamos a hacer la excepción para U+0303
, la virgulilla (~
), pero
- sólo si está después de una
n
(reemplazando otras como una ã
)
- y sólo si no tiene otros diacríticos (reemplazando cosas raras como
ñ͚͡
)
con un regex donde el primer grupo es el caracter base y los diacríticos están fuera del grupo:
([^n\u0300-\u036f]|n(?!\u0303(?![\u0300-\u036f])))[\u0300-\u036f]+
([^n\u0300-\u036f])[\u0300-\u036f]+
un caracter que no es una n
ni un diacrítico, seguido de diacríticos, o
(n(?!\u0303(?![\u0300-\u036f])))[\u0300-\u036f]+
una n
que no está seguida por ~
(a menos que esta última esté seguida por otro diacrítico), entonces sí que coincida con todos los diacríticos que le siguen.
Reemplazando por \1
nos quedamos con la letra sin el diacrítico.
Código
import re
from unicodedata import normalize
s = "Pingüino: Málãgà ês uñ̺ã cíudãd fantástica y èn Logroño me pica el... moñǫ̝̘̦̞̟̩̐̏̋͌́ͬ̚͡õ̪͓͍̦̓ơ̤̺̬̯͂̌͐͐͟o͎͈̳̠̼̫͂̊"
# -> NFD y eliminar diacríticos
s = re.sub(
r"([^n\u0300-\u036f]|n(?!\u0303(?![\u0300-\u036f])))[\u0300-\u036f]+", r"\1",
normalize( "NFD", s), 0, re.I
)
# -> NFC
s = normalize( 'NFC', s)
print( s )
Pinguino: Malaga es una ciudad fantastica y en Logroño me pica el... moñoooo
https://ideone.com/YcXaQD