2

Mi desconocimiento de Regex es muy limitado y estoy teniendo problemas con unos datos que existen ya en unas tablas de MySQL.

Son datos almacenados en columnas del tipo TEXT con grandes volúmenes de contenido.

Uno de los errores que he encontrado frecuentemente es el de letras minúsculas seguidas después del punto.

Yo quisiera detectar dónde ocurre eso, no para hacer un REPLACE, sino para revisarlo, porque no siempre aplica reemplazar.

Pongo dos ejemplos de texto:

Ejemplo 1

Ninguno de nosotros ponga obstáculos a esta luz y se resigne a permanecer en la noche; al contrario, avancemos todos llenos de resplandor; todos juntos, iluminados. salgamos a su encuentro y, con el anciano Simeón, acojamos aquella luz clara y eterna; imitemos la alegría de Simeón y, como él, cantemos un himno de acción de gracias al Engendrador y Padre de la luz, que ha arrojado de nosotros las tinieblas y nos ha hecho partícipes de la luz verdadera.

Aquí el error: iluminados. salgamos no amerita un REPLACE, sino cambiar el . por una ,.

Ejemplo 2

Amad la paz, que es el mayor tesoro que se puede desear. Ya sabéis que nuestros pecados provocan la ira de Dios; arrepentíos para que os perdone por su misericordia. Lo que ocultamos a los hombres es manifiesto a Dios; convertíos, pues, con sinceridad. vivid de tal manera que obtengáis la bendición del Señor, y la paz de Dios, nuestro Padre, esté siempre con vosotros.

Aquí en cambio el error: con sinceridad. vivid sí ameritaría un REPLACE.

Lo que necesito hacer es un SELECT que me encuentre las columnas que tengan ese tipo de problema: una letra minúscula después del punto considerando como posibles casos:

  • palabra.palabra
  • palabra. palabra
  • palabra.¿signo cualquiera
  • palabra. !signo cualquiera
  • palabra.1número
  • palabra. 1número

Y cualquier otra coincidencia que se me escape.

También, hay casos que debería ignorar:

  • palabra... Siguiente oración
  • palabra. <br /><br />Hay etiquetas HTML en el texto

¿Con qué REGEX podría lograrlo?

4
  • 2
    Si quisiera contestar el primero tendria que darme prisa porque en menos de 15 minutos Mariano recibirá un email notificado de una nueva pregunta regex xDD
    – lois6b
    Commented el 26 ene. 2018 a las 12:32
  • 1
    @lois6b :) He visto algunas respuestas de Mariano y comentarios a otras respuestas y creo que él debería animarse a darnos un buen curso sobre Regex.
    – A. Cedano
    Commented el 26 ene. 2018 a las 12:33
  • 1
    @Mariano después me centré en otros aspectos del programa sin llegar a probar lo que me sugeriste. Lo pruebo y te comento. Gracias por el interés.
    – A. Cedano
    Commented el 16 mar. 2018 a las 13:07
  • @A.Cedano ¿Nunca debería coincidir si hay una etiqueta entre el punto y la siguiente palabra? Porque se me ocurren casos como palabra.<br />siguiente y casos como <b>palabra.</b> siguiente.
    – Mariano
    Commented el 16 mar. 2018 a las 16:31

3 respuestas 3

4

Buscamos que coincida con un punto, seguido de cualquier cantidad de caracteres no alfabéticos, y 1 minúscula:

\.[^A-Za-z]*[a-z]

Al pasarlo como string en una consulta, el intérprete de MySQL interpreta las barras, por lo que se deben escapar:

select campo
  from tabla
 where campo regexp '\\.[^A-Za-z]*[a-z]'
  • Y si estamos en un lenguaje como Java, que no tiene literales de string, hay que escaparlas de nuevo: \\\\.!!!


Intercalación cuando está en utf8_general_ci

El campo podría estar usando un collate (intercalación) que ignora mayúsculas y minúsculas, haciendo que el anterior no funcione. Podría estar definido para el campo, la tabla, la base de datos o la conexión. Si el campo está usando un collate como utf8_general_ci, latin1_general_ci, o similar, cualquier comparación de texto ignora mayúsculas/minúsculas (ci es "case insensitive").

Para solucionarlo, lo mejor sería cambiar el collate de la tabla (o de la base o del campo), o generar un nuevo campo_busqueda que esté con collate 'latin1_general_cs' o collate 'utf8_bin', entre otros. Sin embargo, si sólo queremos aplicarlo a esta consulta, lo aplicamos así:

  1. where campo collate 'latin1_general_cs' regexp '\\.[^A-Za-z]*[a-z]', o
  2. where campo collate 'utf8_bin' regexp '\\.[^A-Za-z]*[a-z]'


Con tags HTML en el medio

Creo que la opción más sana es eliminar los tags antes de aplicar el regex. Ver por ejemplo en Remove HTML tags from record.

Con regex también es fácil, sólo se hace una expresión más larga.

where campo regexp '\\.[^<A-Za-z]*(<[^>]*>[^<A-Za-z]*)*[a-z]'
  • [^<A-Za-z]* coincide con todo lo que esté antes de un < o un caracter alfabético.
  • (<[^>]*>[^<A-Za-z]*)* es un loop, que coincide con:
    • <[^>]*> un tag HTML (sin validar cosas raras)
    • [^<A-Za-z]* más caracteres que no sean un < o un caracter alfabético.
  • [a-z] finalmente la letra minúscula.


Para mostrar ese "loop" de una forma gráfica:

Visualización de debuggex.com


Ahora bien, ese punto seguido de una minúscula podría estar dentro de un tag HTML, por ejemplo en <a href="x.html">. Para evitar eso, seguimos complicando, buscamos que coincida desde el inicio del texto, consumiendo todos los tags y todo el texto que no sea un tag, hasta encontrar que coincida con el patron de recién:

select *
  from tabla
 where campo collate 'utf8_bin'
             regexp '^[^<]*(<[^>]*>[^<]*)*\\.[^<A-Za-z]*(<[^>]*>[^<A-Za-z]*)*[a-z]'
  • ^ anclado al inicio del texto.
  • [^<]*(<[^>]*>[^<]*)* consumir caracteres que no son tags, o tags completos seguidos de caracteres que no son tags (misma lógica que en el anterior).
  • \\.[^<A-Za-z]*(<[^>]*>[^<A-Za-z]*)*[a-z] el patrón para el punto seguido de minúsculas.


Demo: http://sqlfiddle.com/#!9/a6d64/1/0


Con acentos o ñ

Veamos el caso para coincidir con fin. éste y no con . Árbol.

  • Para latin1_general_cs es sencillo, usamos las clases POSIX [:alpha:], [:lower:] y [:upper:]:

    where campo regexp '\\.[^[:alpha:]]*[[:lower:]]'
    

    Aplicado en el regex que ignora tags HTML:

    where campo collate 'latin1_general_cs'
                regexp '^[^<]*(<[^>]*>[^<]*)*\\.[^<[:alpha:]]*(<[^>]*>[^<[:alpha:]]*)*[[:lower:]]'
    

    Demo: http://sqlfiddle.com/#!9/44604/1/0


  • Para utf8_bin se complica en serio, porque el operador regexp toma cada caracter como 1 byte, por lo tanto no podemos usar algo como [a-záéíóúüñ]. No tengo una solución completa a este problema. Sin embargo, se puede usar:

    where campo regexp '\\.[^A-ZÁÜÑa-záüñ]*([a-z]|á|é|í|ó|ú|ü|ñ)'
    

    que coincide con acentos, y funciona bien para la mayoría de los casos, pero podría dar falsos negativos con algunos diacríticos entre el punto y la minúscula.

    Y el regex completo:

     where campo collate 'utf8_bin'
     regexp '^[^<]*(<[^>]*>[^<]*)*\\.[^<A-ZÁÜÑa-záüñ]*(<[^>]*>[^<A-ZÁÜÑa-záüñ]*)*([a-z]|á|é|í|ó|ú|ü|ñ)'
    

    Demo: http://sqlfiddle.com/#!9/de46ba/1/0


    Para un caso completamente funcional, creo que la mejor opción es usar una librería como LIB_MYSQLUDF_PREG que usa a PCRE (el mismo motor y la misma sintaxis que en PHP). Y en la consulta SQL llamarlo con PREG_RLIKE('/regex/i', texto).



Excepciones para puntos suspensivos y etiquetas de bloques

La idea es que ahora siga coincidiendo con los casos anteriores, pero que no coincida con palabra... siguiente ni con párrafo.<br> siguiente. Y acá es donde el regex se complica en la lógica. MySQL tiene un motor de regex extremadamente limitado. En otro dialecto de regex sería más o menos razonable, pero a MySQL le faltan muchas construcciones que podrían facilitar esto. Entonces, en este punto es cuando, si se quiere seguir con el mismo regex, se hace ilegible e imposible de mantener para un ojo no entrenado. Es el punto donde recomiendo ir a un lenguaje de programación.

Pero entiendo las ventajas de resolverlo sobre la base de datos, así que va una solución que probablemente sólo le sirva al autor de la pregunta. En una descripción muy burda, las limitaciones de regex en MySQL nos obligan a buscar coincidencias de esta forma:


Regex:

^[^<]*(((<[^>]*>[^<])*<[^>]*>)+[^<]*[^.<](<[^>]*>)*|[^.<])\.([^.<A-ZÁÜÑa-záüñ][^<A-ZÁÜÑa-záüñ]*)?(</?\s*(a|i|b|span)[[:>:]][^>]*>[^<A-ZÁÜÑa-záüñ]*)*([a-z]|á|é|í|ó|ú|ü|ñ)
  • Podrás ver que para la parte de tags inline (aquellos que no cortan el párrafo si se encuentran entre el punto y la minúscula), estoy usando

    </?\s*(a|i|b|span)[[:>:]][^>]*>
    

    para que coincida con <a>, <i>, <b>, <span>. Ahí, se pueden agregar las que quieras.


Veamos si con esto puedo explicar un poco el regex (abrir en nueva pestaña):

Debuggex con anotaciones


Código:

select campo
  from tabla
 where campo collate 'utf8_bin'
             regexp '^[^<]*(((<[^>]*>[^<])*<[^>]*>)+[^<]*[^.<](<[^>]*>)*|[^.<])\\.([^.<A-ZÁÜÑa-záüñ][^<A-ZÁÜÑa-záüñ]*)?(</?\\s*(a|i|b|span)[[:>:]][^>]*>[^<A-ZÁÜÑa-záüñ]*)*([a-z]|á|é|í|ó|ú|ü|ñ)'
;

Demo:

http://rextester.com/MQK73039

Resultado:

Id re campo
1 palabra.palabra
2 palabra. palabra
3 palabra. !signo cualquiera
4 palabra.1número
5 palabra. 1número
6 Äbá. a
7 No palabra... Siguiente oración
8 No palabra... siguiente oración
9 No palabra. <br />etiqueta de bloque
10 No palabra. <span /><span />Hay etiquetas HTML en el texto
11 No <a href="x.html"> âBÂJo. <br />e
12 No sin a-b-a.... 1rrr
13 No <a href="x.html"> ABBBA.... 1Aeee
14 <span><b><i>palabra</i>.</b></span> etiqueta inline
15 No <div>palabra.</div> etiqueta de bloque
16 palabra. un punto
17 No palabra.. dos puntos
18 No palabra... tres puntos
19 No palabra.... cuatro puntos
20 palabra!!!!!!.--}{???? signos
21 palabra123.4567890123456números
22 palabra. espacios
23 palabra<tag>.<tag> May. min
24 No +++aaaaaàbâaaaa---

3
  • Mariano funciona bastante mejor, usando la última opción, la cual fue acertadísima porque en efecto, dentro del texto hay contenido con etiquetas HTML tales como enlaces a sitios, etc. No obstante, sigo teniendo muchos resultados que el REGEX debería evitar y creo que son aquellos que tienen puntos suspensivos. ¿Hay alguna manera de que ignore los ...?
    – A. Cedano
    Commented el 16 mar. 2018 a las 13:34
  • @A.Cedano creo que recién ahora veo las excepciones al final de tu pregunta (recomendaría poner en minúscula esas 2 últimas)... como poder, se puede que ignore. El único tema es que MySQL tiene un regex tan limitado que termina siendo un regex muy entreverado (a diferencia de uno mucho más sencillo en PHP o con LIB_MYSQLUDF_PREG por ejemplo)... Pero si no te importa que sea complicado de entender, preparo algo entre hoy y mañana.
    – Mariano
    Commented el 16 mar. 2018 a las 15:02
  • Mariano no importa que sea complicado. Como dije en la pregunta, es para poder revisar una gran cantidad de datos y poder corregirlos. El problema es que me está trayendo miles de filas, debido (creo) a los puntos suspensivos y símbolos como ", ?, !... con los que terminan algunas palabras. Gracias por tu ayuda.
    – A. Cedano
    Commented el 16 mar. 2018 a las 15:13
2

Básicamente lo que tienes que hacer es buscar cadenas en las que aparezca un punto y, a continuación, una minúscula antes que la primera mayúscula.

La expresión vendría a ser:

\.[^A-Za-z]*[a-z]

Un punto, seguido de un número indeterminado (0-n) de caracteres que no son letras mayúsculas y de una minúscula.

Para añadir la excepción de los tags HTML podrías añadir como carácter válido después del punto el < además de las mayúsculas:

\.[^A-Za-z<]*[a-z]

De esta forma sólo coincide si entre el punto y la primera minúscula no hay ninguna mayúscula ni un signo <.

3
  • Cierto. Lo modifico en la respuesta. Gracias. Commented el 26 ene. 2018 a las 13:00
  • Gracias. Por algún motivo no me está funcionando. Intento la consulta así: SELECT columna from tabla WHERE columna REGEXP '\.[^A-Z]*[a-z]' LIMIT 3;, pero no me discrimina los datos, me trae siempre las tres primeras filas. Revisé bien la fila 1, no tiene condiciones que cumplan el REGEX y la sigue trayendo. También descubrí algunas excepciones. Lo pondré ahora en la pregunta.
    – A. Cedano
    Commented el 26 ene. 2018 a las 13:04
  • 1
    @Mariano aún así me trae todas las filas.
    – A. Cedano
    Commented el 26 ene. 2018 a las 14:18
-2

Otra opción de regex es la siguiente

\w*\. \w*
1
  • 1
    Hola Hoscanoa, esta respuesta ha sido marcada como de baja calidad por su extensión y contenido. Añade más detalles a la publicación: qué hace la expresión indicada o cómo ayudaría a resolver el problema planteado en la pregunta. Lee Cómo responder para más información y consejos.
    – Alvaro Montoro
    Commented el 29 ene. 2018 a las 3:58

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.