El procesamiento del lenguaje natural es un subcampo de IA que implica transformar o extraer información útil de los datos del lenguaje natural. Los métodos incluyen aprendizaje automático y enfoque basado en reglas. Se enfoca no solo a la comprensión del lenguaje, sino a aspectos generales cognitivos humanos y la organización de la memoria. Incluye mecanismos que se puedan realizar por medio de programas que ejecuten o simulen la comunicación.
PROCESAMIENTO DE LENGUAJE NATURAL
El procesamiento de lenguaje natural (NLP - natural language process) es una rama de la inteligencia artificial dedicada a la investigación de mecanismos para la comprensión del lenguaje y la comunicación humana a través de las máquinas1.
Se divide en 3 objetivos principales:
- El procesamiento de texto se encarga de las herramientas que facilitan extraer el conocimiento subyacente en el texto, generación de resúmenes, análisis de contenidos y procesamiento de documentos de manera automática.
- La traducción automática se centra en los sistemas que permiten superar las barreras del idioma, usando sistemas basados en reglas, corpus, estadísticas, contexto para interpretar documentos sin importar el idioma origen o destino.
- Las interfaces en lenguaje natural se enfocan en soluciones que permitan expresar órdenes en lenguaje natural (voz o texto) y que sean entendidas y ejecutadas por las máquinas.
Entre los usos y aplicaciones más comunes del NLP se identifican: análisis de discursos, reconocimiento de voz, síntesis de voz, traducción automática, respuesta a preguntas en lenguaje natural, recuperación de información, extracción de información y generación automática de resúmenes, reconocimiento de entidades y conceptos y sus relaciones entre sí, análisis de sentimientos y polaridad de contenidos, etiquetado morfológico, sintáctico y semántico, clasificación de temas, chatbots, tutores virtuales, impacto de campañas en redes sociales, entre otros.
Técnicas de procesamiento de lenguaje natural
Las técnicas de procesamiento de lenguaje natural son necesarias para limpiar y normalizar la información habitualmente desestructurada del texto. Es importante su uso en una fase previa a los análisis, como transformación inicial de los datos para disminuir el ruido en los algoritmos o impactar el resultado final. En la etapa de transformación de los datos, a nivel general los datos seleccionados son preparados para que los algoritmos puedan usarlos de manera óptima2.
En lo referente a NLP, se dispone de varios recursos lingüísticos, de los que se mencionan a continuación los más frecuentes:
Tokenización:
Un token es la unidad mínima del texto es decir cada palabra. Tokenizar consiste en identificar el separador apropiado según el documento y usarlo para dividir cada el documento en una lista de tokens. La tokenización puede realizarse a nivel de oración o palabra, según el nivel de tokenización que buscado, se han de identificar y usar los separadores aplicables como: signos de puntuación (puntos, comas, interrogación, admiración...) o espacios para dividir el texto en bloques independientes que serán tratados posteriormente en el análisis.
La tokenización es un proceso de segmentación previo al análisis sintáctico. Incluye el tratamiento de todos los elementos de un texto: signos de puntuación, expresiones numéricas, símbolos, etc. Es una especie de preprocesamiento en cierto sentido, una identificación de las unidades básicas a procesar3
Stopwords:
Son consideradas palabras stopwords o palabras vacías aquellas que suelen ser usadas con alta frecuencia dentro de un texto y que contienen bajo contenido semántico como artículos, preposiciones, adjetivos, adverbios, etc.. Estas palabras vacías varían según el idioma, por lo que es importante antes de su aplicación, tener identificado el idioma de nuestros documentos. Se consideran palabras sin significado a artículos, pronombres, preposiciones, etc. Y se atribuye a Hans Peter Luhn[4], la acuñación de la locución inglesa stop words y el uso del concepto en su diseño[5].
La limpieza de stopwords depende del análisis a realizar, aunque favorece el rendimiento computacional al reducir el tamaño de un documento, suele omitirse en analíticas que requieren búsquedas por frase, ya que si eliminamos estos términos de las frases pierden el sentido y a nivel general pueden producir un cambio del contexto del documento.
Análisis sintáctico:
El análisis sintáctico busca determinar la validez de una expresión (normalmente respecto a una gramática) y de obtener su estructura sintáctica.
El análisis sintáctico tiene como objetivo establecer las relaciones estructurales y de dependencia entre las palabras dentro de la frase. El análisis consiste básicamente en la identificación de sintagmas o constituyentes y en la anotación de los mismos con sus funciones correspondientes[6].
Lematización:
La lematización se aplica sobre cada token y su objetivo es encontrar el lexema o raíz de cada palabra.
Una definición base disponible en Wikipedia lo resume como [7]:
“Dada una forma flexionada (en plural, en femenino, conjugada, etc), hallar el lema correspondiente. El lema es la forma que por convenio se acepta como representante de todas las formas flexionadas de una misma palabra. Es decir, el lema de una palabra es la palabra que nos encontraríamos como entrada en un diccionario tradicional: singular para sustantivos, masculino singular para adjetivos, infinitivo para verbos”.
Ejemplo: Perro, perra, perros, perritos --> perro
Tener una forma canónica para representar a cada palabra del texto, reduce significativamente el tamaño del documento a analizar, favorece el rendimiento de la solución y permite crear reglas más sencillas que afecten a un grupo de palabras sin tener que escribir todas las variantes morfológicas de las palabras.
Stemming:
Este proceso (en español truncación o radicalización), extrae la raíz de las palabras, en la mayoría de los casos basados en reglas que tienen en cuenta la terminación de la palabra (sufijos) o el inicio. Estas raíces son la parte invariable de palabras, por lo que su resultado es una raíz en vez de una palabra y no tiene que tener significado.
Ejemplo: Perro, perra, perros, perritos --> perr.
Al igual que los stopwords o la lematización, depende del idioma del texto ya que las reglas entre idiomas son diferentes, y al igual que estos dos recursos lingüísticos, también reduce el volumen de texto a analizar.
Entre los algoritmos más conocidos para stemming se encuentran Lovins (1968)[8], Porter (1980)[9] y Paice (1990)[10].
Análisis morfológico:
Consiste en la asignación automática de una etiqueta a cada palabra para asignar su categoría gramatical. El análisis morfológico incluye: identificar la categoría de cada palabra y desambiguación, es decir seleccionar la categoría correcta de una palabra según el contexto[11].
Este análisis también conocido El etiquetado gramatical (o por su nombre en inglés, part-of-speech tagging, POS tagging o POST) es el proceso de asignar (o etiquetar) a cada una de las palabras de un texto su categoría gramatical. Este proceso se puede realizar de acuerdo con la definición de la palabra o el contexto en que aparece, por ejemplo su relación con las palabras adyacentes en una frase, oración (como realiza el desambiguador léxico en ventana deslizante), o en un párrafo[12].
Existen varias herramientas en línea que permiten ejecutar análisis morfo-sintácticos, como el de cartago.lllf.uam.es[13] que se presenta de ejemplo en la siguiente imagen:
Otras normalizaciones de texto:
Otras normalizaciones de frecuente aplicación son: estandarización a minúscula, limpieza de espacios contiguos, caracteres repetidos, borrado de símbolos y números, en algunos casos omitir acentos.
REFERENCIAS
1: Jurafsky, D., & Martin, J. H. (2000). Speech and language processing: An introduction to natural language processing, computational linguistics, and speech recognition. Upper Saddle River, N.J: Prentice Hall. disponible en internet (Octubre, 2020) https://www.worldcat.org/title/speech-and-language-processing-an-introduction-to-natural-language-processing-computational-linguistics-and-speech-recognition/oclc/300478966
2:Han J, Kamber M. Data Minning: Concepts and Techniques. 2000. Morgan Kaufmann
3:Trim, C. (2013).The art of tokenization [Entrada de blog]. Consultado en https://www.ibm.com/developerworks/community/blogs/nlp/entry/tokenization?lang=en
[4]:Artículo: Hans peter Luhn. Wikipedia. Disponible en internet (Octubre, 2020). https://es.wikipedia.org/wiki/Hans_Peter_Luhn
[5]:Artículo: Palabra vacía . Wikipedia. Disponible en internet (Octubre 2020). https://es.wikipedia.org/wiki/Palabra_vac%C3%ADa
[6]:Martí, M. A. y Taulé, M. (2011). La Academia y la investigación universitaria en las tecnologías de la lengua. Disponible en internet (octubre, 2020): https://docs.google.com/file/d/0B6N0v65RwfFSN1RBWGtWVmpLTXc/edit
[7]:Artículo: Lematización. Wikipedia. Disponible en internet (Octubre, 2020) https://es.wikipedia.org/wiki/Lematizaci%C3%B3n
[8]:Lovins Julie Beth (1968). Development of a Stemming Algorithm. published in "Mechanical translation and computational linguistics", 11:22-31. Disponible en internet (octubre, 2020): https://www.cs.waikato.ac.nz/~eibe/stemmers/
[9]: Porter M.F. (1980). An algorithm for suffix stripping Disponible en internet (octubre, 2020): https://tartarus.org/martin/PorterStemmer/
[10]:Paice, C.D., (1990): Another stemmer, SIGIR Forum, 24(3), 56-61.
[11]:Badia, T. (2003). Técnicas de procesamiento del lenguaje. En M. A. Martí (Ed.), Tecnologías del lenguaje. Barcelona: Editorial UOC.
[12]:Articulo:Etiqeutado gramatical. Wikipedia. Disponible en internet (octubre, 2020): https://es.wikipedia.org/wiki/Etiquetado_gramatical