7

Necesito obtener datos de una cadena NLP de frases de compraventa de vehículos y obtener un array con diccionarios de dos elementos, del tipo:

[
  {vehiculo:'Car', Cantidad: 1},
  {vehiculo:'Motorbike', Cantidad: 1}
]

Tengo casi todo hecho excepto lo más fácil que es extraer las etiquetas de la gramática del Regex Parser.

De momento tengo lo siguiente: Con la frase de entrada: "I sold a car and a motorbike"

1.- Segmento la frase y obtengo:

['\nI sold a car and a motorbike']

2.- Tokenizo:

['I', 'sold', 'a', 'car', 'and', 'a', 'motorbike']

3.- Análisis morfológico Pos Tagger:

[('I', 'PRP'), ('sold', 'VBD'), ('a', 'DT'), ('car', 'NN'), ('and', 'CC'), ('a', 'DT'), ('motorbike', 'NN')]

4.- RegexpParser con la siguiente gramática:

    grammar = r'''
    Vehiculo: {<CD>*<NN>+}  
    {<JJ>*<NN>+}
    {<CD>*<NN><IN>*<NN>+}  
    Cantidad: {<JJ>}
    {<CD>}
    {<DT>}
    '''

Y obtengo:

Parsed Sentence =  (S
  I/PRP
  sold/VBD
  (Cantidad a/DT)
  (Vehiculo car/NN)
  and/CC
  (Cantidad a/DT)
  (Vehiculo motorbike/NN))

Mi pregunta es como puedo obtener los diccionarios de este tipo extrayendo las etiquetas y datos de la sentencia anterior, con algún comando sin tener que hacer una búsqueda a mano por texto dentro de la cadena :

[
  {vehiculo:'Car', Cantidad: 1},
  {vehiculo:'Motorbike', Cantidad: 1}
]

Gracias y un saludo,

5
  • Desconozco si es posible aquí, pero en otros módulos de gramáticas de otros lenguajes de programación. Cuando se parsea, se puede devolver una estructura (a base de hash/arrays) en una variable con los distintos datos. Después, leer y recorrer esa variable es fácil. Me parece raro que lo que utilizas no tenga algo similar y tengas tú que aplicar una expresión regular sobre Parsed Sentence, que aunque no es imposible, no parece lo más adecuado. Porque entiendo que Parsed sentence es un string, no?
    – Julio
    Commented el 10 abr. 2019 a las 9:52
  • ¿Qué biblioteca usas para esto?
    – abulafia
    Commented el 10 abr. 2019 a las 10:00
  • Hola @Julio, mi función es la siguiente:# Funcion RegexpParser def RegPar(menu): grammar = r''' Comida: {<CD>*<NN>+} {<JJ>*<NN>+} {<CD>*<NN><IN>*<NN>+} Cantidad: {<JJ>} {<CD>} ''' regex_parser = nltk.RegexpParser(grammar) parsed_sentence = regex_parser.parse(menu) return(parsed_sentence) y devuelve:Parsed Sentence = (S I/PRP sold/VBD (Cantidad a/DT) (Vehiculo car/NN) and/CC (Cantidad a/DT) (Vehiculo motorbike/NN))
    – Kelvinator
    Commented el 10 abr. 2019 a las 10:49
  • Hola @abulafia ,Utilizo estas librerias: import nltk from nltk.chunk import * from nltk.chunk.util import * from nltk.chunk.regexp import * from nltk import Tree
    – Kelvinator
    Commented el 10 abr. 2019 a las 10:52
  • Entiendo que parse devuelve una clase tipo Tree (nltk.org/_modules/nltk/tree.html) Podrías utilizar los distintos métodos de la clase para recorrer los datos devueltos y crear tu propia estructura
    – Julio
    Commented el 10 abr. 2019 a las 11:34

2 respuestas 2

5

El resultado del RegexParser es un Tree, y como tal tiene métodos para recorrerlo, aplanarlo, y hacer muchas operaciones con él. Sin saber exactamente qué estructura pueden llegar a tener todas tus frases de ejemplo, o si la frase puede contener cantidades distintas de a, etc.. es imposible dar una solución general. De todas formas te muestro un ejemplo de código que funcionaría para este caso, y ya tú puedes adaptarlo a tus necesidades.

Primero, para que el código sea reproducible para cualquiera, muestro todos los import necesarios y los pasos previos del análisis:

import nltk
from nltk.chunk import *
from nltk.chunk.util import *
from nltk.chunk.regexp import *
from nltk import Tree
nltk.download('punkt')
nltk.download('averaged_perceptron_tagger')

sentence = "I sold a car and a motorbike"
tokens = nltk.word_tokenize(sentence)
tagged = nltk.pos_tag(tokens)
grammar=r'''
    Vehiculo: {<CD>*<NN>+}  
    {<JJ>*<NN>+}
    {<CD>*<NN><IN>*<NN>+}  
    Cantidad: {<JJ>}
    {<CD>}
    {<DT>}
    '''
resultado = RegexpParser(grammar).parse(tagged)

Si intentas imprimir sin más ese resultado, lo que obtienes es su representación como cadena:

>>> print(resultado)
(S
  I/PRP
  sold/VBD
  (Cantidad a/DT)
  (Vehiculo car/NN)
  and/CC
  (Cantidad a/DT)
  (Vehiculo motorbike/NN))

Pero en realidad resultado es de tipo Tree. Eso nos permite, como mínimo, poder iterar por sus elementos y operar en consecuencia. Por ejemplo, si el elemento es una "hoja" (un nodo terminal), será una tupla cuyo elemento [0] es la palabra y el elemento [1] su categoría gramatical. Si por el contrario no es una hoja, será un nodo intermedio con nuevas ramas (como ocurre en los casos Cantidad y Vehiculo). En ese caso el nodo tiene una .label() que nos dará el valor "Cantidad" o "Vehiculo", y sus propios sub-nodos, que serán ya hojas.

Con esta información podemos montar un bucle como el siguiente:

data = []
for nodo in resultado:
    if type(nodo) == tuple:
      continue
    tipo = nodo.label()
    for elemento in nodo:
      if type(elemento) != tuple:
        continue
      palabra, categoria = elemento
      if tipo == 'Vehiculo':
        data.append(dict(vehiculo=palabra, cantidad=1))

Al final, data contendrá:

[{'cantidad': 1, 'vehiculo': 'car'}, {'cantidad': 1, 'vehiculo': 'motorbike'}]

Naturalmente, como dije, esto no es muy general. Cada vez que aparece un vehículo lo cuento y le pongo cantidad=1. No sé si deberías poder admitir frases como "I sold two cars and three motorbikes", que complicaría bastante la cosa, o si puedes tener estructuras con mayores niveles de anidamiento. En todo caso, tienes ya unas pistas de por dónde tirar. Mírate también la documentación de Tree.

1
  • Perfecto, con esto que me dices lo tengo solucionado. Ahora mismo estaba mirando en la documentación y estaba con lo siguiente, pero no conseguía lo que quería: ` wrapped = "(ROOT "+ str(RegexParser) + " )" # Add a "root" node at the top trees = nltk.Tree.fromstring(wrapped, read_leaf=lambda x: x.split("/")[0]) for tree in trees: print(tree.leaves()) for tree2 in RegexParser: print(nltk.Tree.fromstring(str(tree2), read_leaf=lambda x: x.split("/")[0]))`
    – Kelvinator
    Commented el 10 abr. 2019 a las 12:38
1

Al final yo lo resolvi de esta manera, supongo que habrá formas mas simples de hacerlo y con mejores resultados, pero mis conocimientos en aquella epoca eran los que eran, espero que te sirva:

# -*- coding: utf-8 -*-
"""
Created on Sat Mar 30 19:46:27 2019

Practica usando REGEX TAGGER

@author: Luis Martinez Martin
"""

# Importamos las librerias con las que vamos a trabajar
import nltk
from nltk.chunk.util import conlltags2tree, tree2conlltags
#from nltk import ChunkParserI
import nltk.chunk, nltk.tag
from nltk.corpus import conll2000

class UnigramChunker(nltk.ChunkParserI):
    def __init__(self, train_sents):
       train_data = [[(t,c) for w,t,c in nltk.chunk.tree2conlltags(sent)] 
                     for sent in train_sents]

       self.tagger = nltk.UnigramTagger(train_data)

    def parse(self, sentence):
       pos_tags = [pos for (word,pos) in sentence]
       tagged_pos_tags = self.tagger.tag(pos_tags)
       chunktags = [chunktag for (pos, chunktag) in tagged_pos_tags]
       conlltags = [(word, pos, chunktag) for ((word,pos),chunktag)
                    in zip(sentence, chunktags)] 
       return nltk.chunk.conlltags2tree(conlltags)    


class BigramChunker(nltk.ChunkParserI):
    def __init__(self, train_sents):
        train_data = [[(t,c) for w,t,c in nltk.chunk.tree2conlltags(sent)] for sent in train_sents]
        self.tagger = nltk.BigramTagger(train_data)

    def parse(self, sentence):
        pos_tags = [pos for (words, pos) in sentence]
        tagged_pos_tags = self.tagger.tag(pos_tags)
        chunktags = [chunktag for (pos, chunktag) in tagged_pos_tags]
        conlltags = [(word, pos, chunktag) for ((word,pos),chunktag)
                    in zip(sentence, chunktags)] 
        return nltk.chunk.conlltags2tree(conlltags)    

class TrigramChunker(nltk.ChunkParserI):
    def __init__(self, train_sents):
        train_data = [[(t,c) for w,t,c in nltk.chunk.tree2conlltags(sent)]
        for sent in train_sents]
        self.tagger = nltk.TrigramTagger(train_data)

    def parse(self, sentence):
        pos_tags = [pos for (word,pos) in sentence]
        tagged_pos_tags = self.tagger.tag(pos_tags)
        chunktags = [chunktag for (pos, chunktag) in tagged_pos_tags]
        conlltags = [(word, pos, chunktag) for ((word,pos),chunktag)
        in zip(sentence, chunktags)]
        return nltk.chunk.conlltags2tree(conlltags) 


# Funcion de segmentacion de frases
def Segmentacion(menu):
    sentences = nltk.tokenize.sent_tokenize(menu)
    return (sentences)

# Función de tokenizacion    
def Tokenizacion(sentences):     
    tokens=nltk.word_tokenize(sentences,"spanish")
    return(tokens)

# Función de Analisis Morfologico POS Tagger
def Pos_Tag(tokens):
    tagged = nltk.pos_tag(tokens)
    return(tagged)

# Funcion RegexpParser
def RegPar(menu):  

    grammar = r'''
    Comida: {<CD>*<NN>+}  # numero (opcional) + uno o mas nombres  (1 bocadillo)
    {<JJ>*<NN>+}
    {<CD>*<NN><IN>*<NN>+}  # numero (opcional) + nombre + preposicion + nombre (1 bocadillo de calamares)
    Cantidad: {<JJ>}
    {<CD>}
    {<DT>}
    {<NN>}
    '''

    regex_parser = nltk.RegexpParser(grammar)
    parsed_sentence = regex_parser.parse(menu)

    return(parsed_sentence)

def GeneraArray(resultado):
    data = []
    for nodo in resultado:
        if type(nodo) == tuple:
          continue
        tipo = nodo.label()
        cant = 1
        for elemento in nodo:
          if type(elemento) != tuple:
            continue
          palabra, categoria = elemento

          if categoria == 'JJ' and (palabra == 'un' or palabra == 'una'):
              cant = 1

          if (categoria == 'NN' or categoria == 'NNS') and (palabra == 'dos'):
              cant = 2
          if (categoria == 'NN' or categoria == 'NNS') and (palabra == 'tres'):
              cant = 3
          if (categoria == 'NN' or categoria == 'NNS') and (palabra == 'cuatro'):
              cant = 4
          if (categoria == 'NN' or categoria == 'NNS') and (palabra == 'cinco'):
              cant = 5 
          if (categoria == 'NN' or categoria == 'NNS') and (palabra == 'seis'):
              cant = 6
          if (categoria == 'NN' or categoria == 'NNS') and (palabra == 'siete'):
              cant = 7
          if (categoria == 'NN' or categoria == 'NNS') and (palabra == 'ocho'):
              cant = 8
          if (categoria == 'NN' or categoria == 'NNS') and (palabra == 'nueve'):
              cant = 9  
          if (categoria == 'NN' or categoria == 'NNS') and (palabra == 'diez'):
              cant = 10    

          if tipo == 'Comida' and (palabra != 'dos' and palabra != 'tres' and palabra != 'cuatro'
                                   and palabra != 'cinco' and palabra != 'seis' and palabra != 'siete' 
                                   and palabra != 'ocho' and palabra != 'nueve' and palabra != 'diez' 
                                   and palabra != 'y' and palabra != ','  and palabra != '.'):
            data.append(dict(comida=palabra, cantidad=cant))    
    return(data)        

def carga_corpus():
    corpus = "Quisiera pedir un hamburguesa,Quiero una tortilla y una cerveza,Me pones un pollo y una ensalada,Quiero una paella,Quiero un bocadillo,Quiero una pizza,Ponme una sopa,Quiero un filete,Quisiera pedir una ensalada,Quiero cinco bocadillos,Quisiera una empanada,Quiero unas croquetas,Quisiera morcilla,Quiero pedir un solomillo,Quiero unos macarrones,Quiero una Lasagna,Quiero una hamburguesa, una de patatas fritas y una cerveza,Quiero un lenguado,Quiero un bonito,Quisiera una sepia,Quiero cinco cervezas,Quiero tres sidras y tres pinchos,Quiero cinco manzanas y tres melocotones,Quisiera cuatro solomillos,Quiero una naranja y dos peras"

    return (corpus)


# Función principal    
def main():
    # cargo el corpus con pedidos al restaurante
    corpora = carga_corpus() 

    Segm = Segmentacion(corpora)
    print ("\n\n1. Frases:",Segm)

    tok = Tokenizacion(corpora)
    print ("\n\n2. Tokens:",tok)

    ptag = Pos_Tag(tok)
    print ("\n\n3. Analisis Morfologico:",ptag)

    # Construimos Regex Parser
    RegexParser = RegPar(ptag)
    print("\n\n4 Parsed Sentence = ", RegexParser)  

    GeneraSalida = GeneraArray(RegexParser)
    print("\n\n5 Salida = ",GeneraSalida)

    iob_tags = tree2conlltags(RegexParser)
    print ("\n\n6 IOB Tags = ",iob_tags)

    tree = conlltags2tree(iob_tags)
    print  ("\n\n7 Tree = ",tree)


    test_sents = conll2000.chunked_sents('test.txt', chunk_types=['NP'])
    train_sents = conll2000.chunked_sents('train.txt', chunk_types=['NP'])

    Uchunker = UnigramChunker(train_sents)
    print("\n\n8 Acierto con unigramas: ", Uchunker.evaluate(test_sents))
    print("\n\n9 SENTENCE: ", Uchunker.parse(ptag))  

    Bchunker = BigramChunker(train_sents)
    print("\n\n10 Acierto con Bigramas: ", Bchunker.evaluate(test_sents))
    print("\n\n11 SENTENCE: ", Bchunker.parse(ptag))  

    Tchunker = TrigramChunker(train_sents)
    print("\n\n12 Acierto con Trigramas: ", Tchunker.evaluate(test_sents))
    print("\n\n13 SENTENCE: ", Tchunker.parse(ptag))          


main()    

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.