Al final yo lo resolvi de esta manera, supongo que habrá formas mas simples de hacerlo y con mejores resultados, pero mis conocimientos en aquella epoca eran los que eran, espero que te sirva:
# -*- coding: utf-8 -*-
"""
Created on Sat Mar 30 19:46:27 2019
Practica usando REGEX TAGGER
@author: Luis Martinez Martin
"""
# Importamos las librerias con las que vamos a trabajar
import nltk
from nltk.chunk.util import conlltags2tree, tree2conlltags
#from nltk import ChunkParserI
import nltk.chunk, nltk.tag
from nltk.corpus import conll2000
class UnigramChunker(nltk.ChunkParserI):
def __init__(self, train_sents):
train_data = [[(t,c) for w,t,c in nltk.chunk.tree2conlltags(sent)]
for sent in train_sents]
self.tagger = nltk.UnigramTagger(train_data)
def parse(self, sentence):
pos_tags = [pos for (word,pos) in sentence]
tagged_pos_tags = self.tagger.tag(pos_tags)
chunktags = [chunktag for (pos, chunktag) in tagged_pos_tags]
conlltags = [(word, pos, chunktag) for ((word,pos),chunktag)
in zip(sentence, chunktags)]
return nltk.chunk.conlltags2tree(conlltags)
class BigramChunker(nltk.ChunkParserI):
def __init__(self, train_sents):
train_data = [[(t,c) for w,t,c in nltk.chunk.tree2conlltags(sent)] for sent in train_sents]
self.tagger = nltk.BigramTagger(train_data)
def parse(self, sentence):
pos_tags = [pos for (words, pos) in sentence]
tagged_pos_tags = self.tagger.tag(pos_tags)
chunktags = [chunktag for (pos, chunktag) in tagged_pos_tags]
conlltags = [(word, pos, chunktag) for ((word,pos),chunktag)
in zip(sentence, chunktags)]
return nltk.chunk.conlltags2tree(conlltags)
class TrigramChunker(nltk.ChunkParserI):
def __init__(self, train_sents):
train_data = [[(t,c) for w,t,c in nltk.chunk.tree2conlltags(sent)]
for sent in train_sents]
self.tagger = nltk.TrigramTagger(train_data)
def parse(self, sentence):
pos_tags = [pos for (word,pos) in sentence]
tagged_pos_tags = self.tagger.tag(pos_tags)
chunktags = [chunktag for (pos, chunktag) in tagged_pos_tags]
conlltags = [(word, pos, chunktag) for ((word,pos),chunktag)
in zip(sentence, chunktags)]
return nltk.chunk.conlltags2tree(conlltags)
# Funcion de segmentacion de frases
def Segmentacion(menu):
sentences = nltk.tokenize.sent_tokenize(menu)
return (sentences)
# Función de tokenizacion
def Tokenizacion(sentences):
tokens=nltk.word_tokenize(sentences,"spanish")
return(tokens)
# Función de Analisis Morfologico POS Tagger
def Pos_Tag(tokens):
tagged = nltk.pos_tag(tokens)
return(tagged)
# Funcion RegexpParser
def RegPar(menu):
grammar = r'''
Comida: {<CD>*<NN>+} # numero (opcional) + uno o mas nombres (1 bocadillo)
{<JJ>*<NN>+}
{<CD>*<NN><IN>*<NN>+} # numero (opcional) + nombre + preposicion + nombre (1 bocadillo de calamares)
Cantidad: {<JJ>}
{<CD>}
{<DT>}
{<NN>}
'''
regex_parser = nltk.RegexpParser(grammar)
parsed_sentence = regex_parser.parse(menu)
return(parsed_sentence)
def GeneraArray(resultado):
data = []
for nodo in resultado:
if type(nodo) == tuple:
continue
tipo = nodo.label()
cant = 1
for elemento in nodo:
if type(elemento) != tuple:
continue
palabra, categoria = elemento
if categoria == 'JJ' and (palabra == 'un' or palabra == 'una'):
cant = 1
if (categoria == 'NN' or categoria == 'NNS') and (palabra == 'dos'):
cant = 2
if (categoria == 'NN' or categoria == 'NNS') and (palabra == 'tres'):
cant = 3
if (categoria == 'NN' or categoria == 'NNS') and (palabra == 'cuatro'):
cant = 4
if (categoria == 'NN' or categoria == 'NNS') and (palabra == 'cinco'):
cant = 5
if (categoria == 'NN' or categoria == 'NNS') and (palabra == 'seis'):
cant = 6
if (categoria == 'NN' or categoria == 'NNS') and (palabra == 'siete'):
cant = 7
if (categoria == 'NN' or categoria == 'NNS') and (palabra == 'ocho'):
cant = 8
if (categoria == 'NN' or categoria == 'NNS') and (palabra == 'nueve'):
cant = 9
if (categoria == 'NN' or categoria == 'NNS') and (palabra == 'diez'):
cant = 10
if tipo == 'Comida' and (palabra != 'dos' and palabra != 'tres' and palabra != 'cuatro'
and palabra != 'cinco' and palabra != 'seis' and palabra != 'siete'
and palabra != 'ocho' and palabra != 'nueve' and palabra != 'diez'
and palabra != 'y' and palabra != ',' and palabra != '.'):
data.append(dict(comida=palabra, cantidad=cant))
return(data)
def carga_corpus():
corpus = "Quisiera pedir un hamburguesa,Quiero una tortilla y una cerveza,Me pones un pollo y una ensalada,Quiero una paella,Quiero un bocadillo,Quiero una pizza,Ponme una sopa,Quiero un filete,Quisiera pedir una ensalada,Quiero cinco bocadillos,Quisiera una empanada,Quiero unas croquetas,Quisiera morcilla,Quiero pedir un solomillo,Quiero unos macarrones,Quiero una Lasagna,Quiero una hamburguesa, una de patatas fritas y una cerveza,Quiero un lenguado,Quiero un bonito,Quisiera una sepia,Quiero cinco cervezas,Quiero tres sidras y tres pinchos,Quiero cinco manzanas y tres melocotones,Quisiera cuatro solomillos,Quiero una naranja y dos peras"
return (corpus)
# Función principal
def main():
# cargo el corpus con pedidos al restaurante
corpora = carga_corpus()
Segm = Segmentacion(corpora)
print ("\n\n1. Frases:",Segm)
tok = Tokenizacion(corpora)
print ("\n\n2. Tokens:",tok)
ptag = Pos_Tag(tok)
print ("\n\n3. Analisis Morfologico:",ptag)
# Construimos Regex Parser
RegexParser = RegPar(ptag)
print("\n\n4 Parsed Sentence = ", RegexParser)
GeneraSalida = GeneraArray(RegexParser)
print("\n\n5 Salida = ",GeneraSalida)
iob_tags = tree2conlltags(RegexParser)
print ("\n\n6 IOB Tags = ",iob_tags)
tree = conlltags2tree(iob_tags)
print ("\n\n7 Tree = ",tree)
test_sents = conll2000.chunked_sents('test.txt', chunk_types=['NP'])
train_sents = conll2000.chunked_sents('train.txt', chunk_types=['NP'])
Uchunker = UnigramChunker(train_sents)
print("\n\n8 Acierto con unigramas: ", Uchunker.evaluate(test_sents))
print("\n\n9 SENTENCE: ", Uchunker.parse(ptag))
Bchunker = BigramChunker(train_sents)
print("\n\n10 Acierto con Bigramas: ", Bchunker.evaluate(test_sents))
print("\n\n11 SENTENCE: ", Bchunker.parse(ptag))
Tchunker = TrigramChunker(train_sents)
print("\n\n12 Acierto con Trigramas: ", Tchunker.evaluate(test_sents))
print("\n\n13 SENTENCE: ", Tchunker.parse(ptag))
main()
Parsed Sentence
, que aunque no es imposible, no parece lo más adecuado. Porque entiendo queParsed sentence
es un string, no?# Funcion RegexpParser def RegPar(menu): grammar = r''' Comida: {<CD>*<NN>+} {<JJ>*<NN>+} {<CD>*<NN><IN>*<NN>+} Cantidad: {<JJ>} {<CD>} ''' regex_parser = nltk.RegexpParser(grammar) parsed_sentence = regex_parser.parse(menu) return(parsed_sentence)
y devuelve:Parsed Sentence = (S I/PRP sold/VBD (Cantidad a/DT) (Vehiculo car/NN) and/CC (Cantidad a/DT) (Vehiculo motorbike/NN))
import nltk from nltk.chunk import * from nltk.chunk.util import * from nltk.chunk.regexp import * from nltk import Tree