1

Estoy empezando a analizar unos textos en castellano y veo que la utilización de spacy para el castellano por mis pocas nociones que tengo de análisis sintáctico y morfológico no es muy bueno. Os enseño el código que he hecho y os enseño el output:

import spacy
import es_core_news_sm
sp = es_core_news_sm.load()

total_lemmas=[]
for i in range(len(clean_tokens)):
    sentence7 = sp(clean_tokens[i])
    for word in sentence7:
        print(word.text + '  ===>', word.lemma_)
        lemmas=word.lemma_
        total_lemmas.append(lemmas)

for i in range(len(clean_tokens)):
    sentence7 = sp(clean_tokens[i])
    for word in sentence7:
        print(word.text,  word.pos_)

Y os enseño un ejemplo de cada output:

Mucha  ===> Mucha
mano  ===> manir
,  ===> ,
mucha  ===> mucho
técnica  ===> técnico
en  ===> en
productos  ===> producto



oírlo PROPN

¿Conocéis algún otro paquete para texto en castellano?

Un saludo y muchas gracias.

0

2 respuestas 2

1

Es un problema común, aparte de la complejidad del NLP , por desgracia los buenos modelos suelen ser para el Ingles...

Hace muy poco que acaba de salir a la luz Stanza (Universidad de Stanford). No he tenido oportunidad de testearlo a fondo todavía y no se lo pulido que estará el modelo en Español, pero parece prometer bastante, además de disponer de modelos para 66 idiomas actualmente.

Alguna pruebas mediante Google Collab:

import stanza

stanza.download('es')
nlp = stanza.Pipeline('es')

doc = nlp('El ama de llaves abrió la puerta')

for sent in doc.sentences:
    for word in sent.words:
        print(f'word: {word.text} \tlemma: {word.lemma}') 
word: El      lemma: el
word: ama     lemma: ama
word: de      lemma: de
word: llaves  lemma: llave
word: abrió   lemma: abrir
word: la      lemma: el
word: puerta  lemma: puerta
doc = nlp('Mucha mano, mucha técnica en productos. oirlo')

for sent in doc.sentences:
    for word in sent.words:
        print(f'word: {word.text} \tlemma: {word.lemma}') 
word: Mucha     lemma: mucho
word: mano      lemma: mano
word: ,         lemma: ,
word: mucha     lemma: mucho
word: técnica   lemma: técnica
word: en        lemma: en
word: productos lemma: producto
word: .         lemma: .
word: oir       lemma: oír
word: lo        lemma: él
1

Te sugiero que te asegures de estar usando la versión 3 de spacy. He hecho una prueba con las mismas palabras que has usado tu y este es el resultado que he obtenido yo:

import spacy
import es_core_news_lg
sp = es_core_news_sm.load()

print("spaCy version: ", spacy.__version__)

print("LEMMA:")
print("====================================")

clean_tokens = ["Mucha", "mano", ",", "técnica", "en", "productos"]
total_lemmas=[]
for i in range(len(clean_tokens)):
    sentence7 = sp(clean_tokens[i])
    for word in sentence7:
        print(word.text + '  ===>', word.lemma_)
        lemmas=word.lemma_
        total_lemmas.append(lemmas)

print("")
print("")
print("POS:")
print("====================================")

for i in range(len(clean_tokens)):
    sentence7 = sp(clean_tokens[i])
    for word in sentence7:
        print(word.text,  word.pos_)
LEMMA:
====================================
Mucha  ===> mucho
mano  ===> mano
,  ===> ,
técnica  ===> técnico
en  ===> en
productos  ===> producto


POS:
====================================
Mucha DET
mano NOUN
, PUNCT
técnica ADJ
en ADP
productos NOUN
0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.