Tengo varios arreglos de diferentes cadenas y quiero convertir las cadenas en tokens. Intenté dos aproximaciones:
Aplicar la
word_tokenize
denltk.tokenize
word_tokenize(train_x_orig)
Pero no puedes aplicar
word_tokenize
a matrices directamente.El método
str.split()
.RegexTokenize
denltk.tokenize
:# tokenize tknzr = RegexTokenizer('\w+') train_x_orig = [[tknzr.tokenize(train_x_orig) for word in str] for str in train_x_orig]
Sin éxito porque no podía importar
RegexTokenizer
:from nltk.tokenize import RegexTokenizer ImportError: cannot import name 'RegexTokenizer'
Datos
Todos los datos provienen de aplicar el algoritmo en esta pregunta a este conjunto de datos: Conjunto de Datos de Contestación de Preguntas de Stanford] 2.
Aquí hay un ejemplo de las diferentes matrices, creo que todavía necesito procesar train_y
:
>>> train_x_orig[0]
['Newborn infants have no prior exposure to microbes and are particularly vulnerable to infection...', 'What antibody is transmitted from the father to the baby?']
>>> train_y[0]
[[{'answer_start': 371, 'text': '0.2 inhabitants per square kilometre'}, {'answer_start': 371, 'text': '0.2 inhabitants'}, {'answer_start': 371, 'text': '0.2 inhabitants per square kilometre'}]]
from nltk.tokenize import RegexpTokenizer
, ("RegexpTokenizer" no "RegexTokenizer")