Intento aplicar un método de incrustaciones de oraciones, InferSent, que proporciona representaciones semánticas de oraciones. Está entrenado en datos de inferencia de lenguaje natural y generaliza bien en muchas tareas diferentes.
El proceso es así:
Cree un vocabulario a partir de los datos de entrenamiento y use este vocabulario para entrenar el modelo infractor. Una vez que el modelo está entrenado, proporcione una oración como entrada a la función del codificador que devolverá un vector de 4096 dimensiones independientemente del número de palabras en la oración.
Sin embargo, en mi caso, hay 130319 preguntas para codificar y, por lo tanto, la función del codificador lleva mucho tiempo. Me pregunto si hay alguna forma de acelerarlo.
# Load model
from models import InferSent
MODEL_PATH = '../new_models/infersent1.pkl'
params_model = {'bsize': 64, 'word_emb_dim': 300, 'enc_lstm_dim': 2048,
'pool_type': 'max', 'dpout_model': 0.0, 'version': 1}
model = InferSent(params_model)
model.load_state_dict(torch.load('InferSent/encoder/infersent1.pkl'))
W2V_PATH = 'InferSent/dataset/GloVe/glove.840B.300d.txt'
model.set_w2v_path(W2V_PATH)
model.build_vocab_k_words(K=100000)
# encode questions
questions = list(df["question"])
Ahí es cuando codifico. Agregué un temporizador para las previsiones :
import time
dict_embeddings = {}
t0 = time.time()
for i in range(len(questions)):
if i%1000 == 0:
t1 = time.time()
total = t1-t0
print("encoding number ",i," time since beginning:", total)
dict_embeddings[questions[i]] = model.encode([questions[i]], tokenize=True)
Entonces en las primeras 1000 iteraciones me da:
encoding number 0 time since beginning: 0.00016880035400390625
encoding number 1000 time since beginning: 228.6366264820099
Si hablamos bien de segundo, con 130000 iteraciones, estimo el tiempo para 8 horas 14 minutos. Que es realmente demasiado largo. Es por eso por lo que busca a optimizar este ciclo.
Ejemplo reproducible
Para hacer un ejemplo reproducible, aquí es cómo llegué a las sentences
que utiliso:
# load json file
train = pd.read_json("data/train-v2.0.json")
# add data to a dataframe
contexts = []
questions = []
answers_text = []
answers_start = []
for i in range(train.shape[0]):
topic = train.iloc[i,0]['paragraphs']
for sub_para in topic:
for q_a in sub_para['qas']:
questions.append(q_a['question'])
if q_a['answers']:
answers_start.append(q_a['answers'][0]['answer_start'])
answers_text.append(q_a['answers'][0]['text'])
elif q_a['plausible_answers']:
answers_start.append(q_a['plausible_answers'][0]['answer_start'])
answers_text.append(q_a['plausible_answers'][0]['text'])
contexts.append(sub_para['context'])
df = pd.DataFrame({"context":contexts, "question": questions, "answer_start": answers_start, "text": answers_text})
# load data in csv file
df.to_csv("data/train.csv", index = None)
# Create dictionary of sentence embeddings for faster computation
paras = list(df["context"].drop_duplicates().reset_index(drop= True))
blob = TextBlob(" ".join(paras))
sentences = [item.raw for item in blob.sentences]
Pueden encontrar los datos sobre el github de Stanford Question Answering Dataset.