7

Intento aplicar un método de incrustaciones de oraciones, InferSent, que proporciona representaciones semánticas de oraciones. Está entrenado en datos de inferencia de lenguaje natural y generaliza bien en muchas tareas diferentes.

El proceso es así:

Cree un vocabulario a partir de los datos de entrenamiento y use este vocabulario para entrenar el modelo infractor. Una vez que el modelo está entrenado, proporcione una oración como entrada a la función del codificador que devolverá un vector de 4096 dimensiones independientemente del número de palabras en la oración.

Sin embargo, en mi caso, hay 130319 preguntas para codificar y, por lo tanto, la función del codificador lleva mucho tiempo. Me pregunto si hay alguna forma de acelerarlo.

# Load model
from models import InferSent
MODEL_PATH =  '../new_models/infersent1.pkl'
params_model = {'bsize': 64, 'word_emb_dim': 300, 'enc_lstm_dim': 2048,
                'pool_type': 'max', 'dpout_model': 0.0, 'version': 1}
model = InferSent(params_model)

model.load_state_dict(torch.load('InferSent/encoder/infersent1.pkl'))

W2V_PATH = 'InferSent/dataset/GloVe/glove.840B.300d.txt'
model.set_w2v_path(W2V_PATH)

model.build_vocab_k_words(K=100000)

# encode questions
questions = list(df["question"])

Ahí es cuando codifico. Agregué un temporizador para las previsiones :

import time
dict_embeddings = {}
t0 = time.time()
for i in range(len(questions)):
    if i%1000 == 0:
        t1 = time.time()
        total = t1-t0
        print("encoding number ",i," time since beginning:", total)
    dict_embeddings[questions[i]] = model.encode([questions[i]], tokenize=True)

Entonces en las primeras 1000 iteraciones me da:

encoding number  0  time since beginning: 0.00016880035400390625
encoding number  1000  time since beginning: 228.6366264820099

Si hablamos bien de segundo, con 130000 iteraciones, estimo el tiempo para 8 horas 14 minutos. Que es realmente demasiado largo. Es por eso por lo que busca a optimizar este ciclo.

Ejemplo reproducible

Para hacer un ejemplo reproducible, aquí es cómo llegué a las sentences que utiliso:

# load json file
train = pd.read_json("data/train-v2.0.json")
# add data to a dataframe
contexts = []
questions = []
answers_text = []
answers_start = []
for i in range(train.shape[0]):
    topic = train.iloc[i,0]['paragraphs']
    for sub_para in topic:
        for q_a in sub_para['qas']:
            questions.append(q_a['question'])
            if q_a['answers']:
                answers_start.append(q_a['answers'][0]['answer_start'])
                answers_text.append(q_a['answers'][0]['text'])
            elif q_a['plausible_answers']:
                answers_start.append(q_a['plausible_answers'][0]['answer_start'])
                answers_text.append(q_a['plausible_answers'][0]['text'])
            contexts.append(sub_para['context'])
df = pd.DataFrame({"context":contexts, "question": questions, "answer_start": answers_start, "text": answers_text})
# load data in csv file
df.to_csv("data/train.csv", index = None)
# Create dictionary of sentence embeddings for faster computation
paras = list(df["context"].drop_duplicates().reset_index(drop= True))
blob = TextBlob(" ".join(paras))
sentences = [item.raw for item in blob.sentences]

Pueden encontrar los datos sobre el github de Stanford Question Answering Dataset.

5
  • 1
    Buenas!! Probaste a separar el proceso de transformación de datos del proceso de regresión lineal y optimización ?? Pienso que lo que mas llevará no sera buscar la función optima, si no computar todos esos datos para transformarlos en función debido a que el acceso a datos es lo mas pesado en un programa Commented el 9 ago. 2018 a las 10:14
  • Luego... ¿Es necesario tantas dimensiones para acceder a la distinción entre conjuntos? Si mas adelante quieres diferencias distintos conjuntos te vas a encontrar un algoritmo muy poco eficiente, creo que tambien deberías tirar por ahí. Por lo demas no tengo mas que decir Commented el 9 ago. 2018 a las 10:18
  • @RaúlGarcia Buenas ! ¡Gracias por los comentarios! ¿Qué significa cuando dice "distinción entre conjuntos" y "regresión lineal" en el código? Commented el 9 ago. 2018 a las 10:28
  • Por ejemplo si hacemos una regresión lineal de una imagen para saber si es un perro o no hay dos conjuntos: Los que son perros y los que no... Un analisis de una imagen tendría N-dimensiones en función del tamaño de la imagen, pero si yo solo necesitara la mitad del tamaño de la imagen para distinguirlos, el tamaño de las dimensiones para diferenciar el conjunto seria de N/2-dimensiones y el peso computacional se reduciria. En este caso lo que haría sería manipular el conjunto de datos para hacerlo mas reducido. Espero que te resolviera un poco mas la duda. Commented el 9 ago. 2018 a las 10:37
  • @ RaúlGarcia Sí, lo entiendo mejor. Te refieres a Glove, las representaciones de los vectores para las palabras, ¿verdad? Para ser sincero, seguí el tutorial de Swalin y el hecho de que estas dimensiones también las eligen estas personas del laboratorio de Facebook por un problema muy similar me motivó aún más a elegirlo. He aislado la parte del código que más tiempo toma, aproximadamente 8 horas según mis predicciones, y actualicé mi pregunta. Commented el 9 ago. 2018 a las 12:57

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.