Intento aplicar un método de incrustaciones de oraciones, [InferSent][1], que proporciona representaciones semánticas de oraciones. Está entrenado en datos de inferencia de lenguaje natural y generaliza bien en muchas tareas diferentes.

El proceso es así:

> Cree un vocabulario a partir de los datos de entrenamiento y use este vocabulario para entrenar el modelo infractor. Una vez que el modelo está entrenado, proporcione una oración como entrada a la función del codificador que devolverá un vector de 4096 dimensiones independientemente del número de palabras en la oración. [manifestación]

Sin embargo, en mi caso, hay 130319 preguntas para codificar y, por lo tanto, la función del codificador lleva mucho tiempo. Me pregunto si hay alguna forma de acelerarlo.

    # Load model
    from models import InferSent
    MODEL_PATH =  '../new_models/infersent1.pkl'
    params_model = {'bsize': 64, 'word_emb_dim': 300, 'enc_lstm_dim': 2048,
                    'pool_type': 'max', 'dpout_model': 0.0, 'version': 1}
    model = InferSent(params_model)
    
    model.load_state_dict(torch.load('InferSent/encoder/infersent1.pkl'))
    
    W2V_PATH = 'InferSent/dataset/GloVe/glove.840B.300d.txt'
    model.set_w2v_path(W2V_PATH)

    model.build_vocab_k_words(K=100000)

    # encode questions
    questions = list(df["question"])

    for i in range(len(questions)):
        if i%1000 == 0:
            print(i)
        dict_embeddings[questions[i]] = model.encode([questions[i]], tokenize=True)

### Ejemplo reproducible

Para hacer un ejemplo reproducible, aquí es cómo llegué a las `sentences` que utiliso:

    # load json file
    train = pd.read_json("data/train-v2.0.json")
    # add data to a dataframe
    contexts = []
    questions = []
    answers_text = []
    answers_start = []
    for i in range(train.shape[0]):
        topic = train.iloc[i,0]['paragraphs']
        for sub_para in topic:
            for q_a in sub_para['qas']:
                questions.append(q_a['question'])
                if q_a['answers']:
                    answers_start.append(q_a['answers'][0]['answer_start'])
                    answers_text.append(q_a['answers'][0]['text'])
                elif q_a['plausible_answers']:
                    answers_start.append(q_a['plausible_answers'][0]['answer_start'])
                    answers_text.append(q_a['plausible_answers'][0]['text'])
                contexts.append(sub_para['context'])
    df = pd.DataFrame({"context":contexts, "question": questions, "answer_start": answers_start, "text": answers_text})
    # load data in csv file
    df.to_csv("data/train.csv", index = None)
    # Create dictionary of sentence embeddings for faster computation
    paras = list(df["context"].drop_duplicates().reset_index(drop= True))
    blob = TextBlob(" ".join(paras))
    sentences = [item.raw for item in blob.sentences]

  [1]: https://github.com/facebookresearch/InferSent/blob/master/encoder/demo.ipynb