Skip to main content
etiquetas editadas
Enlace
Pikoh
  • 17.5k
  • 9
  • 41
  • 56
se añadieron 20 caracteres en el cuerpo
Origen Enlace
import time
dict_embeddings = {}
t0 = time.time()
for i in range(len(questions)):
    if i%1000 == 0:
        t1 = time.time()
        total = t1-t0
        print("encoding number ",i," time since beginning:", total)
    dict_embeddings[questions[i]] = model.encode([questions[i]], tokenize=True)
import time

t0 = time.time()
for i in range(len(questions)):
    if i%1000 == 0:
        t1 = time.time()
        total = t1-t0
        print("encoding number ",i," time since beginning:", total)
    dict_embeddings[questions[i]] = model.encode([questions[i]], tokenize=True)
import time
dict_embeddings = {}
t0 = time.time()
for i in range(len(questions)):
    if i%1000 == 0:
        t1 = time.time()
        total = t1-t0
        print("encoding number ",i," time since beginning:", total)
    dict_embeddings[questions[i]] = model.encode([questions[i]], tokenize=True)
se añadieron 604 caracteres en el cuerpo
Origen Enlace
# Load model
from models import InferSent
MODEL_PATH =  '../new_models/infersent1.pkl'
params_model = {'bsize': 64, 'word_emb_dim': 300, 'enc_lstm_dim': 2048,
                'pool_type': 'max', 'dpout_model': 0.0, 'version': 1}
model = InferSent(params_model)

model.load_state_dict(torch.load('InferSent/encoder/infersent1.pkl'))

W2V_PATH = 'InferSent/dataset/GloVe/glove.840B.300d.txt'
model.set_w2v_path(W2V_PATH)

model.build_vocab_k_words(K=100000)

# encode questions
questions = list(df["question"])

Ahí es cuando codifico. Agregué un temporizador para las previsiones :

import time

t0 = time.time()
for i in range(len(questions)):
    if i%1000 == 0:
        t1 = time.time()
        total = t1-t0
        print("encoding number ",i," time since beginning:", total)
    dict_embeddings[questions[i]] = model.encode([questions[i]], tokenize=True)

Entonces en las primeras 1000 iteraciones me da:

encoding number  0  time since beginning: 0.00016880035400390625
encoding number  1000  time since beginning: 228.6366264820099

Si hablamos bien de segundo, con 130000 iteraciones, estimo el tiempo para 8 horas 14 minutos. Que es realmente demasiado largo. Es por eso por lo que busca a optimizar este ciclo.

# Load model
from models import InferSent
MODEL_PATH =  '../new_models/infersent1.pkl'
params_model = {'bsize': 64, 'word_emb_dim': 300, 'enc_lstm_dim': 2048,
                'pool_type': 'max', 'dpout_model': 0.0, 'version': 1}
model = InferSent(params_model)

model.load_state_dict(torch.load('InferSent/encoder/infersent1.pkl'))

W2V_PATH = 'InferSent/dataset/GloVe/glove.840B.300d.txt'
model.set_w2v_path(W2V_PATH)

model.build_vocab_k_words(K=100000)

# encode questions
questions = list(df["question"])

for i in range(len(questions)):
    if i%1000 == 0:
        print(i)
    dict_embeddings[questions[i]] = model.encode([questions[i]], tokenize=True)
# Load model
from models import InferSent
MODEL_PATH =  '../new_models/infersent1.pkl'
params_model = {'bsize': 64, 'word_emb_dim': 300, 'enc_lstm_dim': 2048,
                'pool_type': 'max', 'dpout_model': 0.0, 'version': 1}
model = InferSent(params_model)

model.load_state_dict(torch.load('InferSent/encoder/infersent1.pkl'))

W2V_PATH = 'InferSent/dataset/GloVe/glove.840B.300d.txt'
model.set_w2v_path(W2V_PATH)

model.build_vocab_k_words(K=100000)

# encode questions
questions = list(df["question"])

Ahí es cuando codifico. Agregué un temporizador para las previsiones :

import time

t0 = time.time()
for i in range(len(questions)):
    if i%1000 == 0:
        t1 = time.time()
        total = t1-t0
        print("encoding number ",i," time since beginning:", total)
    dict_embeddings[questions[i]] = model.encode([questions[i]], tokenize=True)

Entonces en las primeras 1000 iteraciones me da:

encoding number  0  time since beginning: 0.00016880035400390625
encoding number  1000  time since beginning: 228.6366264820099

Si hablamos bien de segundo, con 130000 iteraciones, estimo el tiempo para 8 horas 14 minutos. Que es realmente demasiado largo. Es por eso por lo que busca a optimizar este ciclo.

se añadieron 145 caracteres en el cuerpo
Origen Enlace
Loading
se eliminaron 16 caracteres en el cuerpo
Origen Enlace
Loading
anadi como hacer un ejemplo reproducible
Origen Enlace
Loading
Origen Enlace
Loading