0

Quiero construir un modelo "multi-headed" que sea capaz de detectar diferentes tipos de toxicidad como amenazas, obscenidades, insultos y odio basado en la identidad. Utilizo un conjunto de datos de comentarios de las ediciones de la página de discusión de Wikipedia. Puden encontrarlos aqui No sé como utlisar la baseline basada en FastText usando python y keras. ¿cómo sabes qué tan precisa es?

introducir la descripción de la imagen aquí

En los datos que tengo tenemos el comentario en el campo "comment_text" y seis etiquetas diferentes. Tenga en cuenta que este problema es un problema multi-etiqueta multi-clase. Puede encontrar más información sobre este tipo de problema aquí.

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
plt.style.use("ggplot")
%matplotlib inline

train_df = pd.read_csv("data/train.csv").fillna("sterby")
test_df = pd.read_csv("data/test.csv").fillna("sterby")

X_train = train_df["comment_text"].values
y_train = train_df[["toxic", "severe_toxic", "obscene", "threat", "insult", "identity_hate"]].values
X_test = test_df["comment_text"].values

Representamos cada muestra como una secuencia de palabras x_1, \ dots, x_N. Para cada palabra tenemos una tabla de consulta A para las llamadas incrustaciones de palabras. Estas incrustaciones en m dimensiones se inicializan al azar y se actualizan durante el entrenamiento. Estas representaciones de palabras se promedian en una representación de texto h = \ sum_ {i = 1} ^ N A [x_i], que a su vez se alimenta a un clasificador lineal. La representación de texto h es una variable oculta de la dimensión de incrustación que puede reutilizarse potencialmente. Esta arquitectura es similar al modelo de arco de Mikolov et al., Donde la palabra del medio es reemplazada por una etiqueta. Pero aquí, las incrustaciones están entrenadas para resolver un problema específico.

introducir la descripción de la imagen aquí

# Primero hacemos las importaciones necesarias de keras 

from keras.preprocessing import sequence
from keras.models import Model, Input
from keras.layers import Dense, Embedding, GlobalMaxPooling1D
from keras.preprocessing.text import Tokenizer
from keras.optimizers import Adam

# y establecemos algunos parámetros.

max_features = 20000 # número de palabras que queremos mantener
maxlen = 100 # longitud máxima de los comentarios en el modelo
batch_size = 64 # tamaño del lote para el modelo
embedding_dims = 20 # dimensión de la variable oculta, es decir, la dimensión de inserción

# Luego debemos tokenizar los comentarios.

tok = Tokenizer(num_words=max_features)
tok.fit_on_texts(list(X_train) + list(X_test))
x_train = tok.texts_to_sequences(X_train)
x_test = tok.texts_to_sequences(X_test)
print(len(x_train), 'train sequences')
print(len(x_test), 'test sequences')
print('Average train sequence length: {}'.format(np.mean(list(map(len, x_train)), dtype=int)))
print('Average test sequence length: {}'.format(np.mean(list(map(len, x_test)), dtype=in

Todo esto da, en un notebook :

95851 train sequences
226998 test sequences
Average train sequence length: 65
Average test sequence length: 75

Luego rellenamos las secuencias a nuestra longitud deseada.

x_train = sequence.pad_sequences(x_train, maxlen=maxlen)
x_test = sequence.pad_sequences(x_test, maxlen=maxlen)
print('x_train shape:', x_train.shape)
print('x_test shape:', x_test.shape)

Que da

x_train shape: (95851, 100)
x_test shape: (226998, 100)

Ahora podemos configurar el modelo. Tenga en cuenta que GlobalMaxPooling1D calculará la variable oculta h y la capa de salida sigmoidea con seis unidades calculará un modelo lineal multicapa de múltiples etiquetas sobre la variable oculta.

comment_input = Input((maxlen,))
# comenzamos con una capa de inserción eficiente que mapas
# nuestros índices de vocabulario en dimensiones embedding_dims
comment_emb = Embedding(max_features, embedding_dims, input_length = maxlen,
                         embeddings_initializer = "uniform") (comment_input)

# agregamos un GlobalMaxPooling1D, que extraerá características de las incrustaciones
# de todas las palabras en el comentario
h = GlobalMaxPooling1D () (comment_emb)

# Proyectamos en una capa de salida de seis unidades y la aplastamos con un sigmoide:
output = Dense(6, activation='sigmoid')(h)

model = Model(inputs=comment_input, outputs=output)

model.compile(loss='binary_crossentropy',
              optimizer=Adam(0.01),
              metrics=['accuracy'])

Ahora entrenamos el modelo para tres épocas.

hist = model.fit(x_train, y_train, batch_size=batch_size, epochs=3, validation_split=0.1)
Train on 86265 samples, validate on 9586 samples
Epoch 1/3
86265/86265 [==============================] - 24s 278us/step - loss: 0.0837 - acc: 0.9739 - val_loss: 0.0592 - val_acc: 0.9798
Epoch 2/3
86265/86265 [==============================] - 25s 285us/step - loss: 0.0531 - acc: 0.9810 - val_loss: 0.0568 - val_acc: 0.9801
Epoch 3/3
86265/86265 [==============================] - 24s 279us/step - l

Esto proporciona una primera baseline. ¿Mi pregunta esta cómo ver qué tan preciso es el modelo para predecir las clases de comentarios? Cómo probarlo como nzw parece hacerlo con FastText aquí.

1 respuesta 1

0

Simplemente leando Keras documentacion sobre Model

# Devuelve los valores de pérdida y valores de métricas para el modelo en modo de prueba.
train_result = model.evaluate(x_train, y_train, batch_size=batch_size, verbose=1, sample_weight=None, steps=None)
print(train_result)

# Genera predicciones de salida para las muestras de entrada.
test_result =model.predict(x_test, batch_size=batch_size, verbose=1, steps=None)
print(test_result)

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.