Tengo un archivo CSV, coloco algunos datos solamente dado que tiene más de seis mil datos:
Form;Gloss
a;a tí
á;yo
à;aarón
aàn;abba
aarón;abel
abba;abías
abel;Abilinia
abías;abraham
abilinia;acaya
abraham;Acaz
Coloco ahora el código
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
# Leer los datos de un archivo CSV con delimitador de tabulación
data = pd.read_csv('lexmau.csv', delimiter=';')
# Eliminar filas con valores nulos en la columna 'Gloss'
data = data.dropna(subset=['Gloss'])
# Separar los datos en las columnas de mazateco y español
mazateco = data['Form']
espanol = data['Gloss']
# Tokenizar las oraciones
mazateco_tokenizado = [m.split() for m in mazateco]
espanol_tokenizado = [e.split() for e in espanol]
print(mazateco_tokenizado)
# Crear los conjuntos de datos de entrenamiento y prueba
mazateco_train, mazateco_test, espanol_train, espanol_test =
train_test_split(mazateco_tokenizado, espanol_tokenizado, test_size=0.2)
import tensorflow as tf
from tensorflow.keras.layers import Input, LSTM, Dense
from tensorflow.keras.models import Model
# Definir las dimensiones de los datos de entrada y salida
mazateco_dim = len(mazateco)
espanol_dim = len(espanol)
# Definir los parámetros del modelo
embedding_dim = 256
units = 1024
# Definir la entrada para el modelo
encoder_inputs = Input(shape=(None,))
# Definir la capa de codificación
encoder_embedding = tf.keras.layers.Embedding(mazateco_dim, embedding_dim)(encoder_inputs)
encoder_lstm = tf.keras.layers.LSTM(units, return_state=True)
encoder_outputs, state_h, state_c = encoder_lstm(encoder_embedding)
encoder_states = [state_h, state_c]
# Definir la entrada para el decodificador
decoder_inputs = Input(shape=(None,))
# Definir la capa de decodificación
decoder_embedding = tf.keras.layers.Embedding(espanol_dim, embedding_dim)
decoder_lstm = tf.keras.layers.LSTM(units, return_sequences=True, return_state=True)
decoder_outputs, _, _ = decoder_lstm(decoder_embedding(decoder_inputs),
initial_state=encoder_states)
decoder_dense = tf.keras.layers.Dense(espanol_dim, activation='softmax')
decoder_outputs = decoder_dense(decoder_outputs)
# Definir el modelo completo
model = tf.keras.models.Model([encoder_inputs, decoder_inputs], decoder_outputs)
import numpy as np
espanol_train = np.array(espanol_train)
print(espanol_train)
# Convertir cada lista en espanol_train en un solo string
espanol_train_str = [' '.join(lst) for lst in espanol_train]
# Imprimir la nueva lista resultante
print(espanol_train_str)
mazateco_train = np.array(mazateco_train)
espanol_train = np.array(espanol_train)
mazateco_test = np.array(mazateco_test)
espanol_test = np.array(espanol_test)
espanol_train_str = np.array(espanol_train_str)
espanol_test = np.array(espanol_test)
espanol_train_input = [s[:-1] for s in espanol_train_str]
espanol_train_target = [s[1:] for s in espanol_train_str]
espanol_test_input = espanol_test[:-1]
espanol_test_target = espanol_test[1:]
model.compile(loss='sparse_categorical_crossentropy', optimizer='adam')
mazateco_train = np.array(mazateco_train)
mazateco_test = np.array(mazateco_test)
np.expand_dims(espanol_train_input, axis=1)
espanol_train_input = np.array(espanol_train_input)
espanol_train_target = np.array(espanol_train_target)
espanol_test_input = np.array(espanol_test_input)
espanol_test_target = np.array(espanol_test_target)
batch_size = 64
epochs = 100
model.fit([mazateco_train, np.expand_dims(espanol_train_input, axis=2)], espanol_train_target, batch_size=batch_size, epochs=epochs, validation_data=([mazateco_test, np.expand_dims(espanol_test_input, axis=2)], espanol_test_target))
Lo cierto que lo estoy haciendo en un Colaboratory, y me sale error en el model.fit
AxisError Traceback (most recent call last)
<ipython-input-115-2626fa18ec49> in <cell line: 1>()
----> 1 model.fit([mazateco_train, np.expand_dims(espanol_train_input, axis=2)], espanol_train_target, batch_size=batch_size, epochs=epochs, validation_data=([mazateco_test, np.expand_dims(espanol_test_input, axis=2)], espanol_test_target))
3 frames
/usr/local/lib/python3.10/dist-packages/numpy/core/numeric.py in <listcomp>(.0)
1389 pass
1390 # Going via an iterator directly is slower than via list comprehension.
-> 1391 axis = tuple([normalize_axis_index(ax, ndim, argname) for ax in axis])
1392 if not allow_duplicate and len(set(axis)) != len(axis):
1393 if argname:
AxisError: axis 2 is out of bounds for array of dimension 2
Qué solución puedo aplicar aquí? Estoy entrenando una especie de diccionario, para que cuando ingrese una oración en idioma Mazateco, me pueda dar una traducción aproximada.
;
pero el ejemplo separa por espacios/tabs. Posiblemente no tienes dos columnas.