3

Tengo un archivo CSV, coloco algunos datos solamente dado que tiene más de seis mil datos:

Form;Gloss
a;a tí
á;yo
à;aarón
aàn;abba
aarón;abel
abba;abías
abel;Abilinia
abías;abraham
abilinia;acaya
abraham;Acaz

Coloco ahora el código

    import pandas as pd
    import numpy as np
    from sklearn.model_selection import train_test_split

    # Leer los datos de un archivo CSV con delimitador de tabulación
    data = pd.read_csv('lexmau.csv', delimiter=';')


    # Eliminar filas con valores nulos en la columna 'Gloss'
    data = data.dropna(subset=['Gloss'])

    # Separar los datos en las columnas de mazateco y español
    mazateco = data['Form']
    espanol = data['Gloss']

    # Tokenizar las oraciones
    mazateco_tokenizado = [m.split() for m in mazateco]
    espanol_tokenizado = [e.split() for e in espanol]
    print(mazateco_tokenizado)

    # Crear los conjuntos de datos de entrenamiento y prueba
    mazateco_train, mazateco_test, espanol_train, espanol_test = 
    train_test_split(mazateco_tokenizado, espanol_tokenizado, test_size=0.2)
    
    import tensorflow as tf
    from tensorflow.keras.layers import Input, LSTM, Dense
    from tensorflow.keras.models import Model

    # Definir las dimensiones de los datos de entrada y salida
    mazateco_dim = len(mazateco)
    espanol_dim = len(espanol)

    # Definir los parámetros del modelo
    embedding_dim = 256
    units = 1024

    # Definir la entrada para el modelo
    encoder_inputs = Input(shape=(None,))

    # Definir la capa de codificación
    encoder_embedding = tf.keras.layers.Embedding(mazateco_dim, embedding_dim)(encoder_inputs)
    encoder_lstm = tf.keras.layers.LSTM(units, return_state=True)
    encoder_outputs, state_h, state_c = encoder_lstm(encoder_embedding)
    encoder_states = [state_h, state_c]

    # Definir la entrada para el decodificador
    decoder_inputs = Input(shape=(None,))

    # Definir la capa de decodificación
    decoder_embedding = tf.keras.layers.Embedding(espanol_dim, embedding_dim)
    decoder_lstm = tf.keras.layers.LSTM(units, return_sequences=True, return_state=True)
    decoder_outputs, _, _ = decoder_lstm(decoder_embedding(decoder_inputs), 
    initial_state=encoder_states)
    decoder_dense = tf.keras.layers.Dense(espanol_dim, activation='softmax')
    decoder_outputs = decoder_dense(decoder_outputs)

    # Definir el modelo completo
    model = tf.keras.models.Model([encoder_inputs, decoder_inputs], decoder_outputs)
    import numpy as np
    espanol_train = np.array(espanol_train)
    print(espanol_train)
    # Convertir cada lista en espanol_train en un solo string
    espanol_train_str = [' '.join(lst) for lst in espanol_train]

    # Imprimir la nueva lista resultante
    print(espanol_train_str)
    mazateco_train = np.array(mazateco_train)
    espanol_train = np.array(espanol_train)
    mazateco_test = np.array(mazateco_test)
    espanol_test = np.array(espanol_test)

    espanol_train_str = np.array(espanol_train_str)
    espanol_test = np.array(espanol_test)

    espanol_train_input = [s[:-1] for s in espanol_train_str]
    espanol_train_target = [s[1:] for s in espanol_train_str]
    espanol_test_input = espanol_test[:-1]
    espanol_test_target = espanol_test[1:]
    model.compile(loss='sparse_categorical_crossentropy', optimizer='adam')
    mazateco_train = np.array(mazateco_train)
    mazateco_test = np.array(mazateco_test)
    np.expand_dims(espanol_train_input, axis=1)

    espanol_train_input = np.array(espanol_train_input)
    espanol_train_target = np.array(espanol_train_target)
    espanol_test_input = np.array(espanol_test_input)
    espanol_test_target = np.array(espanol_test_target)

    batch_size = 64
    epochs = 100

    model.fit([mazateco_train, np.expand_dims(espanol_train_input, axis=2)], espanol_train_target, batch_size=batch_size, epochs=epochs, validation_data=([mazateco_test, np.expand_dims(espanol_test_input, axis=2)], espanol_test_target))

Lo cierto que lo estoy haciendo en un Colaboratory, y me sale error en el model.fit

AxisError                                 Traceback (most recent call last)
<ipython-input-115-2626fa18ec49> in <cell line: 1>()
----> 1 model.fit([mazateco_train, np.expand_dims(espanol_train_input, axis=2)], espanol_train_target, batch_size=batch_size, epochs=epochs, validation_data=([mazateco_test, np.expand_dims(espanol_test_input, axis=2)], espanol_test_target))

3 frames
/usr/local/lib/python3.10/dist-packages/numpy/core/numeric.py in <listcomp>(.0)
   1389             pass
   1390     # Going via an iterator directly is slower than via list comprehension.
-> 1391     axis = tuple([normalize_axis_index(ax, ndim, argname) for ax in axis])
   1392     if not allow_duplicate and len(set(axis)) != len(axis):
   1393         if argname:

AxisError: axis 2 is out of bounds for array of dimension 2

Qué solución puedo aplicar aquí? Estoy entrenando una especie de diccionario, para que cuando ingrese una oración en idioma Mazateco, me pueda dar una traducción aproximada.

4
  • 1
    DIces que el delimitador es ; pero el ejemplo separa por espacios/tabs. Posiblemente no tienes dos columnas.
    – Alfabravo
    Commented el 12 may. 2023 a las 15:32
  • Es que el archivo lo tengo guardado como CSV delimitado por comas. Lo que pasa es que en la pregunta lo copié tal cual aparece en el excel Commented el 12 may. 2023 a las 15:55
  • 1
    Recuerda que acá sólo tenemos lo que nos muestras, no sabemos nada, no imaginamos nada. ;)
    – Alfabravo
    Commented el 12 may. 2023 a las 16:29
  • Si, lo siento @Alfabravo por eso lo informo. Disculpas Commented el 12 may. 2023 a las 17:27

1 respuesta 1

0

Cuando haces

model.fit(
    [mazateco_train, np.expand_dims(espanol_train_input, axis=2)],
    espanol_train_target, batch_size=batch_size, epochs=epochs, 
    validation_data=(
        [mazateco_test, np.expand_dims(espanol_test_input, axis=2)], 
        espanol_test_target
    )
)

los ejes son zero-based. Prueba usando axis=1 EN AMBOS USOS. Y tienes que definir el batch_size y el número de epochs (tienes variables sin definir). Si uso cualquier valor (no conozco los requerimientos de tu modelo)

model.fit(
    [mazateco_train, np.expand_dims(espanol_train_input, axis=1)],
    espanol_train_target, batch_size=3, epochs=10, 
    validation_data=(
        [mazateco_test, np.expand_dims(espanol_test_input, axis=1)], 
        espanol_test_target
    )
)

Se queda en que hay un casting por ahí de String a float. Y sé que esto es porque se necesitan etiquetas numéricas para la clasificación. Algo como lo que indican en https://stackoverflow.com/a/61635080/236345.

PD. Si me da el tiempo, vuelvo a dedicarle otro rato

6
  • HHola mi estimado, ya probé con axis=1, e igual me arroja error Commented el 12 may. 2023 a las 17:26
  • @JeanGotopo mismo error?
    – Alfabravo
    Commented el 12 may. 2023 a las 17:40
  • 1
    @JeanGotopo yo lo probé y me dio un error diferente... y es que en batch_size usas una variable que no está definida
    – Alfabravo
    Commented el 12 may. 2023 a las 18:53
  • Edité la pregunta, había olvidado la parte donde se definen esas variables. Está justo encima del model.fit Commented el 12 may. 2023 a las 18:57
  • @JeanGotopo adivinar cómo es que estás corriendo el código hace todo infinitamente más difícil. Lo que hacemos acá es replicar el problema con el código y los datos de prueba...
    – Alfabravo
    Commented el 12 may. 2023 a las 18:58

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.