Estoy trabajando en mi primer proyecto de Machine Learning usando la librería de TensorFlow 2.0. El proyecto trata de predecir tu tipo de personalidad de los 16 tipos de personalidades del Myers-Briggs test.
Al momento de utilizar mis propios datos no sé bien cómo preparar los datasets: utilizar csv o txt, y cómo separar test_data de test_label.
A modo de ejemplo, la información a preparar deberia ser así:
tipo_de_personalidad | descripción
INTJ | Los de tipo de personalidad intj son (...)
ENTP | Los de tipo de personalidad entp son (...)
... | ...
Quiero preparar este tipo de información para crear datasets (test_data, test_labels, train_data, train_labels) para utilizarlos correctamente en un modelo secuencial.
Entiendo que hay que tener estos datos como np.array, hacer un preprocesamiento y hacer un word_index tokenizandolo.
Si es posible que me iluminen con los pasos, sería ideal.
A petición de Cristobal Montecino:
Librerías que he usado hasta el momento:
from wordcloud import WordCloud, STOPWORDS, ImageColorGenerator
from tensorflow.keras.preprocessing.text import Tokenizer
import matplotlib.pyplot as plt
import tensorflow as tf
from PIL import Image
import pandas as pd
import numpy as np
Algunas cosas que he intentado
chars = '“”,.()\"/:;""%?¿!¡´'
tokenizer = Tokenizer(num_words = 100, filters = chars, lower = True, split = ' ')
with open('gdrive/My Drive/Colab Notebooks/MBTI/INTJ.txt', 'r') as f:
file_list1 = [line.strip() for line in f]
file_list = np.array(file_list1)
tokenizer.fit_on_texts(file_list)
word_index = tokenizer.word_index
values = word_index.values()
test = np.array(values)
print(word_index)
print(test)
Tipos de personlidades: Link
Criterio: el criterio para realizar la predicción en el modelo consiste en clasificación de texto usando tensorflow 2.0.