0

Esty haciendo una red neuronal pero obtengo un error en los datos que no me permite ejecutar el scrip. Mis datos son un conjunto de 9568 filas y 5 columnas. En formato csv delimitados por comas. introducir la descripción de la imagen aquí

Este es parte del codigo que uso:

from keras.models import Sequential
from keras.layers import Dense
import numpy
import pandas
import matplotlib.pyplot as plt
import scipy.stats
seed = 7
numpy.random.seed(seed)

from google.colab import auth
auth.authenticate_user()
from pydrive.drive import GoogleDrive
from pydrive.auth import GoogleAuth
from oauth2client.client import GoogleCredentials
gauth = GoogleAuth()
gauth.credentials = GoogleCredentials.get_application_default()
drive = GoogleDrive(gauth)
myfile = drive.CreateFile({'id': '1uJ0Y_WF1OspE46fAulNJPokdZ9gbfQYl'})
myfile.GetContentFile('EstudioCaso.csv')

dataset = numpy.genfromtxt("EstudioCaso.csv", skip_header=1, dtype="f,f,f,f,f", unpack=True, delimiter=",,")
dataset.shape
dataset.ndim
print (dataset)
X = dataset[:,0:4]
Y = dataset[:,5]

Los datos se leen de la siguiente fomra: [( 8.34, 40.77, 1010.84, 90.01, 480.48) (23.64, 58.49, 1011.4 , 74.2 , 445.75) (29.74, 56.9 , 1007.15, 41.91, 438.76) ... (15.99, 43.34, 1014.2 , 78.66, 465.96) (17.65, 59.87, 1018.58, 94.65, 450.93) (23.68, 51.3 , 1011.86, 71.24, 451.67)]

El error que obtengo es el siguente: too many indices for array

5
  • Hasta donde puedo ver tu pregunta es sobre fallos al tratar de leer archivos csv en python. No a propósito de redes neuronales. Una pregunta mal formulada no atrae la atención debida. Hice una pequeña revisión de tu llamado dataset = numpy.genfromtxt('este.csv', dtype= float, unpack=True) usando unas pocas líneas similares a las de tu imagen y obtuve array([nan, nan, nan]) Eso sugiere que el archivo necesita un tratamiento diferente
    – quevedo
    Commented el 18 ago. 2020 a las 20:18
  • Pero que tipo de tratamiento podria darle es que necesito entrar esos datos para poder hacer la red neuronal sin eso es imposible y no se como tratar numpy para que me deje entrar datos con comas Commented el 18 ago. 2020 a las 20:24
  • Para evitar eso como puedo incertar un csv separados por como donde me reconozca cada columna. Los datos son decimales Commented el 18 ago. 2020 a las 20:31
  • He buscado la documentación genfromtxt() allí te puedes orientar mejor. Borré un comentario porque me parece que no es pertinente.
    – quevedo
    Commented el 18 ago. 2020 a las 22:23
  • Hice nuevas pruebas. Y encontré lo siguiente: àgregué esta línea al iniciar: from io import StringIO y cambie el tipo de dato a leer: dataset = numpy.genfromtxt('este.csv', dtype= str, unpack=True) observa dtype = str y obtuve la lectura correcta. Me entrego un array de líneas de texto. Pero es de una sola dimensión.
    – quevedo
    Commented el 18 ago. 2020 a las 23:01

1 respuesta 1

3

Luego de hacer una revisión a la documentación (ver genfromtxt() encontré que estás haciendo lectura como array unidimensional y, al no hacer especificación correcta del tipo de deato a importar numpy trata de recoger la línea completa como un float de modo que te genera un array de la forma array([nan, nan, ..., nan])

Para resolver esto debes establecer el tipo de datos con una cadena como 'f,f,f,f,f' porque vas a importar 5 columnas float y especificar como delimitador ',,' doble coma (como se ve en la imagen que muestras de tus datos). La instrucción correcta para importarlos es

dataset = numpy.genfromtxt("este.csv", dtype="f,f,f,f,f", unpack=True, delimiter=",,")

Agrego una observación adicional (a raiz del comentario recibido): En la imagen de los datos se muestra una primera línea de encabezados. Para saltarlos se debe usar el parametro skip_header=num_lineas_a_ignorar de modo que el comando debe quedar así para ignorar la primera línea que no contiene números:

dataset = numpy.genfromtxt("este.csv", skip_header=1, dtype="f,f,f,f,f", unpack=True, delimiter=",,")

Para obtener columnas especificas se puede usar el parametro usecols = tupla_de_columnas_deseadas De modo que los valores X e Y que deseas se podrían obtener directamente al importar así:

#Primeras cuatro columnas
X = numpy.genfromtxt("este.csv", skip_header=1, usecols=(0, 1, 2, 3) dtype="f,f,f,f,f", unpack=True, delimiter=",,")
#Quinta columna
Y = numpy.genfromtxt("este.csv", skip_header=1, usecols=(4) dtype="f,f,f,f,f", unpack=True, delimiter=",,")

Nota versiones recientes de numpy admiten que si se requiere solo una columna se pueda pasar su valor simple ej usecols=4 De este modo los datos tienen el formato que esperabas.

En cuanto la línea que marcaba error: Tienes un array de n líneas con cinco columnas.

Por favor perdona el ruido en los comentarios.

16
  • He editado la pregunta con la linea de codigo pero no me deja seleccionar las comunas Commented el 19 ago. 2020 a las 15:58
  • 1
    Revisaste el dataset. Yo lo probé en IDLE y funciona correctamente. Un detalle tu primera línea contiene encabezados. Yo la quité en las pruebas que hice para no tener que poner parámetros extra.
    – quevedo
    Commented el 19 ago. 2020 a las 16:08
  • El dataset esta separado por ,, y los numeros con decimales.EL codigo que me propuso esta ok, pero sigo sin poder seleccionar las columnas: X = dataset[:,0:4] Hice una correcion en el dataset que actualizo en la pregunta Commented el 19 ago. 2020 a las 16:34
  • 1
    Voy a editar la respuesta para generar los dos valores que necesitas directamente al momento de importar. No es lo más eficiente pero sirve para ilustrar el manejo de columnas
    – quevedo
    Commented el 19 ago. 2020 a las 17:28
  • 1
    Tranquilo. Arréglala para que sea útil a otros. Formula una nueva para el caso del tensor y trata de clasificarla mejor. Porque todavía no sería de redes neuronales
    – quevedo
    Commented el 19 ago. 2020 a las 18:21

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.