3

Estoy programando en Python y leo desde una plantilla CSV con Numpy de esta forma:

csv = np.genfromtxt('MMRExport.csv',delimiter=",", dtype=str)

Pero dentro del CSV tengo filas de datos vacíos y no los toma en cuenta, por ejemplo la primera fila tiene:

"A","B","C","","D","E",""

Entonces las columnas que tienen campos vacíos no las considera o me lanza error en los casos, que filas siguientes tengan un dato en esa ubicación. Por ejemplo, si la fila 2 es de la misma forma que la fila 1 no hay problema, pero si otra fila fuese de la forma:

"1","","2","3","4","5","6"

Me lanza un error ya que la cantidad de columnas son distintas. Lo que quiero es leer todas las columnas incluso las vacías. ¿Cómo podría hacer eso?

El error que me lanza es este:

    Traceback (most recent call last):
      File "/Users/JPontigo/Downloads/Tarea.py", line 17, in <module>
      csv = np.genfromtxt('MMRExport.csv',delimiter=",", dtype=str)
      File "/Users/JPontigo/anaconda/lib/python3.5/site-     packages/numpy/lib/npyio.py", line 1769, in genfromtxt
      raise ValueError(errmsg)
      ValueError: Some errors were detected !
           Line #2 (got 27 columns instead of 5)
           Line #3 (got 27 columns instead of 5)
           Line #4 (got 27 columns instead of 5)
           Line #5 (got 27 columns instead of 5)
           Line #6 (got 2 columns instead of 5)
           Line #7 (got 27 columns instead of 5)
           Line #8 (got 27 columns instead of 5)
           Line #9 (got 27 columns instead of 5)
           Line #10 (got 27 columns instead of 5)

El archivo es este:

https://drive.google.com/file/d/0B11sJdX_AaJBWGNabERCMzhiYVk/view?usp=sharing

5
  • 1
    Me parece raro ya que no deberías tener problemas si la cantidad de columnas en cada fila es la misma (asumiendo que las columnas incompletas existan como una cadena de texto vacía ""). Podrías tener problemas si por ejemplo la primera línea tuviera 5 columnas y la segunda 3.
    – César
    Commented el 5 jul. 2017 a las 21:50
  • 1
    Podrias compartir el archivo .csv para testearlo
    – user22539
    Commented el 5 jul. 2017 a las 22:03
  • 1
    Jorge, tal y como dice Cesar esto no debe pasar si todas tus filas tienen las mismas columnas (vacias o no). Con el ejemplo que pones el error no es reproducible, agrega un fragmento del CSV como dice eyllanesc que reproduzca el problema y agrega el error exacto que te lanza. Algo debe haber mal en el csv (delimitadores incorrectos, filas con diferente número de columnas, etc.), Ten en cuenta que una columna vacía a de estar separada por comas igualmente, es decir a,b,c,d,e y ,,,, son dos filas perfectamente válidas para un csv de 5 columnas. Saludos.
    – FJSevilla
    Commented el 6 jul. 2017 a las 0:55
  • 1
    Hola y gracias por sus respuestas @FJSevilla, voy a editar la pregunta para agregar lo que me piden. Commented el 6 jul. 2017 a las 2:40
  • 2
    gracias @César voy a editar la pregunta para agregar lo que me piden Commented el 6 jul. 2017 a las 2:41

1 respuesta 1

3

np.genfromtxt tiene un parámetro comments para permitir el uso de comentarios en el txt. Este parámetro recibe un carácter que indica que el texto a partir de él es un comentario, por lo que es eliminado al crear el array. Por defecto el valor de comments es '#'. La primera fila de tu csv es:

Message Code,Message Text,Airline,Airplane,Tail #,Flt#,Report,Date,CMCF SW P/N,...

Como interpreta que todo lo que hay posterior a # es un comentario, solo tiene en cuenta:

Message Code,Message Text,Airline,Airplane,Tail

Es decir, 5 columnas. El resto de filas tiene 27 columnas (no hay caracteres # y se leen completas) lo que ocasiona el error.

La solución es simple, cambia el parámetro comments:

csv = np.genfromtxt('MMRExport.csv',delimiter=",", comments=None, dtype=str)
13
  • Muchas Gracias @FJSevilla agregué lo que dices, pero mi archivo es muy grande y tengo otra fila ahora con otro problema, dice que tiene 30 columnas en vez de 28, pero las cuento y tiene 28, te adjunto el nuevo archivo (drive.google.com/file/d/0B11sJdX_AaJBR1JzclJGdFhBWlU/…) es la fila 4. No sé que pueda ser. Commented el 6 jul. 2017 a las 12:42
  • @JorgePonti fijate en esta columna de la fila 4: ""Tail Bearing Housing Fire Detector 4 (Left Engine) channel B is open, shorted, or has open ground"" Si te fijas dentro del string hay dos comas, al leer el csv toda coma que se encuntre es un separador, por lo que interpreta que hay 30 columnas. Por desgracia en numpy no hay mucho que hacer. ¿Puedes o quieres usar la biblioteca Pandas? Es sin duda una de las mejores opciónes para trabajar con grandes cantidades de datos tabulados.
    – FJSevilla
    Commented el 6 jul. 2017 a las 14:00
  • eso leí pero no estaba seguro si era más rápida pandas o mejor o no. Si es así me cambiaría para trabajar con esa, gracias Commented el 6 jul. 2017 a las 14:02
  • @JorgePonti Pandas usa por debajo NumPy en todo momento, no debes preocuparte por eso. Además, es muy simple pasar un DataFrame a un array crudo de Numpy si quisieras. Pandas es la libreria open source más usada en Python para trabajar con dataframes (datos heterogeneos tabulados) en el ámbíto científico o del big data. Te facilitará mucho la vida si luego necesitas agrupar, filtrar datos, realizar operaciones vectorizadas sobre columnas o filas, etc. Espera un momento, voy a actualizar la pregunta dandote un ejemplo para este caso. Saludos.
    – FJSevilla
    Commented el 6 jul. 2017 a las 14:09
  • 1
    Buena respuesta, no conozco mucho de numpy pero me pregunto si otra solución (en vez de usar comments) podría ser usando el parámetro skip_header=1 para obviar la primera línea.
    – César
    Commented el 6 jul. 2017 a las 16:25

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.