0

Estoy trabajando sobre un fichero CSV con muchos datos del que quiero extraer una parte de ellos. Parte de su contenido es el siguiente:

nombre,palabra
Paco,cientifico
Jesús,estudiante
Sergio,astronomo,estrella
Carlos,profesor
Juan,futbolista,pelota,portero
...

El problema que tengo es que cuando quiero abrir el fichero con pandas me da el siguiente error:

ParserError: Error tokenizing data. C error: Expected 2 fields in line 3, saw 3

El fichero CSV lo abro de la siguiente forma:

import pandas as pd
df = pd.read_csv('fichero.csv', delimiter=',', error_bad_lanes=False)

Uso el error_bad_lanes=False para así poder seguir trabajando, pero lo que hago con eso es saltarme esa parte de los datos y a mí lo que me interesa es conservar todos los datos.

Hay alguna forma de solucionar ese error sin perder parte de los datos?.

Gracias.

0

2 respuestas 2

1

El problema es que tu csv no tiene el mismo número de campos en cada línea.

La primera línea daría los nombres de las "columnas", y serían sólo dos ("nombre" y "palabra"), pero después hay filas que contienen tres y hasta cuatro datos.

No está del todo claro si lo que ocurre es que el campo "palabra" contiene dentro varias palabras separadas por comas, pero en ese caso el CSV estaría mal formado, ya que ese campo debería aparecer entre comillas, así:

nombre,palabra
Paco,cientifico
Jesús,estudiante
Sergio,"astronomo,estrella"
Carlos,"profesor"
Juan,"futbolista,pelota,portero"

En este caso el dataframe sería leido correctamente y saldría esto:

   nombre                    palabra
0    Paco                 cientifico
1   Jesús                 estudiante
2  Sergio         astronomo,estrella
3  Carlos                   profesor
4    Juan  futbolista,pelota,portero

Pero si lo que realmente ocurre es que quieres que algunas líneas tengan más celdas que otras, una posible solución sería saltarse la primera fila donde estarían los "nombres" de las columnas, y en su lugar forzar a que esos nombres sean los números del 0 al 3, así:

df = pd.read_csv(fichero, sep=",", skiprows=2, names=range(4))

Suponiendo que no haya ninguna fila con más de 4 campos, lo anterior funcionaría, y te rellenaría con NaN las celdas para las que no haya valor (porque esa fila tiene menos de cuatro campos). En tu ejemplo saldría:

        0           1         2        3
0    Paco  cientifico       NaN      NaN
1   Jesús  estudiante       NaN      NaN
2  Sergio   astronomo  estrella      NaN
3  Carlos    profesor       NaN      NaN
4    Juan  futbolista    pelota  portero

Puedes usar fillna() para rellenar con otra cosa las celdas que tienen NaN. por ejemplo:

>>> df.fillna("")
        0           1         2        3
0    Paco  cientifico                   
1   Jesús  estudiante                   
2  Sergio   astronomo  estrella         
3  Carlos    profesor                   
4    Juan  futbolista    pelota  portero

Edición

Parece que el usuario quiere que cada "nombre" tenga asociada una lista de palabras y que a poder ser esa lista de lugar a múltiples filas para un mismo nombre.

Para lograr eso, de entrada, el csv debe evitar usar como separador de palabras el mismo carácter que el usado como separador de celdas. O bien encerrar entre comillas las cadenas que contengan comas, como puse en mi primer ejemplo.

Suponiendo que el csv tiene el formato correcto y que ha sido leido, resultando el dataframe mostrado en el primer ejemplo más arriba, lo siguiente sería convertir los elementos la columna "palabra" en listas. Esto se logra así:

>>> df.palabra = df.palabra.str.split(",")
>>> df
   nombre                        palabra
0    Paco                   [cientifico]
1   Jesús                   [estudiante]
2  Sergio          [astronomo, estrella]
3  Carlos                     [profesor]
4    Juan  [futbolista, pelota, portero]

Como vemos algunos nombres tienen una lista con un solo elemento, otros tienen listas con varios elementos.

Ya sólo queda usar explode() para convertir esas listas en filas:

>>> df = df.explode("palabra")
>>> df
   nombre     palabra
0    Paco  cientifico
1   Jesús  estudiante
2  Sergio   astronomo
2  Sergio    estrella
3  Carlos    profesor
4    Juan  futbolista
4    Juan      pelota
4    Juan     portero

Extra

En caso de que no se tenga acceso a la forma en que el csv se genera, es posible escribir un pequeño script python que convierta un fichero que contiene esto:

nombre,palabra
Paco,cientifico
Jesús,estudiante
Sergio,astronomo,estrella
Carlos,profesor
Juan,futbolista,pelota,portero

en otro que contiene esto:

nombre,"palabra"
Paco,"cientifico"
Jesús,"estudiante"
Sergio,"astronomo,estrella"
Carlos,"profesor"
Juan,"futbolista,pelota,portero"

Siendo más precisos, se trata de poner entre comillas todo lo que aparezca en cada línea después de la primera coma. En los casos en que sólo haya una palabra tras la coma las comillas serían innecesarias, pero tampoco hacen ningún daño porque serán ignoradas por pandas al leer. Por tanto es más sencillo aplicar esta transformación a todas las líneas.

El script siguiente haría dicha transformación:

entrada = "fichero_mal.csv"
salida = "fichero_bien.csv"

with open(entrada, "r") as f_in, open(salida, "w") as f_out:
  for linea in f_in:
    trozos = linea.rstrip().split(",")   # Separar elementos por la coma
    nombre = trozos[0]                   # quedarse con el primero
    palabra = ",".join(trozos[1:])       # volver a juntar los restantes
    # Ahora los volcamos al otro fichero, encerrando entre comillas los segundos
    f_out.write('{},"{}"\n'.format(nombre, palabra))

Al ejecutar este programa el fichero fichero_bien.csv ya tendrá la información en el formato correcto para ser procesado por pandas por cualquiera de los procedimientos antes vistos en esta respuesta.

15
  • El primer caso es al que más se parece al resultado que me gustaría llegar. El problema está en que me interesa tener las palabras sin agrupar, es decir, en la fila de Sergio poder tener las palabras "astronomo" y "estrella" por separado para así poder tratarlas posteriormente. No sé si se pueden separar y crear una fila para cada una.
    – drakitus98
    el 12 nov. 2020 a las 18:08
  • ¿quieres decir, por ejemplo, que el nombre Sergio aparezca repetido en dos filas, y en una tenga como palabra "astronomo" y en la siguiente la palabra "estrella"? Mira a ver si la solución que doy en la "Edicion" es lo que buscas.
    – abulafia
    el 12 nov. 2020 a las 18:22
  • Si exacto, para así por incluirlas a una lista que tengo creada para ser tratadas más adelante.
    – drakitus98
    el 12 nov. 2020 a las 18:23
  • He intentado seguir los pasos como muy bien me has explicado, pero no consigo llegar a la solución. Lo primero que he hecho es: como el fichero csv no me lo lee correctamente he intentado poner todos los valores ente comillas de la siguiente forma: df = pd.read_csv('fichero.csv', delimiter= ',' ,quotechar = ' " ' , quoting=csv.QUOTE_ALL), pero aun así sigue sin leer bien el fichero. Que estoy haciendo mal y como podría poner los valores entre comillas?. Gracias.
    – drakitus98
    el 14 nov. 2020 a las 16:31
  • Desde python no puedes hacer nada para que pandas te lea bien el fichero, porque el fichero no está bien. Tienes que modificar el propio csv para que tenga el formato correcto. ¿De dónde ha salido ese csv? ¿Lo has generado desde excel? En ese caso, ¿es que has puesto cada palabra en una celda separada? Deberías ponerlos todos en la misma celda, separados por comas.
    – abulafia
    el 14 nov. 2020 a las 19:08
0

Explicación del error

El problema deriva de como tienes separados los campos.

El fichero está delimitado por ,. Parece que tienes delimitado los campos por , pero a la vez en un mismo campo, usas , para separar el texto.

Podemos ver como tu archivo tiene 2 columnas nombre y palabra, lo que sucede es lo siguiente:

  1. El archivo empieza a ser leido, como está separado por , Pandas se da cuenta de que tiene dos columnas.
  2. Comienza a separar por columnas cada vez que se encuentra con ,.
  3. Las dos primeras lineas las hace bien, de repente llega a la tercera y se encuentra Sergio,astronomo,estrella. Aquí te da el error, y en todos los campos que sean como este, ya que al estar separando los datos por , se cree que tienes 3 columnas.

Solución del problema

Puedes abrir tu archivo con Libreoffice, Excel o cualquier framework que permita elegir opciones de separación y guaradado, y a la hora de guardar tu archivo , elige que los separadores sean ;. Después cuando lo leas con Pandas, utiliza ; como separador

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.