El problema es que tu csv no tiene el mismo número de campos en cada línea.
La primera línea daría los nombres de las "columnas", y serían sólo dos ("nombre" y "palabra"), pero después hay filas que contienen tres y hasta cuatro datos.
No está del todo claro si lo que ocurre es que el campo "palabra" contiene dentro varias palabras separadas por comas, pero en ese caso el CSV estaría mal formado, ya que ese campo debería aparecer entre comillas, así:
nombre,palabra
Paco,cientifico
Jesús,estudiante
Sergio,"astronomo,estrella"
Carlos,"profesor"
Juan,"futbolista,pelota,portero"
En este caso el dataframe sería leido correctamente y saldría esto:
nombre palabra
0 Paco cientifico
1 Jesús estudiante
2 Sergio astronomo,estrella
3 Carlos profesor
4 Juan futbolista,pelota,portero
Pero si lo que realmente ocurre es que quieres que algunas líneas tengan más celdas que otras, una posible solución sería saltarse la primera fila donde estarían los "nombres" de las columnas, y en su lugar forzar a que esos nombres sean los números del 0 al 3, así:
df = pd.read_csv(fichero, sep=",", skiprows=2, names=range(4))
Suponiendo que no haya ninguna fila con más de 4 campos, lo anterior funcionaría, y te rellenaría con NaN las celdas para las que no haya valor (porque esa fila tiene menos de cuatro campos). En tu ejemplo saldría:
0 1 2 3
0 Paco cientifico NaN NaN
1 Jesús estudiante NaN NaN
2 Sergio astronomo estrella NaN
3 Carlos profesor NaN NaN
4 Juan futbolista pelota portero
Puedes usar fillna()
para rellenar con otra cosa las celdas que tienen NaN. por ejemplo:
>>> df.fillna("")
0 1 2 3
0 Paco cientifico
1 Jesús estudiante
2 Sergio astronomo estrella
3 Carlos profesor
4 Juan futbolista pelota portero
Edición
Parece que el usuario quiere que cada "nombre" tenga asociada una lista de palabras y que a poder ser esa lista de lugar a múltiples filas para un mismo nombre.
Para lograr eso, de entrada, el csv debe evitar usar como separador de palabras el mismo carácter que el usado como separador de celdas. O bien encerrar entre comillas las cadenas que contengan comas, como puse en mi primer ejemplo.
Suponiendo que el csv tiene el formato correcto y que ha sido leido, resultando el dataframe mostrado en el primer ejemplo más arriba, lo siguiente sería convertir los elementos la columna "palabra" en listas. Esto se logra así:
>>> df.palabra = df.palabra.str.split(",")
>>> df
nombre palabra
0 Paco [cientifico]
1 Jesús [estudiante]
2 Sergio [astronomo, estrella]
3 Carlos [profesor]
4 Juan [futbolista, pelota, portero]
Como vemos algunos nombres tienen una lista con un solo elemento, otros tienen listas con varios elementos.
Ya sólo queda usar explode()
para convertir esas listas en filas:
>>> df = df.explode("palabra")
>>> df
nombre palabra
0 Paco cientifico
1 Jesús estudiante
2 Sergio astronomo
2 Sergio estrella
3 Carlos profesor
4 Juan futbolista
4 Juan pelota
4 Juan portero
Extra
En caso de que no se tenga acceso a la forma en que el csv se genera, es posible escribir un pequeño script python que convierta un fichero que contiene esto:
nombre,palabra
Paco,cientifico
Jesús,estudiante
Sergio,astronomo,estrella
Carlos,profesor
Juan,futbolista,pelota,portero
en otro que contiene esto:
nombre,"palabra"
Paco,"cientifico"
Jesús,"estudiante"
Sergio,"astronomo,estrella"
Carlos,"profesor"
Juan,"futbolista,pelota,portero"
Siendo más precisos, se trata de poner entre comillas todo lo que aparezca en cada línea después de la primera coma. En los casos en que sólo haya una palabra tras la coma las comillas serían innecesarias, pero tampoco hacen ningún daño porque serán ignoradas por pandas al leer. Por tanto es más sencillo aplicar esta transformación a todas las líneas.
El script siguiente haría dicha transformación:
entrada = "fichero_mal.csv"
salida = "fichero_bien.csv"
with open(entrada, "r") as f_in, open(salida, "w") as f_out:
for linea in f_in:
trozos = linea.rstrip().split(",") # Separar elementos por la coma
nombre = trozos[0] # quedarse con el primero
palabra = ",".join(trozos[1:]) # volver a juntar los restantes
# Ahora los volcamos al otro fichero, encerrando entre comillas los segundos
f_out.write('{},"{}"\n'.format(nombre, palabra))
Al ejecutar este programa el fichero fichero_bien.csv
ya tendrá la información en el formato correcto para ser procesado por pandas por cualquiera de los procedimientos antes vistos en esta respuesta.