1

Acabo de empezar a conocer python. Tras hacer una extracción de datos, me quedo con un dataframe en pandas

from selenium import webdriver
import pandas as pd 
import time


champ3 = 'challenger-series'
url3 = 'https://www.flashscore.es/tenis-de-mesa/others-masculin/'+champ3+'/resultados/'

headers = {'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Mobile Safari/537.36'}
driver = webdriver.Chrome()
driver.get(url3)

data = driver.find_elements_by_class_name('event__match')
data_clean = []
for i in range(len(data)):
    data_clean.append(data[i].text)

data_clean = [x.replace("\n", ";") for x in data_clean]
df= pd.DataFrame(data_clean)
print(df)
# df.columns = ['a','b','c','d','e','f','g','h','i','j','k','l','m']
# df.reindex(columns=['a','b','d','f','h','j','l','n','c','e','g','i','k','m'])
df.to_csv(champ3+'.csv', index=False)

He tratado de modificar el orden de las columnas con df.reindex. Por ejemplo, a,b,d,e.. pero no puedo hacerlo porque la cabecera no tiene nombres y cuando trato de ponerles nombre, me aparece un mensaje de error.

df.columns = ['a','b','c','d','e','f','g','h','i','j','k','l','m']

ValueError: Length mismatch: Expected axis has 1 elements, new values have 13 elements

Sé que debería ser sencillo pero no encuentro la manera de modificar el orden de las columnas.

print(df)

                                                     0
0    15.10. 12:30;Bourrassaud F. (Fra);Cheaib D. (L...
1    15.10. 11:50;Zeljko F. (Cro);De Saintilan M. (...
2    15.10. 11:10;Chtchetinine E. (Blr);Sanchi F. (...
3    15.10. 10:30;Lavergne P. (Fra);Cheaib D. (Leb)...
4    15.10. 09:50;Kojic F. T. (Cro);De Saintilan M....
..                                                 ...
116  23.09. 11:10;Martinko J. (Cze);Gorak D. (Pol);...
117  23.09. 10:30;Mino A. (Ecu);Cheaib D. (Leb);3;0...
118  23.09. 09:50;Bobocica M. (Ita);Stoyanov N. (It...
119  23.09. 09:10;Gorak D. (Pol);Kosowski J. (Pol);...
120  23.09. 08:30;Martinko J. (Cze);Horejsi M. (Cze...
6
  • resignando df.columns las estarías renombrando, no reordenando. La forma más fácil de reordenarlas es extraer las columnas que te interesen en el orden en que te interesen: df = df[['a', 'b', 'd', 'e']] por ejemplo. No obstante el error que te está dando me hace pensar que has leido mal el csv y te ha salido una sola columna en vez de las que debería tener. Compruébalo mostrando df. Esto puede pasar porque el CSV use un delimitador entre columnas distinto del que pandas espera
    – abulafia
    Commented el 15 oct. 2020 a las 11:29
  • Gracias por la respuesta @abulafia He modificado el post para hacerlo más sencillo de entender. Ese es mi problema. Commented el 15 oct. 2020 a las 11:40
  • ¿Qué muestra el print(df)? ¿Podrías añadirlo a la pregunta (al menos el inicio, o si no haz un print(df.head()) para que muestre sólo un extracto).
    – abulafia
    Commented el 15 oct. 2020 a las 11:42
  • Lo acabo de modificar @abulafia Commented el 15 oct. 2020 a las 11:47
  • Como suponía tu dataframe tiene una sola columna, debido a que los datos se los pasas "todos pegados" en una sola cadena. Prueba df= pd.DataFrame([x.split(";") for x in data_clean]) para que divida cada cadena por el punto y coma
    – abulafia
    Commented el 15 oct. 2020 a las 11:50

2 respuestas 2

1

El problema viene de que el dataframe que estás construyendo tiene una sola columna y no las 13 columnas que tú esperabas. Por eso falla la asignación:

df.columns = ['a','b','c','d','e','f','g','h','i','j','k','l','m']

Lo de que tengas una sola columna se debe a que, tras ejecutar este fragmento:

data = driver.find_elements_by_class_name('event__match')
data_clean = []
for i in range(len(data)):
    data_clean.append(data[i].text)

lo que queda en tu lista data_clean es una serie de cadenas, cada una de las cuales tiene dentro retornos de carro. Por ejemplo la primera podría ser:

'15.10. 12:30\nBourrassaud F. (Fra)\nCheaib ...'

Cada uno de esos retornos de carro delimita lo que debería ir a una columna diferente. Lo que haces tú es cambiar los retornos de carro por punto y coma, con el código:

data_clean = [x.replace("\n", ";") for x in data_clean]

Pero eso no evita que cada elemento de data_clean siga siendo una larga cadena en la que apaarezcan todas la columnas "pegadas" (ahora con punto y coma como separador, en lugar de retornos de carro). Quizás pensaste que al usar punto y coma, imitando el formato de una CSV, pandas sería capaz de automáticamente separar por ese carácter. Esto podría ser así si usaras el constructor read_csv() pero aún así a ese constructor habría que pasarle un fichero (o emular uno mediante io.StringIO) y ese fichero debería contener cada fila en una línea. Tal como tienes tus datos, en una lista, no funcionaría directamente.

En este punto lo más sencillo es romper cada elemento de data_clean por el separador. Ese era el enfoque que te sugerí en un comentario, usando split(";"). Pero realmente la separación se podía haber hecho ya antes, cuando el separador era \n y así te ahorras un paso. Es decir:

data = driver.find_elements_by_class_name('event__match')
data_clean = []
for i in range(len(data)):
    data_clean.append(data[i].text)

data_clean = [x.split("\n") for x in data_clean]
df= pd.DataFrame(data_clean)

Ahora ya tendrías un df con 13 columnas y tu código para renombrarlas y reordenarlas debería ya funcionar.

-1
from selenium import webdriver
import pandas as pd 


champ3 = 'challenger-series'
url3 = 'https://www.flashscore.es/tenis-de-mesa/others-masculin/'+champ3+'/resultados/'

headers = {'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Mobile Safari/537.36'}
driver = webdriver.Chrome()
driver.get(url3)

data = driver.find_elements_by_class_name('event__match')
data_clean = []
for i in range(len(data)):
    data_clean.append(data[i].text)

data_clean = [x.replace("\n", ";") for x in data_clean]
data_clean = [x.split(";") for x in data_clean]
df= pd.DataFrame(data_clean)
df.columns = ['a','b','c','d','e','f','g','h','i','j','k','l','m']
df2 = df[['a','b','d','f','h','j','l','n','c','e','g','i','k','m']]
df2.to_csv(champ3+'.csv', index=False)
2
  • 1
    Hola! Esto no está considerado una buena respuesta por la comunidad, debería ser un comentario. Las respuestas tienen que ser claras y concisas, abordando y explicando el problema. Te recomiendo leer ¿Cómo responder? así ayudarás mejor a los demás y ganarás más resputación! Commented el 15 oct. 2020 a las 20:34
  • Apenas conozco pandas, y esta respuesta no me enseña nada. No me dice cual fue el error del OP, ni me explica la solución. Quedo tan ignorante como al principio. Es solo un bloque de código indigerible.
    – Candid Moe
    Commented el 18 oct. 2020 a las 20:29

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.