0

He comenzado recientemente a utilizar python y otros lenguajes de programación, para poder manejar datos relacionados con la agricultura, que es mi sector.

Estoy realizando un script que me hace un web scrapping de una base de datos climáticos del gobierno, descargándose los mismos en un archivo zip que contiene un csv. Una vez se descarga el archivo, cierra el navegador, posteriormente me guarda el último archivo descargado en una carpeta y le pone un nombre conocido, descomprime el archivo zip y después le cambia el nombre al CSV guardándolo en otra carpeta. A continuación muestro el código una vez ha cerrado el navegador hasta que intento abrir el archivo CSV.

filename = max(['C:/Users/jose luis/Downloads' +'/'+ f for f in os.listdir('C:/Users/jose luis/Downloads')], key=os.path.getctime)
shutil.move(os.path.join('C:/Users/jose luis',filename),'SIAR2.zip')

time.sleep(2)

#Descomprimimos el archivo zip que esta ahora en la carpeta spyder

archivo_zip = shutil.unpack_archive('C:/Users/jose luis/.spyder-py3/SIAR2.zip','C:/Users/jose luis')

time.sleep(2)

#Le damos un nombre conocido al archivo CSV con el que trabajaremos finalmente

filename = max(['C:/Users/jose luis' +'/'+ f for f in os.listdir('C:/Users/jose luis')], key=os.path.getctime)
df = shutil.move(os.path.join('C:/Users/jose luis/.spyder-py3',filename),'Dato.csv')

Dat = pd.read_csv('C:/Users/jose luis/.spyder-py3/Dato.csv')

Intento abrir dicho archivo, pero da siempre el siguiente error

ParserError: Error tokenizing data. C error: Expected 1 fields in line 3, saw 2

He intentado varias formas de abrirlo, entre ellas que me pusiera el delimitador en ; y los decimales en , pero me sigue ocurriendo el mismo error, también he intentado pasarlo a xlsx y pero también me daba error.

A continuación muestro el archivo CSV en texto

IdProvincia;IdEstacion;Fecha;Año;Dia;HoraMin;Temp Media (ºC)
22;7;10/11/2018;2018;314;30;8,54
22;7;10/11/2018;2018;314;100;8,16
22;7;10/11/2018;2018;314;130;8,61
22;7;10/11/2018;2018;314;200;8,77
22;7;10/11/2018;2018;314;230;9,71
22;7;10/11/2018;2018;314;300;8,47
22;7;10/11/2018;2018;314;330;8,34
22;7;10/11/2018;2018;314;400;7,89
22;7;10/11/2018;2018;314;430;7,67
22;7;10/11/2018;2018;314;500;7,47
22;7;10/11/2018;2018;314;530;7,72
22;7;10/11/2018;2018;314;600;7,07

He intentado abrirlo con pandas también utilizando el siguiente código

df2 = pd.read_csv("Dato.csv", delimiter=';')
 
print(df2)

Pero me da como resultado un dataframe con valores nulos


I  Unnamed: 1  Unnamed: 2  Unnamed: 3  Unnamed: 4  Unnamed: 5  Unnamed: 6
0   NaN         NaN         NaN         NaN         NaN         NaN         NaN
1   NaN         NaN         NaN         NaN         NaN         NaN         NaN
2   NaN         NaN         NaN         NaN         NaN         NaN         NaN
3   NaN         NaN         NaN         NaN         NaN         NaN         NaN
4   NaN         NaN         NaN         NaN         NaN         NaN         NaN
..   ..         ...         ...         ...         ...         ...         ...
573 NaN         NaN         NaN         NaN         NaN         NaN         NaN
574 NaN         NaN         NaN         NaN         NaN         NaN         NaN
575 NaN         NaN         NaN         NaN         NaN         NaN         NaN
576 NaN         NaN         NaN         NaN         NaN         NaN         NaN
577 NaN         NaN         NaN         NaN         NaN         NaN         NaN

[578 rows x 7 columns]

Adjunto el script completo que hace también el web scrapping, para ver si hubiera algún error en el mismo que no me permite eer el csv en python. El código es el siguiente:

print('Iniciando Scraper')
import zipfile
import os
import selenium
import selenium.webdriver
from selenium.webdriver.common.keys import Keys
import time
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support.ui import Select 
from zipfile import ZipFile
import shutil
import pandas as pd
from datetime import datetime
from datetime import timedelta

#Entrar en la web del SIAR y meter usuario y contaseña
opts = Options()

opts.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36")

driver = selenium.webdriver.Chrome('chromedriver.exe', options=opts)

LOGIN_URL = driver.get('https://eportal.mapa.gob.es/portal/site/eportal/template.LOGIN/')

URL = "https://eportal.mapa.gob.es//websiar/Inicio.aspx"

user = '*'

password = '*'


input_user = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH,'//*[@id="username"]')))
input_pass = driver.find_element(By.XPATH,'//*[@id="password"]')

input_user.send_keys(user)
input_pass.send_keys(password)

#Pulsar botón entrar

boton = driver.find_element(By.XPATH,'//*[@value="Entrar"]')

boton.click()

#Pulsar botón WEBSIAR

boton_SIAR = driver.find_element(By.XPATH,'//*[@id="hM_94e0c0807a65a3338c1238c184dc20a0"]')


boton_SIAR.click()

#Pulsar botón Ir Aplicación

boton_Ir = driver.find_element(By.XPATH,'//*[@value="Ir Aplicación"]')

boton_Ir.click()


#Pulsar boton Consultas Avanzadas

boton_CAv = driver.find_element(By.XPATH,'//*[@id="LinkButtonConsultasAvanzadas"]')

boton_CAv.click()

#Selección de CCAA, prov y parámetros

 # Comundad  autónoma
 
select = Select(driver.find_element_by_id('ContentPlaceHolder1_DropDownListCCAA'))
select.select_by_value('1')


time.sleep(2)

# Provincia
select = Select(driver.find_element_by_id('DropDownListProvincia'))
select.select_by_value('23')


time.sleep(2)

value_est=2 # Estación
select = Select(driver.find_element_by_id('DropDownListEstacion'))
select.select_by_value('16')

time.sleep(5)

agregar_estacion = driver.find_element_by_css_selector('input[name="ctl00$ContentPlaceHolder1$ButtonAgregar"]')
click_agregar_estacion = agregar_estacion.click()

time.sleep(0.5)

driver.find_element_by_id('txtFechaIni').clear() # Borra la fecha de inicio por…

time.sleep(0.5)

driver.find_element_by_id('txtFechaFin').clear() # Borra la fecha fin por defecto…

time.sleep(2)

imputElement = driver.find_element_by_id("txtFechaIni")
imputElement.send_keys('1/09/2021') # Fecha de Inicio

time.sleep(2)

imputElement = driver.find_element_by_id("txtFechaFin")
imputElement.send_keys('2/09/2021') # Fecha de Fin

time.sleep(2)

añadir_temp =  driver.find_element_by_css_selector('input[id="ContentPlaceHolder1_CheckBoxTemp"]')
añadir_temp.click()

time.sleep(2)

consultar_datos_button = driver.find_element_by_css_selector('input[id="ContentPlaceHolder1_btnConsultar"]')
consultar_datos = consultar_datos_button.click()

time.sleep(2)

driver.switch_to.window(driver.window_handles[1])
exportar_csv_link = driver.find_element_by_css_selector('a[id="ContentPlaceHolder1_ExportarCSV"]')
descargar_csv = exportar_csv_link.click()

time.sleep(2)


driver.quit() #Cierra el navegador

time.sleep(2)


filename = max(['C:/Users/jose luis/Downloads' +'/'+ f for f in os.listdir('C:/Users/jose luis/Downloads')], key=os.path.getctime)
shutil.move(os.path.join('C:/Users/jose luis',filename),'SIAR2.zip')

time.sleep(2)

#Descomprimimos el archivo zip que esta ahora en la carpeta spyder

archivo_zip = shutil.unpack_archive('C:/Users/jose luis/.spyder-py3/SIAR2.zip','C:/Users/jose luis')

time.sleep(2)

#Le damos un nombre conocido al archivo CSV con el que trabajaremos finalmente

filename = max(['C:/Users/jose luis' +'/'+ f for f in os.listdir('C:/Users/jose luis')], key=os.path.getctime)
df = shutil.move(os.path.join('C:/Users/jose luis/.spyder-py3',filename),'Dato.csv')



import pandas as pd

Dat = pd.read_csv('C:/Users/jose luis/.spyder-py3/Dato.csv',sep=';')

    
print (Dat)

5
  • Bienvenido Jos Luis Garca-Palacios Faure a Stack Overflow en español, te sugiero que hagas el recorrido de bienvenida y de paso ganes tu primer medalla, también es muy importante que leas Cómo preguntar para poder mejorar tu pregunta y que sea bien recibida por la comunidad mejorando así, tus chances de obtener buenas respuestas. Commented el 27 dic. 2021 a las 13:19
  • Por favor agrega a tu pregunta un ejemplo del CSV, unas pocas líneas en formato texto. Usa el botón "editar". Commented el 27 dic. 2021 a las 13:23
  • 1
    Agrega tambien a tu pregunta el codigo pyhton usado que dices que has intentado, sino vamos a ciegas.
    – masterguru
    Commented el 27 dic. 2021 a las 13:25
  • Algo no cuadra. El csv tiene 7 columnas y la tabla que muestra pandas tiene 6. ¿Estás seguro que no lees otro fichero csv que el que muestras? Commented el 28 dic. 2021 a las 10:13
  • Con total seguridad lee el fichero que os muestro Commented el 30 dic. 2021 a las 9:21

1 respuesta 1

0

Respuesta editada:

En la respuesta anterior se solucionaba este error:

ParserError: Error tokenizing data. C error: Expected 1 fields in line 3, saw 2

pero de hecho el OP ya lo habia solucionado delimiter=';', pues parece ser que son lo mismo.

Solución al problema de NaN y Undefined en la función read_csv() de pandas

El problema puede venir dado por codificación del archivo distinta a la que la función read_csv espera, por lo tanto hay que indicarle que codificación tiene.

Se puede conocer la codificación del archivo escribiendo esto en terminal:

file Dato.csv

que nos va a devolver su codificación, por ejemplo:

Dato.csv: UTF-8 Unicode text

En este caso, ésta codificación es aceptada sin problemas y no hay que hacer nada más. Pero en caso contrario hay que indicarle a la función read_csv la codificación correcta. Por ejemplo, si el archivo tuviera la codificacion UTF16 LE, entonces la instrucción seria esta:

pd.read_csv("Dato.csv", sep=";", encoding='UTF-16 LE')

Y con esto deberia arreglarse el problema.


Respuesta anterior:

Prueba poniendo el separador en ; en la instrucción read_csv mediante ,sep=';'.

Así:

Dat = pd.read_csv('C:/Users/jose luis/.spyder-py3/Dato.csv',sep=';')

A mi ha funcionado con el trozo de CSV que has puesto en la pregunta.

Por defecto read_csv de pandas solo busca comas , como separador de columnas.

Si le fuerzo la salida con print(Dat.head(5)) me aparece esto:

   IdProvincia  IdEstacion       Fecha   Año  Dia  HoraMin Temp Media (ºC)
0           22           7  10/11/2018  2018  314       30            8,54
1           22           7  10/11/2018  2018  314      100            8,16
2           22           7  10/11/2018  2018  314      130            8,61
3           22           7  10/11/2018  2018  314      200            8,77
4           22           7  10/11/2018  2018  314      230            9,71

El código usado ha sido esto (ejecutándolo con Python3):

import pandas as pd
Dat = pd.read_csv('/ruta/Dato.csv',sep=';')
print(Dat.head(5))
17
  • Muchísimas gracias por tu respuesta @masterguru, he utilizado el código que me has indicado y me abre el csv pero no me aparecen los valores del mismo, devuelve las columnas como 'Unnamed' y los valores como 'Nan'. Tal que así: I Unnamed: 1 Unnamed: 2 ... Unnamed: 4 Unnamed: 5 Unnamed: 6 0 NaN NaN NaN ... NaN NaN NaN 1 NaN NaN NaN ... NaN NaN NaN Commented el 30 dic. 2021 a las 10:46
  • @JosLuisGarca-PalaciosFaure ¿Y el contenido del csv es exactamente el mismo? ¿Lo has probado con este trozo que has puesto en la pregunta solamente? ¿Si abres Dato.csv con un editor ves lo mismo? ¿Usas la misma version de python? (yo no supe instalar pandas en la 2.7)
    – masterguru
    Commented el 30 dic. 2021 a las 10:48
  • Por cierto, no lo he mencionado, pero estoy utilizando spyder 4.1.4. No sé si esto interfiere Commented el 30 dic. 2021 a las 10:49
  • Nunca he usado spyder, la verdad, simplemente lo ejecuto desde un terminal con python3 script.py donde script.py contiene el código que he puesto
    – masterguru
    Commented el 30 dic. 2021 a las 10:53
  • Usando el código en jupyter me devuelve la misma salida que con spyder. Voy a probar a descargarme python 3 Commented el 30 dic. 2021 a las 10:57

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.