He comenzado recientemente a utilizar python y otros lenguajes de programación, para poder manejar datos relacionados con la agricultura, que es mi sector.
Estoy realizando un script que me hace un web scrapping de una base de datos climáticos del gobierno, descargándose los mismos en un archivo zip que contiene un csv. Una vez se descarga el archivo, cierra el navegador, posteriormente me guarda el último archivo descargado en una carpeta y le pone un nombre conocido, descomprime el archivo zip y después le cambia el nombre al CSV guardándolo en otra carpeta. A continuación muestro el código una vez ha cerrado el navegador hasta que intento abrir el archivo CSV.
filename = max(['C:/Users/jose luis/Downloads' +'/'+ f for f in os.listdir('C:/Users/jose luis/Downloads')], key=os.path.getctime)
shutil.move(os.path.join('C:/Users/jose luis',filename),'SIAR2.zip')
time.sleep(2)
#Descomprimimos el archivo zip que esta ahora en la carpeta spyder
archivo_zip = shutil.unpack_archive('C:/Users/jose luis/.spyder-py3/SIAR2.zip','C:/Users/jose luis')
time.sleep(2)
#Le damos un nombre conocido al archivo CSV con el que trabajaremos finalmente
filename = max(['C:/Users/jose luis' +'/'+ f for f in os.listdir('C:/Users/jose luis')], key=os.path.getctime)
df = shutil.move(os.path.join('C:/Users/jose luis/.spyder-py3',filename),'Dato.csv')
Dat = pd.read_csv('C:/Users/jose luis/.spyder-py3/Dato.csv')
Intento abrir dicho archivo, pero da siempre el siguiente error
ParserError: Error tokenizing data. C error: Expected 1 fields in line 3, saw 2
He intentado varias formas de abrirlo, entre ellas que me pusiera el delimitador en ;
y los decimales en ,
pero me sigue ocurriendo el mismo error, también he intentado pasarlo a xlsx y pero también me daba error.
A continuación muestro el archivo CSV en texto
IdProvincia;IdEstacion;Fecha;Año;Dia;HoraMin;Temp Media (ºC)
22;7;10/11/2018;2018;314;30;8,54
22;7;10/11/2018;2018;314;100;8,16
22;7;10/11/2018;2018;314;130;8,61
22;7;10/11/2018;2018;314;200;8,77
22;7;10/11/2018;2018;314;230;9,71
22;7;10/11/2018;2018;314;300;8,47
22;7;10/11/2018;2018;314;330;8,34
22;7;10/11/2018;2018;314;400;7,89
22;7;10/11/2018;2018;314;430;7,67
22;7;10/11/2018;2018;314;500;7,47
22;7;10/11/2018;2018;314;530;7,72
22;7;10/11/2018;2018;314;600;7,07
He intentado abrirlo con pandas también utilizando el siguiente código
df2 = pd.read_csv("Dato.csv", delimiter=';')
print(df2)
Pero me da como resultado un dataframe con valores nulos
I Unnamed: 1 Unnamed: 2 Unnamed: 3 Unnamed: 4 Unnamed: 5 Unnamed: 6
0 NaN NaN NaN NaN NaN NaN NaN
1 NaN NaN NaN NaN NaN NaN NaN
2 NaN NaN NaN NaN NaN NaN NaN
3 NaN NaN NaN NaN NaN NaN NaN
4 NaN NaN NaN NaN NaN NaN NaN
.. .. ... ... ... ... ... ...
573 NaN NaN NaN NaN NaN NaN NaN
574 NaN NaN NaN NaN NaN NaN NaN
575 NaN NaN NaN NaN NaN NaN NaN
576 NaN NaN NaN NaN NaN NaN NaN
577 NaN NaN NaN NaN NaN NaN NaN
[578 rows x 7 columns]
Adjunto el script completo que hace también el web scrapping, para ver si hubiera algún error en el mismo que no me permite eer el csv en python. El código es el siguiente:
print('Iniciando Scraper')
import zipfile
import os
import selenium
import selenium.webdriver
from selenium.webdriver.common.keys import Keys
import time
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support.ui import Select
from zipfile import ZipFile
import shutil
import pandas as pd
from datetime import datetime
from datetime import timedelta
#Entrar en la web del SIAR y meter usuario y contaseña
opts = Options()
opts.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36")
driver = selenium.webdriver.Chrome('chromedriver.exe', options=opts)
LOGIN_URL = driver.get('https://eportal.mapa.gob.es/portal/site/eportal/template.LOGIN/')
URL = "https://eportal.mapa.gob.es//websiar/Inicio.aspx"
user = '*'
password = '*'
input_user = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH,'//*[@id="username"]')))
input_pass = driver.find_element(By.XPATH,'//*[@id="password"]')
input_user.send_keys(user)
input_pass.send_keys(password)
#Pulsar botón entrar
boton = driver.find_element(By.XPATH,'//*[@value="Entrar"]')
boton.click()
#Pulsar botón WEBSIAR
boton_SIAR = driver.find_element(By.XPATH,'//*[@id="hM_94e0c0807a65a3338c1238c184dc20a0"]')
boton_SIAR.click()
#Pulsar botón Ir Aplicación
boton_Ir = driver.find_element(By.XPATH,'//*[@value="Ir Aplicación"]')
boton_Ir.click()
#Pulsar boton Consultas Avanzadas
boton_CAv = driver.find_element(By.XPATH,'//*[@id="LinkButtonConsultasAvanzadas"]')
boton_CAv.click()
#Selección de CCAA, prov y parámetros
# Comundad autónoma
select = Select(driver.find_element_by_id('ContentPlaceHolder1_DropDownListCCAA'))
select.select_by_value('1')
time.sleep(2)
# Provincia
select = Select(driver.find_element_by_id('DropDownListProvincia'))
select.select_by_value('23')
time.sleep(2)
value_est=2 # Estación
select = Select(driver.find_element_by_id('DropDownListEstacion'))
select.select_by_value('16')
time.sleep(5)
agregar_estacion = driver.find_element_by_css_selector('input[name="ctl00$ContentPlaceHolder1$ButtonAgregar"]')
click_agregar_estacion = agregar_estacion.click()
time.sleep(0.5)
driver.find_element_by_id('txtFechaIni').clear() # Borra la fecha de inicio por…
time.sleep(0.5)
driver.find_element_by_id('txtFechaFin').clear() # Borra la fecha fin por defecto…
time.sleep(2)
imputElement = driver.find_element_by_id("txtFechaIni")
imputElement.send_keys('1/09/2021') # Fecha de Inicio
time.sleep(2)
imputElement = driver.find_element_by_id("txtFechaFin")
imputElement.send_keys('2/09/2021') # Fecha de Fin
time.sleep(2)
añadir_temp = driver.find_element_by_css_selector('input[id="ContentPlaceHolder1_CheckBoxTemp"]')
añadir_temp.click()
time.sleep(2)
consultar_datos_button = driver.find_element_by_css_selector('input[id="ContentPlaceHolder1_btnConsultar"]')
consultar_datos = consultar_datos_button.click()
time.sleep(2)
driver.switch_to.window(driver.window_handles[1])
exportar_csv_link = driver.find_element_by_css_selector('a[id="ContentPlaceHolder1_ExportarCSV"]')
descargar_csv = exportar_csv_link.click()
time.sleep(2)
driver.quit() #Cierra el navegador
time.sleep(2)
filename = max(['C:/Users/jose luis/Downloads' +'/'+ f for f in os.listdir('C:/Users/jose luis/Downloads')], key=os.path.getctime)
shutil.move(os.path.join('C:/Users/jose luis',filename),'SIAR2.zip')
time.sleep(2)
#Descomprimimos el archivo zip que esta ahora en la carpeta spyder
archivo_zip = shutil.unpack_archive('C:/Users/jose luis/.spyder-py3/SIAR2.zip','C:/Users/jose luis')
time.sleep(2)
#Le damos un nombre conocido al archivo CSV con el que trabajaremos finalmente
filename = max(['C:/Users/jose luis' +'/'+ f for f in os.listdir('C:/Users/jose luis')], key=os.path.getctime)
df = shutil.move(os.path.join('C:/Users/jose luis/.spyder-py3',filename),'Dato.csv')
import pandas as pd
Dat = pd.read_csv('C:/Users/jose luis/.spyder-py3/Dato.csv',sep=';')
print (Dat)