Dispongo de ficheros Excel (.xlsx), procedentes de Web's diferentes (Renta4 y Yahoo Finances), con la misma estructura. Los ficheros están accesibles en [https://www.dropbox.com/sh/xelu6vns4roxcdp/AACJYuWlVwS1U3naopOOTgGba?dl=0][1]
Con el script siguiente, intento importar datos en un único DataFrame.
import pandas as pd
import os
from os import listdir
"""Lee datos de ficheros .xlsx"""
def get_data(nombres, ficheros, df ):
os.chdir("F:\Py_Proyecto_2020\Ficheros_pruebas_xlsx_R4/" )
# Crear diccionario con las dos listas
dicc = dict(zip(nombres,ficheros))
for symbol in nombres:
#Leer y unir las cotizaciones de cada símbolo
# Usar la función symbol_to_path para conseguir los ficheros .csv
df_temp = pd.read_excel(dicc[symbol],index_col = "Date",
parse_dates = True, usecols = ["Date", "Close"],
na_values = ["nan"])
# Renombrar las columnas con los nombres enla lista nombres
df_temp = df_temp.rename(columns = {"Close":symbol})
# Añadir los datos del nuevo dataframe
df = df.join(df_temp, how='inner') # por defecto how = "left" , con inner elimina filas con NaN
""" Elimina filas con NaN en las columnas incluidas en la lista """
#df.drop(['Guia'], axis="columns", inplace = True)
return df
# Nombre de los valores (nombre de archivo sin extensión)
def nombrar_valores(ruta):
ficheros = listdir(ruta)
nombre_valores = []
for fichero in ficheros:
nombre_valores.append(fichero[:-5])
return nombre_valores, ficheros
# Definimos un rango de fechas
def Crear_rango():
Dates = pd.date_range('2000-01-01', '2019-12-31')
"""Lee el precio de cierre (Close" para un símbolo dado, en un archivo csv. """
# Hacemos las fechas índices del df (columna Date).
df = pd.DataFrame(index=Dates)
df["Guia"] = 0
return df
# Crear un rango de fechas
df = Crear_rango()
# Conseguir cotizaciones de los valores
ruta ="F:\Py_Proyecto_2020\Ficheros_pruebas_xlsx_R4/"
nombre_valores, ficheros = nombrar_valores(ruta)
df = get_data(nombre_valores, ficheros, df )
df.head()
Cuando la ruta seleccionada para conseguir los ficheros, es la correspondiente a la carpeta Ficheros_pruebas_xlsx_Yahoo, el código devuelve el df esperado. Por el contrario, cuando selecciono como ruta de acceso a los ficheros Ficheros_pruebas_xlsx_R4, me devuelve un df vacio.
Para comprobar que los ficheros de éste directorio están correctamente, accedí a cada uno de ellos mediante el script
df_temp = pd.read_excel("F:\Py_Proyecto_2020\Ficheros_pruebas_xlsx_R4/ValorRelativo_ES0128522002_r4.xlsx",index_col = "Date",
parse_dates = True, usecols = ["Date", "Close"],
na_values = ["nan"])
df_temp
En todos los casos, presentó un df correcto.
¿Cual puede ser la causa de este fallo?.
EDICION: Es evidente que algún concepto no tengo claro. He realizado las siguientes comprobaciones: a).- En las hojas Excel de ambos directorios, todos los ficheros tienen la misma estructura: Columna "Date" con tipo de dato "Fecha(DD/MM/YYYY), columna "Close" con tipo de dato "Número". b).- Importo datos de un único fichero del directorio ...R4 y obtengo.
df_temp = pd.read_excel("F:\Py_Proyecto_2020\Ficheros_pruebas_xlsx_R4/ValorRelativo_ES0128522002_r4.xlsx",index_col = "Date",
parse_dates = True, usecols = ["Date", "Close"],
na_values = ["nan"])
df_temp.info()
<class 'pandas.core.frame.DataFrame'>
Index: 2390 entries, 2010-04-06 00:00:00 to
Data columns (total 1 columns):
Close 2388 non-null float64
dtypes: float64(1)
memory usage: 37.3+ KB
c).- Importo datos de un único fichero del directorio ...Yahoo y obtengo.
df_temp = pd.read_excel("F:\Py_Proyecto_2020\Ficheros_pruebas_xlsx_Yahoo/dow_jons.xlsx",index_col = "Date",
parse_dates = True, usecols = ["Date", "Close"],
na_values = ["nan"])
df_temp.info()
<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 4906 entries, 2000-01-04 to 2019-07-05
Data columns (total 1 columns):
Close 4906 non-null float64
dtypes: float64(1)
memory usage: 76.7 KB
¿Cómo haces tú para comprobar el tipo de datos de cada fichero?.
El script que finalmente queda así.
import pandas as pd
import os
from os import listdir
def CargarDatos(ruta):
'''
Unimos todos los archivos excel en uno
'''
# Recupero la lista de archivos que se van a procesar
ficheros = listdir(ruta)
# Creo el dataframe de resultado y especifico el tipo de dato fecha
df = pd.DataFrame(columns = ["Symbol","Date","Close"])
for archivo in ficheros:
df_temp = pd.read_excel(os.path.join(ruta, archivo), parse_dates = True, index_col = 'Date',
usecols = ["Date", "Close"], na_values = ["nan"])
# Agrego la columna que identifica el origen del dato
#df_temp["Symbol"]=archivo.split('.')[0]
n = archivo.find("_")
df_temp["Symbol"]= archivo[0:n]
# Se sacan lo nulos
df_temp = df_temp.dropna()
return df_temp
# Proceso principal
rutas = ['/media/enri/Mi_Proyecto1/Py_Proyecto_2022/Gestion-Conservadora-de-Activos_Financieros/Datos/Ficheros_R4_xlsx/']
for ruta in rutas:
df = CargarDatos(ruta)
# La columna 'Date' es el indice, las Columnas 'Symbol' y los valore s en Close
df = df.pivot_table(index='Date', columns='Symbol', values='Close')
# Guardo en un arhivo con el nombre del la ultima palanbra luego del "_"
#file_out="%s.csv" % ruta[0:-1].split("/")[-1]
#df.to_csv(file_out, index=True)
df_temp.info()