0

Dispongo de ficheros Excel (.xlsx), procedentes de Web's diferentes (Renta4 y Yahoo Finances), con la misma estructura. Los ficheros están accesibles en [https://www.dropbox.com/sh/xelu6vns4roxcdp/AACJYuWlVwS1U3naopOOTgGba?dl=0][1]

Con el script siguiente, intento importar datos en un único DataFrame.

import pandas as pd
import os
from os import listdir

"""Lee datos de ficheros .xlsx"""
def get_data(nombres, ficheros, df ):
    os.chdir("F:\Py_Proyecto_2020\Ficheros_pruebas_xlsx_R4/" )
    # Crear diccionario con las dos listas
    dicc = dict(zip(nombres,ficheros))

    for symbol in nombres:
        #Leer y unir las cotizaciones de cada símbolo
        # Usar la función  symbol_to_path   para conseguir los ficheros .csv
        df_temp = pd.read_excel(dicc[symbol],index_col = "Date",
                              parse_dates = True, usecols = ["Date", "Close"],
                              na_values = ["nan"])
        
        # Renombrar las columnas con los nombres enla lista nombres
        df_temp = df_temp.rename(columns = {"Close":symbol})
        
        # Añadir los datos del nuevo dataframe
        df = df.join(df_temp, how='inner')  # por defecto how = "left" , con inner elimina filas con NaN       
        """ Elimina filas con NaN en las columnas incluidas en la lista """
 
        #df.drop(['Guia'], axis="columns", inplace = True) 
                    
    return df

# Nombre de los valores (nombre de archivo sin extensión) 

def nombrar_valores(ruta):
    ficheros = listdir(ruta)
    nombre_valores = [] 
    for fichero in ficheros:
        nombre_valores.append(fichero[:-5])
    return nombre_valores, ficheros

# Definimos un rango de fechas
def Crear_rango():
    Dates = pd.date_range('2000-01-01', '2019-12-31')
    """Lee el precio de cierre (Close" para un símbolo dado, en un archivo csv. """
    # Hacemos las fechas índices del df (columna Date).
    df = pd.DataFrame(index=Dates)
    df["Guia"] = 0
    return df 

# Crear un rango de fechas
df  = Crear_rango()

# Conseguir cotizaciones de los valores
ruta ="F:\Py_Proyecto_2020\Ficheros_pruebas_xlsx_R4/" 
nombre_valores, ficheros = nombrar_valores(ruta)

df = get_data(nombre_valores, ficheros, df )
df.head()

Cuando la ruta seleccionada para conseguir los ficheros, es la correspondiente a la carpeta Ficheros_pruebas_xlsx_Yahoo, el código devuelve el df esperado. Por el contrario, cuando selecciono como ruta de acceso a los ficheros Ficheros_pruebas_xlsx_R4, me devuelve un df vacio.

Para comprobar que los ficheros de éste directorio están correctamente, accedí a cada uno de ellos mediante el script

df_temp = pd.read_excel("F:\Py_Proyecto_2020\Ficheros_pruebas_xlsx_R4/ValorRelativo_ES0128522002_r4.xlsx",index_col = "Date",
                              parse_dates = True, usecols = ["Date", "Close"],
                              na_values = ["nan"])
df_temp

En todos los casos, presentó un df correcto.

¿Cual puede ser la causa de este fallo?.

EDICION: Es evidente que algún concepto no tengo claro. He realizado las siguientes comprobaciones: a).- En las hojas Excel de ambos directorios, todos los ficheros tienen la misma estructura: Columna "Date" con tipo de dato "Fecha(DD/MM/YYYY), columna "Close" con tipo de dato "Número". b).- Importo datos de un único fichero del directorio ...R4 y obtengo.

df_temp = pd.read_excel("F:\Py_Proyecto_2020\Ficheros_pruebas_xlsx_R4/ValorRelativo_ES0128522002_r4.xlsx",index_col = "Date",
                              parse_dates = True, usecols = ["Date", "Close"],
                              na_values = ["nan"])
df_temp.info()

<class 'pandas.core.frame.DataFrame'>
Index: 2390 entries, 2010-04-06 00:00:00 to  
Data columns (total 1 columns):
Close    2388 non-null float64
dtypes: float64(1)
memory usage: 37.3+ KB

c).- Importo datos de un único fichero del directorio ...Yahoo y obtengo.

df_temp = pd.read_excel("F:\Py_Proyecto_2020\Ficheros_pruebas_xlsx_Yahoo/dow_jons.xlsx",index_col = "Date",
                              parse_dates = True, usecols = ["Date", "Close"],
                              na_values = ["nan"])
df_temp.info()

<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 4906 entries, 2000-01-04 to 2019-07-05
Data columns (total 1 columns):
Close    4906 non-null float64
dtypes: float64(1)
memory usage: 76.7 KB

¿Cómo haces tú para comprobar el tipo de datos de cada fichero?.

El script que finalmente queda así.

import pandas as pd
import os
from os import listdir

def CargarDatos(ruta):
    '''
     Unimos todos los archivos excel en uno 
    '''
    # Recupero la lista de archivos que se van a procesar
    ficheros = listdir(ruta)

    # Creo el dataframe de resultado y especifico el tipo de dato fecha
    df = pd.DataFrame(columns = ["Symbol","Date","Close"])

    for archivo in ficheros:    
        df_temp = pd.read_excel(os.path.join(ruta, archivo), parse_dates = True, index_col = 'Date',  
                                usecols = ["Date", "Close"], na_values = ["nan"])

        # Agrego la columna que identifica el origen del dato
        #df_temp["Symbol"]=archivo.split('.')[0]
        n = archivo.find("_") 
        df_temp["Symbol"]= archivo[0:n] 


        # Se sacan lo nulos
        df_temp = df_temp.dropna()

    return df_temp

# Proceso principal

rutas = ['/media/enri/Mi_Proyecto1/Py_Proyecto_2022/Gestion-Conservadora-de-Activos_Financieros/Datos/Ficheros_R4_xlsx/']
for ruta in rutas:
    df = CargarDatos(ruta)

    # La columna 'Date' es el indice, las Columnas 'Symbol' y los valore s en Close
    df = df.pivot_table(index='Date', columns='Symbol', values='Close')

    # Guardo en un arhivo con el nombre del la ultima palanbra luego del "_"
    #file_out="%s.csv" % ruta[0:-1].split("/")[-1]
    #df.to_csv(file_out, index=True) 
    df_temp.info()

2 respuestas 2

1

Los formatos y tipos de datos entre los archivos de uno y otro no son iguales. En el directorio Yahoo la columna Date contiene fechas en formato dia/mes/año incluida la hora y.minutos. En R4 la columna Date es diferente y en formato mes/dia/año y al parecer no reconocible como fecha.

Si quieres tener una sola función que procese ambos directorios tienes que asegurarte que ambos tengan archivos con el mismo formato y tipo que el indice del dataframe que usas como guia.

De leerlos los lee pero no los procesa .

EDICION: He verificado los tipos de datos que tienen loas archivos de ambios directorios con los siguientes resultados:

Directorio Yahoo

<class 'pandas._libs.tslibs.timestamps.Timestamp'>    1
Name: Fecha, dtype: int64

Directorio R4

<class 'datetime.datetime'>                           1
<class 'str'>                                         1
<class 'pandas._libs.tslibs.timestamps.Timestamp'>    1
<class 'float'>                                       1
Name: Fecha, dtype: int64

Lo expresado en mi respuesta es correcto. El dataframe no podrá realizar el join porque tiene columnas totalmente diferentes.

Por lo tanto, tienes que primero limpiar tus datos.

EDICION: Al margen del problema de fechas, olvidé mencionar un punto quizás mas importante con respecto al join . Utilizas un DataFrame como guia para crear la columna de fecha que será el índice para el join. Esta columna la creas utilizando un rango de fechas, sin embargo, haces un inner join que dará como resultado aquellas filas coincidentes; descartando las demás. En este punto, tu DataFrame de guía se redujo y dejo de tener su propósito para los siguientes archivos. Esta es la razón por la que en R4 retorna un df vacío ya que al procesar el primer archivo de R4 con valores de fechas que no son del tipo esperado el inner-join devuelve 0 filas. Los siguiente archivos ya no se procesan porque en tu dataframe no existen fechas. Eso fue lo que sucedió cuando pasaste un archivo R4 al Yahoo. Como te dije cada vez que ejecutas tu"join va reduciéndose el resultado. Cuando llega al R4 el join retorna 0 filas y perdiste todo lo anterior.

MI SOLUCION: Puedes hacer lo mismo creando un dataframe que contenga las siguientes columnas: Symbol, Date, Close. Este DataFrame va a contener la union de todos los registros (que luego podrías quitar lo registros no validos).. Si observas tiene las mismas columnas del Excel más una adicional que contendrá el origen. luego haces un pivot del dataframe y listo. Aqui te dejo el código:;

import pandas as pd
import os
from os import listdir



def CargarDatos(ruta):
    '''
     Unimos todos los archivos excel en un 
    '''

    # Recupero la lista de archivos que se van a procesar
    ficheros = listdir(ruta)

    # Creo el dataframe de resultado y especifico el tipo de dato fecha
    df=pd.DataFrame(columns=["Symbol","Date","Close"])
    df['Date']=df['Date'].astype('datetime64[ns]')


    for archivo in ficheros:    
        df_temp = pd.read_excel(os.path.join(ruta,archivo),ignore_index=True,
                              usecols = ["Date", "Close"],
                              na_values = ["nan"])

        # Agrego la columna que identifica el origen del dato
        df_temp["Symbol"]=archivo.split('.')[0]

        # Sacamos todos los datos que no sean fecha
        try:
            df_temp['Date']=df_temp['Date'].astype('datetime64')
        except ValueError:
            pass

        # Se sacan lo nulos
        df_temp=df_temp.dropna()

        # Agrego la tala
        df=df.append(df_temp,ignore_index=True,sort=False)

    return df

# Proceso principal


rutas=["F:\Py_Proyecto_2020/Ficheros_pruebas_xlsx_R4/",
      "F:\Py_Proyecto_2020/Ficheros_pruebas_xlsx_Yahoo/"]

for ruta in rutas:
    df=CargarDatos(ruta)

    # La columna 'Date' es el indice, las Columnas 'Symbol' y los valore s en Close
    df=df.pivot(index='Date', columns='Symbol', values='Close')

    # Guardo en un arhivo con el nombre del la ultima palanbra luego del "_"
    file_out="%s.csv" % ruta[0:-1].split("/")[-1]
    df.to_csv(file_out, index=True) 
    print(df.head())
19
  • Pero, ¿por qué con el segundo script sí los lee?.
    – efueyo
    Commented el 22 ene. 2020 a las 21:57
  • Porque el formato fecha lo está reconociendo. Lo puedes verificar moviendo un archivo de R4 a Yahoo. No.va a cargarlo te aseguro. Haz esa prueba. Si no lo carga, editas el archivo y le cambias la columna deja.porr una fecha correcta, es decir un date. Te presente que los datos a las finales son enteros. Commented el 22 ene. 2020 a las 22:09
  • He vuelto a dar formato a la columna "Date", en todos los ficheros de ambos directorios (DD/MM/YYY) y los he sustituido en Dropbox. Si importas las Excel de "Ficheros_pruebas_xlsx_Yahoo" , veras que crea el DataFrame, y las fechas las cambia al formato YYYY/MM/DD. Si a continuación importas de "Ficheros_pruebas_xlsx_R4", sigue devolviendo un fichero vacio.
    – efueyo
    Commented el 22 ene. 2020 a las 22:13
  • Efectivamente, moviendo un archivo de R4 a Yahoo, la salida es un df vacio. Pero, sigo sin entender por qué. Las columnas "Date" de todos los ficheros, en los dos directorios, tienen ahora el mismo formato (DD/MM/YYYY)
    – efueyo
    Commented el 22 ene. 2020 a las 22:37
  • Efectivamente, moviendo un archivo de R4 a Yahoo, la salida es un df vacio. Pero, sigo sin entender dado que las columnas "Date" de todos los ficheros de los dos directorios, tienen ahora el mismo formato
    – efueyo
    Commented el 22 ene. 2020 a las 22:50
0

import pandas as pd

Ruta del archivo subido

file_path = '/mnt/data/Examen Final_DE24Godinez.xlsx'

Intentar leer todas las hojas del archivo para entender su contenido

excel_data = pd.ExcelFile(file_path)

Visualizar los nombres de las hojas para identificar la estructura del archivo

excel_data.sheet_names

1
  • Pulsa en editar y describe cómo este código responde a la pregunta. ¿O acaso usaste esta pregunta como un apunte escondido? ;) Lee Cómo responder.
    – padaleiana
    Commented el 3 dic. a las 10:54

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.