0

Dispongo de un fichero .csv . Al intentar abrirlo con LibreOfficeCalc, muestra la siguiente previsualización.

introducir la descripción de la imagen aquí

Observando vemos que el delimitador de cadena es una coma, así como el separador decimal.

Necesito modificar esta configuraciónen la previsualización, para grabarlo con dos columnas . Si no lo hago así, al intentar importarlo con python a un dataframe haciendo

...df_temp = pd.read_csv("Acatis.csv", sep=',', index_col="Date", usecols=["Date", "Close"],
                      decimal=",", parse_dates=["Date"], na_values=["nan"])...

Me devuelve el error

ValueError: Usecols do not match columns, columns expected but not found: ['Close', 'Date']

Agradeceré ayuda.

La ayuda aportada por 'aeportugal', orienta la solución con enfoque pandas. Este enfoque me permite aportar más información.

En el directorio tengo 6 ficheros .csv, descargados de la misma Web y con la misma estructura Columnas 'Date' y 'Close'. Si intento abrirlos con LibreOffice, todos , menos 'Acatis.csv', muestran la siguiente ventanaintroducir la descripción de la imagen aquí de previsualización. No entiendo la razón.

El fichero 'Acatis.csv? que es el que parece que da el problema, lo importo sin problemas haciendo.

import os
import pandas as pd

dir_path = '//media/enri/Mi_Proyecto/EFV_Financial_Resources_Management/Datos/'
os.chdir(dir_path + './Ficheros_R4_csv')

df_temp = pd.read_csv("Acatis.csv", sep=',' ,index_col="Date", usecols=["Date", "Close"],
                      decimal=",", parse_dates=["Date"], na_values=["nan"])
df_temp.info() 

Devuelve:

class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 3696 entries, 2008-12-15 to NaT
Data columns (total 1 columns):
 #   Column  Non-Null Count  Dtype 
---  ------  --------------  ----- 
 0   Close   3695 non-null   object
dtypes: object(1)
memory usage: 57.8+ KB

Pero, ¡sorpresa!. Si intento importarlos todos aa la vez haciendo.

import glob 
import os
import pandas as pd

# Obtener la lista de archivos CSV
dir_path = '/media/enri/Mi_Proyecto/EFV_Financial_Resources_Management/Datos/ Ficheros_R4_csv/'

filenames = glob.glob("*.csv")

# Leer el primer archivo CSV para obtener las fechas de referencia
df_reference = pd.read_csv(filenames[0], decimal=',', delimiter='\t', parse_dates=True, index_col='Date', na_values=["nan"])
date_range = df_reference.index

# Crear un DataFrame vacío con el rango de fechas como índice
df_final = pd.DataFrame(index=date_range)

# Leer y reindexar los archivos CSV, y combinarlos en el DataFrame final
for filename in filenames:
    df_temp = pd.read_csv(filename, decimal=',', delimiter='\t', parse_dates=True, index_col='Date', na_values=["nan"])
    df_temp = df_temp.reindex(date_range)  # Reindexar para incluir todas las fechas del rango
    df_final = pd.concat([df_final, df_temp], axis=1)

# Renombrar las columnas con los nombres de los archivos
df_final.columns = [filename[:-4] for filename in filenames]

# Eliminar las filas con todos los valores faltantes
df_final.dropna(how='all', inplace=True)

# Visualizar el DataFrame final
print(df_final)

devuelve:

ValueError: 'Date' is not in list

introducir el código aquí

Implemento la opción aprotada por 'aeportugal', de esta manera.

import glob 
import os
import pandas as pd

# Obtener la lista de archivos CSV
dir_path = '/media/enri/Mi_Proyecto/Py_Proyecto_2024/Trading-Gestion-Conservadora-/Datos/Ficheros_R4_csv/'

filenames = glob.glob("*.csv")

# Leer el primer archivo CSV para obtener las fechas de referencia
df_reference = pd.read_csv(filenames[0], sep=',' , decimal=',', parse_dates=True, index_col='Date', na_values=["nan"])
date_range = df_reference.index

# Crear un DataFrame vacío con el rango de fechas como índice
df_final = pd.DataFrame(index=date_range)

# Leer y reindexar los archivos CSV, y combinarlos en el DataFrame final
for filename in filenames:
    data = []
    with open(filename) as f:
        for line in f.readlines():
            data.append(line.strip(',\r\n\t').split(',', 1))
            df_temp = pd.DataFrame(date[1:], columns = data[0])
   
    df_temp = df_temp.reindex(date_range)  # Reindexar para incluir todas las fechas del rango
    df_final = pd.concat([df_final, df_temp], axis=1)

# Renombrar las columnas con los nombres de los archivos
df_final.columns = [filename[:-4] for filename in filenames]

# Eliminar las filas con todos los valores faltantes
df_final.dropna(how='all', inplace=True)

# Visualizar el DataFrame final
print(df_final)

Me devuelve este error.

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
/tmp/ipykernel_23112/3651966487.py in <module>
     21         for line in f.readlines():
     22             data.append(line.strip(',\r\n\t').split(',', 1))
---> 23             df_temp = pd.DataFrame(date[1:], columns = data[0])
     24 
     25     df_temp = df_temp.reindex(date_range)  # Reindexar para incluir todas las fechas del rango

NameError: name 'date' is not defined

Los ficheros estan accesibles en : introducir la descripción del enlace aquí

Dante aporta un opción válida. su implementación es la siguiente.

import os
import pandas as pd
from io import StringIO

# Define el directorio y nombre de archivo CSV
dir_path = '/media/enri/Mi_Proyecto/EFV_Financial_Resources_Management/Datos/Ficheros_R4_csv'
csv_filename = 'Acatis.csv'
csv_file_path = os.path.join(dir_path, csv_filename)

# Lee el archivo CSV
with open(csv_file_path, 'r') as file:
    csv_data = file.read()

# Utiliza StringIO para leer la cadena como un archivo CSV
df = pd.read_csv(StringIO(csv_data), sep=',', index_col="Date", usecols=["Date", "Close"],
                 decimal=",", parse_dates=["Date"], na_values=["nan"])

# Elimina las filas con valores faltantes (NaN)
df.dropna(inplace=True)

# Muestra el DataFrame resultante
df

Devuelve.

<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 3695 entries, 2008-12-15 to NaT
Data columns (total 1 columns):
 #   Column  Non-Null Count  Dtype 
---  ------  --------------  ----- 
 0   Close   3695 non-null   object

Sigo buscando una opción que consista en modificar el formato del csv que origina el problema, para que sea igual al de los demás .csv en el directorio.

Opción modificando LibreOfice: Marcando en la ventana de previsualización la casilla 'coma' y poniendo en la venta 'delimitador de cadena', una coma, tal y como se ve en la figura siguiente,

introducir la descripción de la imagen aquí

aunque en la previsualización se ven tres columnas, 'Date, Close y una tercera en la que se muestran los decimales de los precios, sin embargo, al importar con pandas con el script anterior, ya no devuelve error y crea el DataFrame correctamente.

3
  • 1
    Yo empezaría con un preprocesado, usando una expresión regular que modifique la coma decimal por punto. Por ejemplo buscar "(,[0-9]*)(,)" y reemplazar por "$1." Commented el 6 sept. 2023 a las 19:54
  • Las expresiones regulares son una lección pendiente para mi. ¿Como sería y donde iría colocada en el código?. Es para probar el resultado.
    – efueyo
    Commented el 6 sept. 2023 a las 20:38
  • Por ejemplo, abres el CSV con un editor como notepad++, vas a edicion->reemplazar, activas la opcion "Expresión regular". Luego En buscar le pones el "(,[0-9]*)(,)" y en Remplazar con "$1." Esta expresión busca un numero entre dos comas, y reemplaza la segunda por un punto. Dando por supuesto que no hay espacios. Commented el 6 sept. 2023 a las 21:11

2 respuestas 2

1

Si todas las columnas tienen datos, puedes hacerle un pre-proceso simple en python, por ejemplo, crear una lista dividiendo los datos desde la primera coma.

Lo anterior es asumiendo que siempre hay datos en ese formato, si no es así, puedes crear tus validaciones dentro del ciclo for

data = []
with open('Acatis.csv') as f:
    for line in f.readlines():
        data.append(line.strip(',\r\n\t').split(',', 1))

Hasta aquí tendrás una lista de la siguiente forma:

[['Date', 'Close'], ['15/12/08', '100'], ['16/12/08', '99,97'], ...]

Y ahora puedes crear el dataframe.

df = pd.DataFrame(data[1:], columns = data[0])
2
  • Estoy intetado impementar tu enfoque. Aporto más información y el resultado hasta este moment, del intento de aplicación del mismo. Gracias
    – efueyo
    Commented el 6 sept. 2023 a las 19:00
  • Lo he implementado. LA solución la incluyo al final del texto de la pregunta. Sigo buscando la forma de modificar el fichero .csv para que tenga la misma estructura que los demás.
    – efueyo
    Commented el 7 sept. 2023 a las 16:51
1

Solución

El problema, está, como notaste, en el archivo Acatis.csv. Este archivo tiene un formato distinto a los demás. De hecho, los decimales están representados en una tercera columna sin nombre en el csv, la cual no tiene valor en algunas filas (probablemente representando la ausencia de decimales)

Acatis.csv

Date,Close,
15/12/08,100,
16/12/08,99,97

DedaloPP.csv

Date    Close
29/09/08    10
30/09/08    10

Un truco para solucionar esto, aprovechando que se trata de un csv normal pero que merece un trato especial, es darle dicho trato. Esto lo logré del siguiente modo:

  1. Cargué el csv diciendo que el encabezado es la primera fila, el separador una coma y dandole nombres a las columnas (una columna sin nombre en el csv es cargado con pandas con un nombre similar a "Unnamed", horrible trabajar con ese nombre de columna). Los decimales estarán en "close_decimal".

     df = pd.read_csv(csv, header=0, sep=",", names=["date", "close", "close_decimal"])
    
  2. Los casos de valores vacíos se cargan como NaN, por lo que uso fillna para reemplazarlos por 0 (en base a la suposición quizá no acertada mencionada más arriba). Luego, asumo que se trata de un número entero y convierto el tipo de dato a int.

    close_decimal = df["close_decimal"].fillna(0).astype(int)
    
  3. Convierto a int la parte entera y combino la serie más arriba llamando al método format de la cadena "{}.{}" para formar el número decimal. Finalmente, transformo eso a float y almaceno el resultado en la columna close.

     df["close"] = df["close"].astype(int).combine(close_decimal, "{}.{}".format).astype(float)
    
  4. Elimino la columna auxiliar "close_decimal".

     df.drop("close_decimal", axis=1, inplace=True)
    

Codigo completo

import pandas as pd
import io

# Creo un "archivo falso" que en realidad está cargado en memoria.
csv = io.StringIO("Date,Close,\n"
                  "15/12/08,100,\n"
                  "15/12/08,100,11")

df = pd.read_csv(csv, header=0, sep=",", names=["date", "close", "close_decimal"])

close_decimal = df["close_decimal"].fillna(0).astype(int)

df["close"] = df["close"].astype(int).combine(close_decimal, "{}.{}".format).astype(float)
df.drop("close_decimal", axis=1, inplace=True)

print(df)

Lo que nos devuelve

       date   close
0  15/12/08  100.00
1  15/12/08  100.11

De ahí, podés hacer lo que quieras, como guardar el dataframe como archivo csv con un formato correspondiente al resto de csvs o directamente incrustar este concepto en tu código y cargar el csv Acatis.csv de esta forma.

No uses regex ni split para parsear un csv

El enfoque de usar regex o split que han mencionado otros usuarios, en mi humilde opinión no me parce el adecuado cuando el csv está formateado de tal manera que se puede leer con parsers especializados en eso. Considera un csv de esta forma

a,"b,9,10,c",d

Si usas 'a,"b,9,10,c",d'.split(",") no solo las letras b, 9, 10 y c serán tratadas como dos columnas distintas, si no que las comillas se incluirán en el texto resultante. Si, podrías hacer que solo use la primera coma de separador agregando el argumento maxsplit=1, pero esto deja de funcionar cuando b,9,10,c es la primera columna.

Si usas una regex como (,[0-9]*)(,) y reemplazas por "$1.", el nuevo csv será 'a,"b,9.10,c",d'. Este comportamiento podría no ser deseado.

Si, podrías usar regex junto con algo de ayuda de Python para parsear correctamente un csv, pero estarías reinventando la rueda.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.