Dispongo de un fichero .csv . Al intentar abrirlo con LibreOfficeCalc, muestra la siguiente previsualización.
Observando vemos que el delimitador de cadena es una coma, así como el separador decimal.
Necesito modificar esta configuraciónen la previsualización, para grabarlo con dos columnas . Si no lo hago así, al intentar importarlo con python a un dataframe haciendo
...df_temp = pd.read_csv("Acatis.csv", sep=',', index_col="Date", usecols=["Date", "Close"],
decimal=",", parse_dates=["Date"], na_values=["nan"])...
Me devuelve el error
ValueError: Usecols do not match columns, columns expected but not found: ['Close', 'Date']
Agradeceré ayuda.
La ayuda aportada por 'aeportugal', orienta la solución con enfoque pandas. Este enfoque me permite aportar más información.
En el directorio tengo 6 ficheros .csv, descargados de la misma Web y con la misma estructura Columnas 'Date' y 'Close'. Si intento abrirlos con LibreOffice, todos , menos 'Acatis.csv', muestran la siguiente ventana de previsualización. No entiendo la razón.
El fichero 'Acatis.csv? que es el que parece que da el problema, lo importo sin problemas haciendo.
import os
import pandas as pd
dir_path = '//media/enri/Mi_Proyecto/EFV_Financial_Resources_Management/Datos/'
os.chdir(dir_path + './Ficheros_R4_csv')
df_temp = pd.read_csv("Acatis.csv", sep=',' ,index_col="Date", usecols=["Date", "Close"],
decimal=",", parse_dates=["Date"], na_values=["nan"])
df_temp.info()
Devuelve:
class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 3696 entries, 2008-12-15 to NaT
Data columns (total 1 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 Close 3695 non-null object
dtypes: object(1)
memory usage: 57.8+ KB
Pero, ¡sorpresa!. Si intento importarlos todos aa la vez haciendo.
import glob
import os
import pandas as pd
# Obtener la lista de archivos CSV
dir_path = '/media/enri/Mi_Proyecto/EFV_Financial_Resources_Management/Datos/ Ficheros_R4_csv/'
filenames = glob.glob("*.csv")
# Leer el primer archivo CSV para obtener las fechas de referencia
df_reference = pd.read_csv(filenames[0], decimal=',', delimiter='\t', parse_dates=True, index_col='Date', na_values=["nan"])
date_range = df_reference.index
# Crear un DataFrame vacío con el rango de fechas como índice
df_final = pd.DataFrame(index=date_range)
# Leer y reindexar los archivos CSV, y combinarlos en el DataFrame final
for filename in filenames:
df_temp = pd.read_csv(filename, decimal=',', delimiter='\t', parse_dates=True, index_col='Date', na_values=["nan"])
df_temp = df_temp.reindex(date_range) # Reindexar para incluir todas las fechas del rango
df_final = pd.concat([df_final, df_temp], axis=1)
# Renombrar las columnas con los nombres de los archivos
df_final.columns = [filename[:-4] for filename in filenames]
# Eliminar las filas con todos los valores faltantes
df_final.dropna(how='all', inplace=True)
# Visualizar el DataFrame final
print(df_final)
devuelve:
ValueError: 'Date' is not in list
introducir el código aquí
Implemento la opción aprotada por 'aeportugal', de esta manera.
import glob
import os
import pandas as pd
# Obtener la lista de archivos CSV
dir_path = '/media/enri/Mi_Proyecto/Py_Proyecto_2024/Trading-Gestion-Conservadora-/Datos/Ficheros_R4_csv/'
filenames = glob.glob("*.csv")
# Leer el primer archivo CSV para obtener las fechas de referencia
df_reference = pd.read_csv(filenames[0], sep=',' , decimal=',', parse_dates=True, index_col='Date', na_values=["nan"])
date_range = df_reference.index
# Crear un DataFrame vacío con el rango de fechas como índice
df_final = pd.DataFrame(index=date_range)
# Leer y reindexar los archivos CSV, y combinarlos en el DataFrame final
for filename in filenames:
data = []
with open(filename) as f:
for line in f.readlines():
data.append(line.strip(',\r\n\t').split(',', 1))
df_temp = pd.DataFrame(date[1:], columns = data[0])
df_temp = df_temp.reindex(date_range) # Reindexar para incluir todas las fechas del rango
df_final = pd.concat([df_final, df_temp], axis=1)
# Renombrar las columnas con los nombres de los archivos
df_final.columns = [filename[:-4] for filename in filenames]
# Eliminar las filas con todos los valores faltantes
df_final.dropna(how='all', inplace=True)
# Visualizar el DataFrame final
print(df_final)
Me devuelve este error.
---------------------------------------------------------------------------
NameError Traceback (most recent call last)
/tmp/ipykernel_23112/3651966487.py in <module>
21 for line in f.readlines():
22 data.append(line.strip(',\r\n\t').split(',', 1))
---> 23 df_temp = pd.DataFrame(date[1:], columns = data[0])
24
25 df_temp = df_temp.reindex(date_range) # Reindexar para incluir todas las fechas del rango
NameError: name 'date' is not defined
Los ficheros estan accesibles en : introducir la descripción del enlace aquí
Dante aporta un opción válida. su implementación es la siguiente.
import os
import pandas as pd
from io import StringIO
# Define el directorio y nombre de archivo CSV
dir_path = '/media/enri/Mi_Proyecto/EFV_Financial_Resources_Management/Datos/Ficheros_R4_csv'
csv_filename = 'Acatis.csv'
csv_file_path = os.path.join(dir_path, csv_filename)
# Lee el archivo CSV
with open(csv_file_path, 'r') as file:
csv_data = file.read()
# Utiliza StringIO para leer la cadena como un archivo CSV
df = pd.read_csv(StringIO(csv_data), sep=',', index_col="Date", usecols=["Date", "Close"],
decimal=",", parse_dates=["Date"], na_values=["nan"])
# Elimina las filas con valores faltantes (NaN)
df.dropna(inplace=True)
# Muestra el DataFrame resultante
df
Devuelve.
<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 3695 entries, 2008-12-15 to NaT
Data columns (total 1 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 Close 3695 non-null object
Sigo buscando una opción que consista en modificar el formato del csv que origina el problema, para que sea igual al de los demás .csv en el directorio.
Opción modificando LibreOfice: Marcando en la ventana de previsualización la casilla 'coma' y poniendo en la venta 'delimitador de cadena', una coma, tal y como se ve en la figura siguiente,
aunque en la previsualización se ven tres columnas, 'Date, Close y una tercera en la que se muestran los decimales de los precios, sin embargo, al importar con pandas con el script anterior, ya no devuelve error y crea el DataFrame correctamente.