2

Estoy intentando cargar un csv en SQL Server, el csv tiene en algunos campos un espacio en blanco, si borro esos espacios blancos la carga funciona bien con este código:

import pandas as pd
import pyodbc


# Import CSV

data = pd.read_csv (r'C:\Users\user\path\DBM\fichero.csv',sep=";")   
df = pd.DataFrame(data, columns= ['columna1','columna2','columna3'])
df = df.astype(str)


df['columna1'].str.rstrip()
df['columna2'].str.rstrip()
df['columna3'].str.rstrip()

# Connect to SQL Server


conn = pyodbc.connect('Driver={SQL Server};'
                      'Server=server_name;'
                      'Database=Test_DB;'
                      'Trusted_Connection=yes;')
cursor = conn.cursor()

# Create Table

cursor.execute('CREATE TABLE _python_test ([columna1] [nvarchar](50),[columna2] [nvarchar](50),[columna3] [nvarchar](50))')

for row in df.itertuples():
    cursor.execute('''
                INSERT INTO Test_DB.dbo._python_test (columna1,columna2,columna3)
                VALUES (?,?,?)
                ''',
                row.columna1, 
                row.columna2,
                row.columna3
                )
conn.commit()

Pero quiero evitar manipular el fichero manualmente antes de cargarlo, sobre todo por automatizar el proceso. Cuando pruebo con este código:

import pandas as pd
import pyodbc


# Import CSV

data = pd.read_csv (r'C:\Users\user\path\fichero.csv',sep=";")   
df = pd.DataFrame(data, columns= ['columna1','columna2','columna3'])
df = df.astype(str)


df['columna1'].str.rstrip()
df['columna2'].str.rstrip()
df['columna3'].str.rstrip()

# Connect to SQL Server


conn = pyodbc.connect('Driver={SQL Server};'
                      'Server=server_name;'
                      'Database=Test_DB;'
                      'Trusted_Connection=yes;')
cursor = conn.cursor()

# Create Table

cursor.execute('CREATE TABLE _python_test ([columna1] [nvarchar](50),[columna2] [nvarchar](50),[columna3] [nvarchar](50))')





for row in df.itertuples():
    cursor.execute('''
                INSERT INTO Test_DB.dbo._python_test (columna1,columna2,columna3)
                VALUES (?,?,?)
                ''',
                row.columna1, 
                row.columna2,
                row.columna3
                )
conn.commit()

Carga los valores de dos de las columnas como NAN.

También he probado replace() en lugar de rstrip() y me da el mismo resultado:

# df['Columna1']=df['Columna1'].str.replace(' ', '')
# df['Columna2']=df['Columna2'].str.replace(' ', '')
# df['Columna3']=df['Columna3'].str.replace(' ', '')

Parece que espacios la carga funciona bien, pero si intento corregir los espeacios con Python, carga el dato como NAN en la tabla SQL.

Ayuda para un novato por favor.

1 respuesta 1

2

Vamos paso por paso.

1. ¿Qué es NaN?

NaN significa Not a Number es un valor muy conocido en Python sobre todo en librerías de cálculo númerico o manejo de datos, sirve para representar de forma numérica, objetos que no pueden ser representados.

2. Cómo solucionar el problema

NaN en SQL es interpretado como un string, cuando tu posiblemente quieres que lo ponga como NULL, para ello tienes que cambiar los valores NaN a None que es la "transformación" del NULL en Python. Siguiendo tu ejemplo puedes hacer:

import numpy as np

df = df.replace({np.nan:None})

Obviamente si no quieres que los lea como NULL puedes poner cualquier otro valor.

3. Comentarios a tu pregunta

Como has puesto que eres novato te dejo estas anotaciones por si te son de interés

Pero quiero evitar manipular el fichero manualmente antes de cargarlo, sobre todo por automatizar el proceso.

El limpiado y preprocesado de datos es una parte importante y por tanto debe estar incorporado y automatizado en los scripts que hagamos. Es decir, la limpieza del dato debe ser parte de tu automatización.

Una buena automatización debe tener en cuenta todos los sucesos y los tipos de datos que pueden llegar, para que sean tratados correctamente y que independientemente de la forma en que llegen los datos, el resultado sea el esperado.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.