3

Descargo un archivo CSV(unicode) de un sitio web, los campos están separados por tabulación y entre comillas doble y el salto de linea no lo hace al final de cada fila de como se ve en el CSV, ejemplo de como se ve la información del CSV al abrirlo con bloc de notas:

"campo1"    "campo2"    "campo3"    "campo4"    
"campo5"    "campo6"    "000000AA1011"  "000000AA1012"  
"000000AA1013" "000000AA1014"   "000000AA1015"  "000000AA1016"  
"000000AA1017"  "000000AA1018"  "000000AA1019" "000000AA1020"   
"000000AA1021"  "000000AA1022"  

Quiero convertirlo a CSV(utf-8) para que los campos estén separados por coma y no estén entre comillas dobles y el salto de linea lo haga como se ve en el CSV y de esta manera poder hacer el LOAD DATA LOCAL INFILE de MySQL e inserte los registros del CSV sin ningún problema a la tabla de MySQL, ejemplo de como quiero que se vea el CSV al abrirlo con un bloc de notas:

campo1,campo2,campo3,campo4,campo5,campo6
000000AA1011,000000AA1012,000000AA1013,000000AA1014,000000AA1015,000000AA1016
000000AA1017,000000AA1018,000000AA1019,000000AA1020,000000AA1021,000000AA1022

Cabe mencionar que en 1er instancia intente tomar el CSV(unicode) e insertarlo en la tabla MySQL de la siguiente manera:

LOAD DATA LOCAL INFILE 'C:/data.csv' INTO TABLE bd.down_data
    FIELDS TERMINATED BY '\t' ESCAPED BY '"'
    LINES TERMINATED BY '\n' IGNORE 1 LINES
    (campo1, campo2, campo3);

Esta consulta me inserta los datos pero les pone un espacio después de cada carácter, ejemplo:

    campo1                       campo2                       campo3
0 0 0 0 0 0 A A 1 0 1 1     0 0 0 0 0 0 A A 1 0 1 2     0 0 0 0 0 0 A A 1 0 1 3
0 0 0 0 0 0 A A 1 0 1 7     0 0 0 0 0 0 A A 1 0 1 8     0 0 0 0 0 0 A A 1 0 1 9

e intente eliminar los espacios de la siguiente manera:

Select REPLACE(campo1,' ','') as campo1 from bd.down_data;

pero no logra hacer ningún cambio, me imagino que el problema es la codificación del archivo CSV original y por ello quiero corregir el problema desde el CSV(tener los campos separados por coma y sin comillas dobles al momento de hacer el LOAD DATA LOCAL INFILE) ya que si guardo nuevamente el mismo CSV desde el excel como CSV reemplazandolo y lo abro con el bloc de notas ya me aparece separado por comas.

Estoy haciendo esto en Python:

import csv

path =  'data.csv'

with open(path, 'r', encoding='utf-8', errors='ignore') as infile, open('final.csv', 'w') as outfile:
     inputs = csv.reader(infile)
     output = csv.writer(outfile)

     for index, row in enumerate(inputs):

         if index == 0:
             continue
         output.writerow(row)

me crea el nuevo archivo final.csv pero sin ningún registro y me marca el siguiente error:

Traceback (most recent call last):
  File "export.py", line 9, in <module>
    for index, row in enumerate(inputs):
_csv.Error: line contains NULL byte

UPDATE:

archivo real:

https://drive.google.com/open?id=1LnCJVVc83HPAXAc88BMtKoHFIHpP5xtW

2
  • 1
    Hola, ¿A que te refieres exactamente con "Unicode"? UTF-8 es una de la formas estándar de codificación (character encodings) del estándar Unicode (cómo UTF-16 y UTF-32 y sus variantes). ¿Seria posible que proporcionaras un archivo real o parte de el mediante Google Drive, Dropbox o similar para poder reproducir el problema? Aparte de la codificación real del archivo hay que saber dónde hace verdaderamente los saltos de línea si los tiene,,, el bloc de notas puede estar distorsionándolo y al pegar el ejemplo aquí perdemos la codificación.
    – FJSevilla
    Commented el 11 sept. 2018 a las 8:55
  • Hola @FJSevilla ya agregue un enlace para descargar el archivo real
    – El Cóndor
    Commented el 11 sept. 2018 a las 14:19

1 respuesta 1

1

El archivo en principio usa Unicode pero está codificado usando UTF-16-LE como formato de codificación (al menos es correcta para el archivo de muestra). Es básicamente lo que Microsoft viene llamando ficheros "UNICODE", aunque no es es un termino demasiado específico... Por lo tanto debemos abrir el archivo usando UTF-16 y usar UTF-8 para el fichero de salida:

import csv

path =  'data.csv'

with open(path, 'r', encoding='utf-16-le',  newline='') as infile,\
     open('final.csv', 'w',  encoding='utf-8', newline='') as outfile:
     inputs = csv.reader(infile, delimiter="\t", quotechar='"')
     output = csv.writer(outfile, delimiter=",", quotechar='"')
     next(inputs) # Descartar primera fila (header)
     output.writerows(row for row in inputs)

Lo cual nos genera el csv sin comillas (a no ser que sean necesarias, por ejemplo celda que tiene el separador como parte de los datos) y usando la coma como separador:

0000001NV462,MC1,AUTO,,
000000A34147,MC2,AUTO,3,
000000B51066,MC3,AUTO,,
000000B94242,MCG,AUTO,2,
000000C61056,MC9,AUTO,534,
4X30M39458,MC2,AUTO,,
SA30J76548,MC9,AUTO,,
SA70A15440,MCG,AUTO,5,
SA70A15460,MCB,AUTO,1,
SA70A15467,MCB,AUTO,159,
SA70A15468,MCB,AUTO,159,
...

El archivo tiene una culumna vacía al final, sin cabecera y sin datos al menos en este archivo. Si se quiere eliminar basta con un slicing:

output.writerows(row[:-1] for row in inputs)
1
  • Me funciono perfecto, muchisimas gracias, llevaba rato dándole vueltas e investigando y no veía nada claro, es la 1er vez que utilizo python, solo una duda como supiste que esta codificado en UTF-16, Saludos!
    – El Cóndor
    Commented el 11 sept. 2018 a las 15:32

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.