2

Viendo varios tutoriales de Pandas me encontre con esto:

Al leer archivos csv a veces me encuentro con el siguiente error:

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe1 in position 17: 
invalid continuation byte

En todos los videos dan la opcion de abrir el archivo con Sublime y despues guardarlo como UTF-8.

Ahora, por otro lado, encontre lo siguiente:

Abro el archivo, lo recorro y aplica la funcion detect de chardet para que encuentre que tipo de codificación tiene el mismo.

import chardet

with open('data/atp-tour/data.csv', 'rb') as f:
    result = chardet.detect(f.read())

result['encoding']

Output: 'Windows-1252'

Una vez hecho esto ya puedo hacerle el encoding al archivo y que funcione normalmente:

datos = pd.read_csv('data/atp-tour/data.csv', encoding=result['encoding'])

Cual es el metodo mas optimo para realizar el codificado? Solucionarlo rapido con sublime o encontrar el tipo de codificación y aplicarla?

Por otro lado al aplicar la codificacion de Chardet a veces da error de memoria que deja de salir al agregar el parametro low_memory = False

DtypeWarning: Columns (4,5,7,16) have mixed types. Specify dtype
option on import or set low_memory=False.

¿Esto que significa? Ya que investigue y en la misma linea a veces sale y a veces no al momento de ejecutarla

2
  • Yo diría que lo de usar Sublime es un atajo rápido para quienes no sepan hacerlo de otra forma. Ya que tú sabes usar chardet, esta me parece mejor forma para integrar la conversión en el propio script que lee y procesa los datos con pandas, sin necesidad de pasos externos. Lo de low_memory ocurre porque tu csv es muy grande y pandas necesita leerlo completo para adivinar los tipos de cada columna. Puedes evitar el aviso si directamente le dices cuáles son estos tipos. Mira aqui
    – abulafia
    el 19 feb. 2019 a las 19:09
  • Gracias @abulafia dejo la info traducida y la bajada que tuve como respuesta para poder cerrarla.
    – Juan
    el 22 feb. 2019 a las 17:43

1 respuesta 1

1

ENCODING DE ARCHIVO

Abrir el archivo con sublime es la opción mas simple para guardarlo en UTF-8, por otro lado se puede hacer el encoding a UTF-8 al hacer el csv_read, si no funciona, se puede importar chardet y hacer el encoding en el mismo script para que todo quede ahí, esta ultima opcion tarda mas mientras mas registros tenga el archivo.

import chardet

with open('data/atp-tour/data.csv', 'rb') as f: result = chardet.detect(f.read())

result['encoding']

Output: 'Windows-1252'

Si bien esa fue mi consulta porque recién estoy empezando y estoy de pasante ya me bajaron la linea de que se exige el UTF-8 así que ya no tengo ese problema, pero para practicar pueden probar lo que comento.

LOW MEMORY

Dejo la informacion traducida, VER FUENTE que me facilito @abulafia

La opción low_memory no está dada de baja adecuadamente, pero debería estarlo, ya que en realidad no hace nada diferente VER FUENTE

La razón por la que recibe esta advertencia de baja memoria es porque los tipos de adivinación para cada columna requieren mucha memoria. Pandas intenta determinar qué tipo de dato establecer mediante el análisis de los datos en cada columna.

Pandas solo puede determinar qué tipo de dato tiene cada columna una vez que lee todo el archivo. Esto significa que realmente no se puede analizar nada antes de leer todo el archivo, a menos que se arriesgue a tener que cambiar el tipo de columna cuando lea el último valor.

Considere el ejemplo de un archivo que tiene una columna llamada user_id. Contiene 10 millones de filas donde el user_id es siempre números. Como pandas no puede saber que son solo números, probablemente lo mantendrá como las cadenas originales hasta que haya leído el archivo completo.

Especificando dtypes (siempre debe hacerse) añadiendo:

dtype = {'user_id': int}

Al llamar al pd.read_csv () pandas sabrá cuando comience a leer el archivo, que esto es solo enteros.

También vale la pena señalar que si la última línea del archivo tuviera "foobar" escrito en la columna id_usuario, la carga se bloquearía si se especificara el dtype anterior.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.