Línea de tiempo para ¿Cómo cargo una gran cantidad de archivos sin que gaste muchos recursos? Python - Pandas
Licencia actual CC BY-SA 4.0
5 eventos
cuándo alternar formato | qué | por | licencia | comentario | |
---|---|---|---|---|---|
el 13 sept. 2020 a las 21:29 | comentario | añadido | Patricio Moracho | No hay ningún parámetro mágico, para optimizar los recursos, tienes que diseñar un procedimiento que minimize los datos en memoria, no hay mucha ciencia. Mi sugerencia 1) lee de los archivos solo las columnas que necesites 2) haz una iteración por cada archivo y realiza el proceso que corresponda, 3) Si fuera necesario, salva los datos en archivos físicos y libera la memoria. | |
el 13 sept. 2020 a las 21:07 | comentario | añadido | Jefferson | Seguramente no, lo que intento conseguir es un proceso se extracción recursivo y que no utilice muchos recursos. | |
el 13 sept. 2020 a las 15:30 | comentario | añadido | Patricio Moracho | ¿necesitas los 1200 datos en memoria al mismo tiempo? ¿necesitas todas las columnas de cada data.frame? | |
el 13 sept. 2020 a las 3:52 | respuesta | añadido | elulcao | línea de tiempo puntuación: 1 | |
el 13 sept. 2020 a las 3:00 | historial | formulada | Jefferson | CC BY-SA 4.0 |