0

Estoy trabajando con una tabla que es un cvs. Esta tabla tiene aproximadamente 162 millones de datos (lineas o registros) y 14 columnas. Hago lo siguiente:

df = pd.read_csv('renn.csv', sep = ';', dtype='unicode')

introducir la descripción de la imagen aquí

Pero si importo en stata me entrega los datos correctos introducir la descripción de la imagen aquí

Entonces cualquier analisis que haga en python sólo lo hace sobre los 2 millones de datos. He intentado varias cosas pero sin resultados.

Una alternativa que he visto es usar Vaex pero no es lo más apropiado creo para después filtrar mis datos. Otra alternativa sería con chunksize=size. Realidad no sé, ya que ese archivo debo unirlo con uno que tiene 2 millones que tienen un id que identifica (v1 en ambas tablas)... Me podrían ayudar por favor... ¿Cómo es la mejor forma de leer archivos con millones de datos? Gracias por su ayuda...

4
  • 4
    Lo razonable es dividir y procesar por partes. Ahi está el genio.
    – Candid Moe
    el 19 jul. 2022 a las 20:38
  • Buen día, yo creo que esta respuesta puede ayudarte. el 19 jul. 2022 a las 22:39
  • Buenas tardes, gracias por sus respuestas. Sólo comentarles que he utilizado la opción de chunksize para leer el archivo.... Y... Me sirvió para ver que era el archivo el corrupto dado que pude comprobar el número de registros... He generado el archivo de nuevo y pude leer todos los registros... Ahora tengo otros problemas... Pero veremos como resolvernos... No se como se cierra esta consulta... Gracias.
    – xion
    el 28 jul. 2022 a las 23:02
  • @xion, si deseas eliminarla o cerrarla abajo de la pregunta hay unos enlaces para hacerlo, de igual forma es posible que termine cerrada ya que era un error tipográfico. Saludos! el 13 sep. 2022 a las 11:48

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

Examina otras preguntas con la etiqueta o formula tu propia pregunta.