2

Tengo el siguiente código:

import random
import pandas as pd
from datetime import datetime

inicio = datetime(2017, 1, 30)
final =  datetime(2019, 3, 21)

datos = []

for i in range (0, 10000):
    datos.append(inicio + (final - inicio) * random.random())

df = pd.DataFrame(datos)

df.rename(columns={0: "Fecha"}, inplace=True)

procesos = []

for a in range (1, 11):
    procesos.append('Proceso' + str(a))

total = 0

proceso = []

for i in range (0, 10):
    for j in range ( 0, 1000):
        proceso.append(procesos[total])
    total += 1

datosProceso = pd.DataFrame(proceso)

datosProceso.rename(index=str, columns={0: "Proceso"}, inplace=True)

Esto crea dos df con 10.000 datos aleatorios, uno tiene 10.000 fechas y el otro tiene 10.000 datos de procesos separados en 10 procesos aleatorios o sea 1000 datos de proceso1, 1000 datos de proceso2, etc.

introducir la descripción de la imagen aquí

Ahora como podria unir los dos dataframe en uno solo que tenga dos columnas, procesos y fechas, probe agregando ids, con concat pero lo tira abajo, join me da error, etc.

Sin usar los dos DF que se arman rápido lo hago de esta forma pero que tarda 2 a 3 min porque va linea a linea en la posición suplantando el valor ademas de que tira SettingWithCopyWarning:

import random
import pandas as pd
from datetime import datetime

inicio = datetime(2017, 1, 30)
final =  datetime(2019, 3, 21)

datos = []

for i in range (0, 10000):
    datos.append(inicio + (final - inicio) * random.random())

df = pd.DataFrame(datos)

df.rename(columns={0: "Fecha"}, inplace=True)

df['proceso'] = ''

procesos = []
for a in range (1, 11):
    procesos.append('Proceso' + str(a))

total = 0
posicion = 0

for i in range (0, 10):
    for j in range ( 0, 1000):
        df['proceso'][posicion] = procesos[total]
        print(posicion)
        posicion += 1
    total += 1

introducir la descripción de la imagen aquí

introducir la descripción de la imagen aquí

1 respuesta 1

4

Lo que complica es el índice de los dos dataframes al ser distintos las opciones de merge no funcionan como lo quisiéramos en estos casos. Lo que se puede hacer es inicializar el índice de los dos data.frame a un simple número secuencial, cosa que podemos hacer con reset_index()

result = pd.merge(df.reset_index(),
                  datosProceso.reset_index(), 
                  left_index=True, 
                  right_index=True)

Conceptualmente, de esta forma, los dos dataframes terminan teniendo un mismo índice (1:9999) con lo cual ahora sí, el merge() hace lo que esperamos: unir secuencialmente ambos dataframes.

1
  • Mira vos, yo lo usaba cuando tenia indices numéricos adicionales y eliminaba columnas no sabia que creaba la columna con el indice auto incrementable, muchas gracias, es mucho mas rápido así, ya con la nueva columna y el indice puedo hacer el merge que antes no podía, ya despues con result = result.drop(columns={'index_x', 'index_y'}) dejo solo las columnas que necesito en ese nuevo df
    – Juan
    Commented el 21 mar. 2019 a las 18:34

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.