1

Resumen del problema

No he podido concatenar/fusionar/unir los siguientes dos dataframes stock_data y sd_complement. El df resultante, merge_df, debe ser la unión de ambos, eliminando cualquier duplicado en la columna date. Los dos df son:

  1. sd_complement
          date        close      volume ticker  sentiment
    0     2014-12-31  53.63  10626000.0    AAL          0
    1     2014-12-30  53.42   8063100.0    AAL         -1
    2     2014-12-29  52.85   8788900.0    AAL         -1
    3     2014-12-26  51.96   6841800.0    AAL         -1
    4     2014-12-24  51.43   5955400.0    AAL         -1
    ...          ...    ...         ...    ...        ...
    7662  2014-01-08  30.26  30816000.0   TSLA          1
    7663  2014-01-07  29.87  25170500.0   TSLA         -1
    7664  2014-01-06  29.40  26805500.0   TSLA         -1
    7665  2014-01-03  29.91  23475000.0   TSLA          1
    7666  2014-01-02  30.02  30942000.0   TSLA          1
    
    [7415 rows x 5 columns]
  1. stock_data
          ticker        date       close      volume  sentiment
    0        AAL  2014-09-17   37.459999   6682700.0          0
    1        AAL  2014-09-18   38.049999   4553800.0          1
    2        AAL  2014-09-19   36.630001  17589900.0         -1
    3        AAL  2014-09-22   35.580002  10964300.0         -1
    4        AAL  2014-09-23   35.330002  12146800.0         -1
    ...      ...         ...         ...         ...        ...
    57998   TSLA  2021-04-30  709.440002  40686400.0          1
    57999   TSLA  2021-05-03  684.900024  27043100.0         -1
    58000   TSLA  2021-05-04  673.599976  29739300.0         -1
    58001   TSLA  2021-05-05  670.940002  21901900.0         -1
    58002   TSLA  2021-05-06  663.539978  27784600.0         -1
    
    [58003 rows x 5 columns]

Resultado esperado

La unión de stock_data y sd_complement de tal forma que el df resultante tenga valores únicos en la columna date, y por lo tanto su rango de valores vaya desde 2014-01-dd (min) al 2021-mm-dd (max) para cada grupo en la celda ticker. Como ejemplo, para el caso de las celdas AAL en la columna ticker, el número de elementos totales en la columna date debe de ser de 890+1671=2561 890 son de todas aquellas celdas con valores menores a "2014-09-17" y 1671 son las celdas con valores mayores o iguales a "2014-09-17.

        ticker        date       close      volume  sentiment
...        AAL  2014-01-02   ...    ...     ...
...      ...         ...         ...         ...        ...
...        AAL  2014-09-17   37.459999   6682700.0          0
...        AAL  2014-09-18   38.049999   4553800.0          1
...        AAL  2014-09-19   36.630001  17589900.0         -1
...        AAL  2014-09-22   35.580002  10964300.0         -1
...        AAL  2014-09-23   35.330002  12146800.0         -1
...      ...         ...         ...         ...        ...
...        AAL  2021-mm-dd   ...  ...        ...
...   TSLA  2014-01-02         ...  ...        ...
...      ...         ...         ...         ...        ...
...   TSLA  2021-04-30  709.440002  40686400.0          1
...   TSLA  2021-05-03  684.900024  27043100.0         -1
...   TSLA  2021-05-04  673.599976  29739300.0         -1
...   TSLA  2021-05-05  670.940002  21901900.0         -1
...   TSLA  2021-mm-dd  663.539978  27784600.0         -1

Intentos previos

Intenté definir

df = pd.merge(data, stock_data, 
       on=['date', 'close', 'ticker','volume','sentiment'], 
       how="outer", indicator=False).drop_duplicates()

y también

df = pd.merge(sd_complement, stock_data, 
          on=['date', 'close', 'ticker','volume','sentiment'], 
          how="outer", indicator=False).drop_duplicates(subset=['date'])

pero siguen conteniendo duplicados (en el primer caso) o elimina todos los duplicados de todos los grupos de la columna ticker. También intente con concat y group_by,

Código ejemplo Google Colab

Código en Google Colab

2
  • No se entiende muy bien qué son los dataframes de entrada ni como quieres mezclarlos. Creo entender que df1 y df2 traen diferentes fechas para un mismo tiker, y quieres uno que contenga la unión de las fechas en ambos. Pero ¿hay fechas duplicadas? Y en ese caso ¿cuál de los df "prevalece"? Por otro lado el enlace a Colab que suministras no ayuda a entender el problema pues en él no aparecen ni df1 ni df2, sino otros, a partir de los cuales no está claro cómo obtener df1 y df2. Además muchas de las celdas del notebook están comentadas y otras dan errores
    – abulafia
    el 18 nov. 2021 a las 16:31
  • Hola, ya edité la pregunta y el código de Colab. En este caso, stock_data contiene fechas que van desde "2014-09-17" a "2021-mm-dd" y sd_complement va desde "2014-01-02" a "2014-12-31". Quería obtener la unión de ambos pero eliminando las fechas dupilcados desde "2014-09-17" a "2014-12-31" que son parte de sd_complement. Por lo tanto prevalecería stock_data, pero incluyendo las fechas faltantes. Los métodos "concat()" y "merge()" mantenían las fechas duplicadas en ese rango y drop_duplicates() no daba el resultado esperado. el 18 nov. 2021 a las 17:52

2 respuestas 2

2

Si indexas correctamente ambos dataframes, puedes realizar operaciones de álgebra de conjuntos entre los índices (por ejemplo la intersección, la unión, o la diferencia). Creo que en este caso esa sería la clave para dar con la solución general. La idea es:

  1. Indexar ambos dataframes por el ticker y la fecha
  2. Calcular la diferencia entre el índice de sd_complement y stock_data. Eso te dejaría sólo con el índice de los elementos que cuyo ticker y fecha están en sd_complement pero no en stock_data
  3. Usar esa diferencia (con .loc) para seleccionar y añadir a stock_data los elementos deseados de sd_complement (que son los que no estaban en stock_data)

Tomando código de tu Google Colab te muestro las operaciones y el resultado:

# Carga de los datos
stock_data = pd.read_csv('https://cicipn.s3.amazonaws.com/stocks.csv')
sd_complement = pd.read_csv('https://cicipn.s3.amazonaws.com/stocks_c.csv').drop("Unnamed: 0", axis=1)

# Creación de los índices adecuados
sd_indexed = stock_data.set_index(["ticker", "date"]).sort_index()
sd_comp_indexed = sd_complement.set_index(["ticker", "date"]).sort_index()

Por cierto que en este momento aprovecho para mirar cuántas fechas tiene cada uno de estos dataframes para el ticker "AAL", para posteriores comprobaciones:

>>> len(sd_indexed.loc['AAL'])
1671

>>> len(sd_comp_indexed.loc['AAL'])
252

Ahora calculo la diferencia de los índices:

diferencia = sd_comp_indexed.index.difference(sd_indexed.index)

Y creo un nuevo dataframe añadiendo a sd_indexed los elementos de sd_comp_indexed seleccionados por la diferencia anterior (tras lo cual reordeno el índice para que queden de nuevo agrupados convenientemente)

resultado = sd_indexed.append(sd_comp_indexed.loc[diferencia]).sort_index()

Resultado

El resultado tiene este aspecto:

                       close      volume  sentiment
ticker date                                        
AAL    2014-09-17  37.459999   6682700.0          0
       2014-09-18  38.049999   4553800.0          1
       2014-09-19  36.630001  17589900.0         -1
       2014-09-22  35.580002  10964300.0         -1
       2014-09-23  35.330002  12146800.0         -1
...                      ...         ...        ...
TSLA   2014-09-10  56.220000  18906500.0          1
       2014-09-11  56.060000  18830500.0          1
       2014-09-12  55.840000  16623000.0          1
       2014-09-15  50.770000  82277000.0         -1
       2014-09-16  52.150000  41500500.0         -1

Pero podemos verificar cuántas fechas hay ahora bajo el ticker AAL:

>>> len(resultado.loc['AAL'])
1849

Comparando con las que tenía sd_indexed (que eran 1671) vemos que se han añadido 1849-1671 = 178 nuevas entradas (y no las 252 que tenía sd_comp_indexed), por lo que efectivamente no se han añadido las que ya compartían ambos dataframes. Estos números no coinciden con los que mencionas en la pregunta, ya que hablas de 890 entradas con valores menores a "2014-09-17", pero ese dato no coincide con lo que se obtiene en tu Google Colab:

>>> len(sd_complement.loc[(sd_complement["date"]<"2014-09-17")&(sd_complement["ticker"]=="AAL")])
178

Sí coincide en cambio con lo que me ha salido antes. (¿Quizás porque usabas .size en lugar de len()? .size te da el número de celdas, no el de filas, por tanto depende también del número de columnas que eran 5, entonces 178*5 sí sale 890)

0

**

SOLUCIÓN

**

Al final tuve que especificar el complemento manualmente (hardcoding) para obtener un dataframe que fuese el complemento de stock_data a través de

sd_complement = sd_complement.loc[sd_complement["date"]<"2014-09-17"]

y luego definiendo

merge_df = pd.merge(sd_complement, stock_data, on=['date', 'close', 'ticker','volume','sentiment'], how="outer", indicator=False)

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.