3

Resumen del problema: Tengo un data-frame con información de una base de datos de la siguiente manera:

source           company category                                             header                                            content published_date  sentiment
0  Forbes  General Electric     None  Is New England Baking The Books On Oil-Fired C...  The rise of natural gas as the primary fuel fo...     2014-01-01          0
1  Forbes  General Electric     None  DARPA Is Building A Vanishing Battery: This Po...  Considering that batteries are typically desig...     2014-01-02          0
2  Forbes  General Electric     None      Four High-Yielding ETFs For Growth And Income  Growth & income exchange-traded funds typicall...     2014-01-02          0
3  Forbes         Citigroup     None                      Analyst Moves: BAC, DUK, PZZA  This morning, Citigroup upgraded shares of Ban...     2014-01-02          0
4     WSJ          JPMorgan  MARKETS  JPMorgan Broker Barred for Role in Insider Tra...  Finra says information about merger, acquisiti...     2014-01-02          0

El resultado esperado que debería obtener luego de actualizar los valores en la columna de sentimentes el siguiente (son poco más de 25,000 filas en total):

    source           company category                                             header                                            content published_date  sentiment
0  Forbes  General Electric     None  Is New England Baking The Books On Oil-Fired C...  The rise of natural gas as the primary fuel fo...     2014-01-01          -1
1  Forbes  General Electric     None  DARPA Is Building A Vanishing Battery: This Po...  Considering that batteries are typically desig...     2014-01-02          1
2  Forbes  General Electric     None      Four High-Yielding ETFs For Growth And Income  Growth & income exchange-traded funds typicall...     2014-01-02          0
3  Forbes         Citigroup     None                      Analyst Moves: BAC, DUK, PZZA  This morning, Citigroup upgraded shares of Ban...     2014-01-02          -1
4     WSJ          JPMorgan  MARKETS  JPMorgan Broker Barred for Role in Insider Tra...  Finra says information about merger, acquisiti...     2014-01-02          1

El algoritmo que utilizo para actualizar los valores es el siguiente. Note que verificando los valores antes y después de utilizar 'at' o 'loc' dentro del loop ' for e in ch_ix:' los valores cambian, pero luego de que termina el loop 'for index in range(len(stock_list_company_name)):' imprimo 'dfd' y la columna 'sentiment' sigue teniendo los mismos valores de cero:

    dfd = db_data.copy()
    for index in range(len(stock_list_company_name)):
      cont = dfd.loc[dfd["company"] == stock_list_company_name[index]]

      #stock_data es un dataframe que contiene las columnas 'ticker, date, closed, volume, sentiment' y tiene más filas que el df dfd (58,000).
      cont2 = stock_data.loc[stock_data["ticker"] == ticker_list[index]]
      dates = cont2["date"].values
      for ix in range(len(dates)):
        if(not cont.loc[cont["published_date"] == dates[ix]].empty):
          ch_ix = cont.loc[cont["published_date"] == dates[ix], "sentiment"].index
          for e in ch_ix:
           cont.at[e,"sentiment"] = cont2["sentiment"].values[ix]
    print(dfd['sentiment'] #los valores siguen siendo ceros

Intente crear un diccionario para guardarlos valores de índice y sentimiento y luego agregarlos en otro 'for loop', pero tampoco funcionò. Alguien puede ayudarme, ya busqué y consulté los documentos y otras preguntas y respuestas en este foro, pero hasta el momento sigo sin saber por qué no se actualizan los valores. Código muestra en google colab: url

4
  • sabes que no es necesario reemplazar valor por valor si puedes reemplazar la columna entera? así evitas usar loc o at
    – Christian
    Commented el 14 nov. 2021 a las 4:17
  • Sí, lo sé. Pero en este caso específico ambos data frames tienen distinto número de filas. Como analogía, sería la intersección de los valores de A (dfd) y B (stocks) para las columnas "published_date" y "company" y de ahí reemplazar los valores de la columna "sentiment" de A con los de B. Commented el 14 nov. 2021 a las 5:33
  • 1
    Es una excelente idea que añadas una url a un google colab para que podamos probar y ver qué ocurre. Por desgracia el colab que enlazas depende de una base de datos externa y sin ella no se puede hacer nada. ¿No podrías crear un colab que incluya la información necesaria? O en su defecto, un enlace a unos archivos csv que contengan lo necesario para poder recrear tus dataframes? (puedes crearlos desde tu actual colab, exportando los dataframes con df.to_csv() una vez construidos)
    – abulafia
    Commented el 14 nov. 2021 a las 11:21
  • Listo! Ya se pueden cargar sin problema. Commented el 14 nov. 2021 a las 17:04

1 respuesta 1

2

He dado con una solución bastante eficiente (mucho mejor que andar haciendo bucles, cosa que siempre se debe evitar cuando se trabaja con pandas). Sin embargo no estoy del todo seguro de si los resultados serán correctos, pues los datos de ejemplo que proporcionabas en el Google Colab tenían bastantes irregularidades. Te cuento.

Carga de datos

Lo primero, los csv que lees tienen una columna extra que conviene eliminar, pues no es mas que una repetición del index. Además, los datos de sentiment del segundo dataframe no contiene un mix de -1, 0, 1 como en el ejemplo que pones en la pregunta, sino que son todos cero. De momento, para que se vea si está funcionando o no la mezcla de dataframes, decido sustituir todos esos 0 por 1. Así que he cambiado la lectura para que sea:

db_data = pd.read_csv('https://cicipn.s3.amazonaws.com/db_data.csv').drop(columns=["Unnamed: 0"])
stock_data = pd.read_csv('https://cicipn.s3.amazonaws.com/stocks.csv').drop(columns=["Unnamed: 0"])
stock_data.sentiment = 1   # Para que no sean 0 y se pueda ver algo

Renombrado de las compañías

El primer dataframe, en su columna company tiene cosas como "Google" y también a veces "Google, Inc." que supongo se refieren a la misma compañía.

El segundo dataframe en cambio tiene abreviaturas como "GOOGL" (que sería la misma tanto para "Google" como para "Google, Inc." supongo)

Así que para poder tener un índice común lo mejor será cambiar en el primer dataframe todos los nombres de compañías por sus correspondientes abreviaturas. Para ello es conveniente tener un diccionario cuyas claves sean los nombres y cuyos valores sean las abreviaturas.

Si haces print(sorted(set(db_data.company))) puedes ver todos los nombres de compañías que aparecen, y si análogamente print(sorted(set(stock_data.ticker))) te muestra todas las abreviaturas. Con un poco de paciencia se casan unas con otras y en base a eso he construido el siguiente diccionario (mejor lo repasas por si hay errores):

name_to_ticker_dict = {
 'Advanced Micro Devices': 'AAL',  'Amazon': 'AMD',  'Amazon.com Inc.': 'AMZN',
 'American Airlines Group': 'AMZN',  'American Electric Power': 'AEP',  'American Express': 'AXP',
 'Bitcoin': 'BTC-USD',  'Boeing ': 'BA',  'Cabot Oil and Gas': 'COG',  'Cisco': 'CSCO',
 'Cisco Systems': 'CSCO',  'Citigroup': 'C',  'Citigroup Inc.': 'C',
 'Ethereum': 'ETH-USD',  'Facebook,': 'FB',  'Facebook, Inc.': 'FB',
 'Ford Motor': 'F',  'General Electric': 'GE',  'General Motors': 'GM',
 'Goldman Sachs': 'GS',  'Goldman Sachs Group': 'GS',  'Google': 'GOOGL',
 'Google Inc.': 'GOOGL',  'Hasbro': 'HAS',  'Hasbro Inc.': 'HAS',
 'Intel Corp.': 'INTC',  'JPMorgan': 'JNJ',  'Johnson and Johnson': 'JPM',
 'Kimberly-Clark': 'KBM',  'McDonald': 'MCD',  "McDonald's Corp.": 'MCD',
 'MetLife': 'MET',  'Microsoft': 'MSFT',  'Microsoft Corp.': 'MSFT',
 'Morgan Stanley': 'MS',  'Netflix': 'NFLX',  'Nvidia': 'NVDA',
 'Pfizer': 'PFE',  'Pfizer Inc.': 'PFE',  'Procter & Gamble': 'PG',
 'Procter and Gamble': 'PG',  'Qualcomm': 'QCOM',  'Tesla': 'TSLA',
 'Tesla, Inc.': 'TSLA',  'eBay': 'EBAY',  'eBay Inc.': 'EBAY'
}

Indexación común de ambos dataframes

Si usamos los nombres de compañías (una vez abreviados) y la fecha como índices, asegurándose de que esas columnas se llaman igual en ambos dataframes, será posible después encontrar la intersección entre esos índices en una sola operación (es decir, las compañías y fechas que aparecen en ambos).

Así que crearé unas versiones indexadas de los datos:

db_data_indexado = (db_data.replace({"company": name_to_ticker_dict})
                    .set_index(["company", "published_date"])
                    .sort_index())
stock_data_indexado = (stock_data
                    .rename(columns={"ticker": "company", "date": "published_date"})
                    .set_index(["company", "published_date"])
                    .sort_index())

La primera línea cambia en la columna "company" los nombres de cada compañía por su correspondiente abreviatura, con ayuda del diccionario name_to_ticker_dict que habíamos creado antes. Después se usa la compañía y la fecha como índice y se ordena.

En la segunda línea se renombran las columnas "ticker" y "date" del segundo dataframe para que sean "company" y "published_date" como en el primero. Se crea un índice en base a esas columnas y se ordena.

Por si quieres verlos, los dataframes resultantes comenzarían así por ejemplo:

>>> print(db_data_indexado)
company published_date                                                                                                                                  
AAL     2014-01-20      Forbes     None   Advanced Micro Devices To Report Swing to Profit  After Advanced Micro Devices took a loss of 14...          0
        2014-04-11      Forbes     None                 Weekly Market Wrap: April 11, 2014  The fifteenth trading week of 2014 comes to a ...          0
        2014-04-14      Forbes     None                     AMD's Ambidexterity Is Growing  AMD is working toward a future in which x86 an...          0
        2014-04-21      Forbes     None           Week Ahead Market Report: April 21, 2014  The US markets are higher this afternoon, with...          0
        2014-05-05      Forbes     None  Advanced Micro Devices 'Mullins' SOC Gets Seri...  The tablet market has been a challenge for mos...          0
...                        ...      ...                                                ...      

>>> print(stock_data_indexado)
                             close      volume  sentiment
company published_date                                   
AAL     2014-09-17       37.459999   6682700.0          1
        2014-09-18       38.049999   4553800.0          1
        2014-09-19       36.630001  17589900.0          1
        2014-09-22       35.580002  10964300.0          1
        2014-09-23       35.330002  12146800.0          1
...                            ...         ...        ...                                          ...        ...

Solución final

Una vez tenemos los dataframes "normalizados" los índices están listos para hallar la intersección:

comun = db_data_indexado.index.intersection(stock_data_indexado.index)

Con lo que la asignación del sentiment es una sola línea:

db_data_indexado.loc[comun, "sentiment"] = stock_data_indexado.loc[comun, "sentiment"]

Resultado

Aquí es donde dudo de si el resultado estará bien. De momento podemos comprobar que en la columna sentiment hayan aparecido valores a 1 (provinientes del datagrama de stocks):

>>> print(set(db_data_indexado.sentiment))
{0, 1}

Hay ceros y hay unos, así que de momento bien. Los ceros son los del dataframe original que no han sido sobreescritos con unos.

Podemos comprobar que el dataframe resultado tiene el mismo tamaño que el de entrada:

>>> len(db_data_indexado), len(db_data)
(25303, 25303)

Pero ahora encuentro una cosa rara. Si sumo todos los 1 en sentiment una vez mezclados los dataframes me sale:

>>> db_data_indexado.sentiment.sum()
19998

En cambio, estos son más unos de los que cabría esperar, pues son más de los que había en el stock_data_indexed de la intersección:

>>> stock_data_indexado.loc[comun].sentiment.sum()
11743

La única explicación que se me ocurre a esta discrepancia es que en db_data_indexed haya entradas repetidas en el índice, debido a que por ejemplo "Google" y "Google, Inc." ambos acabaron siendo la misma abreviatura "GOOGL" (y esto sucede en unas cuantas compañías más).

1
  • Muchísimas gracias! Ya quedó y ya actualicé el código en Colab basado en tu respuesta. Commented el 15 nov. 2021 a las 19:33

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.