1

Quiero insertar varios líneas SQL en una DataFrame python desde una consulta cuyo denominador común haría el EclipseID, el ID de la publicidad. Estoy utilisando MongoDB y Jupyter.

Tenemos una table eclipse_hashtag con los id de las publicidades eclipse_id y las ID de hashtag hashtag_id. Entonces quiero en cada lineas de eclipse_id de la DataFrame los hashtag_id associados.

Aqui esta la consulta cuando estoy leendola en jupyter :

    cur.execute("""
    -- nombre de fois que les personnes ont interragi avec les pubs, 
SELECT eclipse_hashtag.eclipse_id,eclipse_hashtag.hashtag_id FROM eclipse_hashtag
  GROUP BY eclipse_hashtag.eclipse_id, eclipse_hashtag.hashtag_id
    ORDER BY eclipse_hashtag.eclipse_id,eclipse_hashtag.hashtag_id DESC;
    """)
    n = cur.fetchall()
        listado_n = [{"count": elem[0], "eclipse_id": elem[1], "subscriber_id": elem[2]} for elem in n]  

Y la salida para un ejemplo verificable :

EclipseID HashtagID
343513    4210
343513    4135
343513    2410
351651    4135
351651    4247
351651    6518
524752    5138
524752    3312

La salida sería de eclipseid_df.head() la siguiente :

  EclipseID     HashtagID
0 351651      6518|4135|4247
1 343513      4135|2410|4210
2 524752        3312|5138
3  ...             ...

Lo hago para hacer un recomendador con factorización de matrices como Nick Becker, Data Scientist por Enigma, lo hace sobre GitHub.

Pensaba hacer df_n = pd.DataFrame(listado_n) pero no me da lo que espero.

2
  • la verdad es que el problema sería bastante más comprensible si utilizaras nombres de tablas y variables más fáciles de leer. Por otra parte, este parece un problema meramente de SQL (¿MySQL probablemente? iría bien añadir la etiqueta), por lo que no sé por qué aparece la etiqueta python.
    – fedorqui
    Commented el 9 jun. 2017 a las 10:14
  • ¿Estás usando pandas para leer la tabla SQL? Deberías ayudarnos un poco para que te podamos ayudar. Mete el código que estás usando, metainformación de la/s tabla/s,... Commented el 9 jun. 2017 a las 10:15

2 respuestas 2

1

Suponiendo que tienes un dataframe (llamado df) resultado de tu consulta como el que pones en tu ejemplo:

   EclipseID  HashtagID
0     343513       4210
1     343513       4135
2     343513       2410
3     351651       4135
4     351651       4247
5     351651       6518
6     524752       5138
7     524752       3312

Para agrupar todos los HashtagID según su EclipseID usa pandas.DataFrame.groupby. La salida esperada que muestras parece ser una cadena (string) con los HashtagId separados por |. Otra opción creo que más práctica si vas a trabajar con los datos sería usar una lista Python para agruparlos (o cualquier otro contenedor como un set, un array de Numpy o incluso otro DataFrame):

df = df.groupby('EclipseID')['HashtagID'].apply(list).reset_index()

Salida:

   EclipseID           HashtagID
0     343513  [4210, 4135, 2410]
1     351651  [4135, 4247, 6518]
2     524752        [5138, 3312]

Si realmente quieres una cadena, solamente crea una función que haga el trabajo:

def cadena(group):
    return '|'.join((str(value).strip() for value in group.values))

df = df.groupby('EclipseID')['HashtagID'].apply(cadena).reset_index()

O usando una función lambda (aunque no aporta mucho a lo anterior):

df = df.groupby('EclipseID')['HashtagID'].apply(lambda g: '|'.join((str(v).strip() for v in g.values))).reset_index()

Salida:

   EclipseID       HashtagID
0     343513  4210|4135|2410
1     351651  4135|4247|6518
2     524752       5138|3312

En ambos casos se usa apply que lo que hace básicamente es: por cada grupo llamar a una función, pasarle el grupo como argumento y usar su retorno para construir la columna.

0
1

Se me ocurre una forma un poco fea desde que, si los datos no son muy grandes, te puede valer:

import pandas as pd

df = #### Lee la query como consideres

El resultado en el df que obtienes es:

   EclipseID  HashtagID
0     343513       4210
1     343513       4135
2     343513       2410
3     351651       4135
4     351651       4247
5     351651       6518
6     524752       5138
7     524752       3312

Ahora, desde , puedes hacer:

grupos = df.groupby(df.EclipseID)
eclipseid_df = pd.DataFrame(columns=['EclipseID','HashtagID'])
for i, (name, gr) in enumerate(grupos):
    eclipseid_df.loc[i] = [
        name,
        '|'.join(map(str,gr.HashtagID.values))
    ]

Cada elemento de la columna HashtagID del dataframe eclipseid_df sería un string:

  EclipseID       HashtagID
0    343513  4210|4135|2410
1    351651  4135|4247|6518
2    524752       5138|3312

Si se me ocurre una forma un poco menos fea te digo pero deberías trabajar con groupby directamente y hacer lo que necesites sobre la columna HashtagID. Creo que esa forma sería más 'limpia'.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.