0

Tengo dos dataframe y me gustaria obtener solo los rows por los cuales el nombre no esta en la otra:

df_sota es el dataframe de los articulos que he leido ahora mismo:

    Unnamed: 0  Nom Nom 1er auteur  lien    année   Description Post-Hoc/Self-Exp & Local/Global    Technique d'explicabilité   Git/Code    OK/KO   Equipe
0   1   A Survey of the State of Explainable AI for Na...   Danilevsky  https://arxiv.org/pdf/2010.00711.pdf    2020    Etat de l'art des méthodologies d'explicabilit...   NaN NaN NaN OK  Caroline
1   2   QUINT: Interpretable Question Answering over K...   Abdalghani Abujabal https://aclanthology.org/D17-2011/  2017    NaN NaN NaN NaN NaN Caroline
2   3   EXBERT: A Visual Analysis Tool to Explore\nLea...   Ben Hoover  NaN NaN NaN NaN NaN NaN NaN Caroline

Y me gustaria anadir los articulos de Google Scholar que no he leido, entonces por lo cual los Nom o Lien sean differentes:

df_google:

    Nom                                                 Nom 1er auteur  lien    année
1   Teach me to explain: A review of datasets for ...   S Wiegreffe  https://arxiv.org/abs/2102.12060   2102.0
2   A Survey of the State of Explainable AI for Na...   Danilevsky  https://arxiv.org/pdf/2010.00711.pdf    2020.0
3   Explainable artificial intelligence applicatio...   SM Mathews  https://link.springer.com/chapter/10.1007/978-...   2019.0
4   Explainaboard: An explainable leaderboard for nlp   P Liu   https://arxiv.org/abs/2104.06387    2021.0

Por ejemplo me gustaria que no tenga en cuenta A Survey of the State of Explainable AI for .... Entonces intenté obtener los nombres en df_google que no estan en df_sota con:

new_papers = list(set([x for x in final.Nom.values for y in df_sota.Nom.values if x.lower() != y.lower()]))
new_papers

Pero me devuelve el mismo codigo:

['Helping results assessment by adding explainable elements to the deep relevance matching model',
 ...
 'A survey of the state of explainable AI for natural language processing',

Así que el papel sigue ahí y es molesto. No puedo hacer df_google.loc[df_google['Nom'].isin(new_papers)] hasta que no

Aqui esta el Google colab

1 respuesta 1

0

Deberías poder filtrar directamente con una máscara:

  • En df_sota.Nom tienes los papers que ya has leído.
  • Con df_google.Nom.isin(df_sota.Nom) creas una serie True/False con los papers que existen en ambos dataframes
  • Utilizas esa serie como máscara de selección en el dataframe df_google negándola con ~
df_google[~df_google.Nom.isin(df_sota.Nom)]

Puedes hacer lo mismo utilizando las URLs de Lien:

df_google[~df_google.Lien.isin(df_sota.Lien)]

No he podido validarlo en el collab porque el dataframe de los papers leídos lo estás construyendo desde un xlsx externo

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.