Tengo dos diccionarios(data y data1) con palabras, donde data esta en la base de datos y data1 son los datos nuevos(data+nuevos), estos son diccionarios de miles de registros cada uno, por ello se me ocurrió recurrir a pandas con DataFrame y quizá numpy...
una muestra se vería así:
import numpy as np
import pandas as pd
data = [
{"valor": "82388-izquierda_negada"},
{"valor": "82314-la_fiesta_del_futbol_en_nueva_jersey"},
{"valor": "83369-cesar_hinostroza_____se_han_violado_mis_derechos___"},
{"valor": "83427-el_famoso_var__video_"},
{"valor": "83426-vizcarra_____caiga_quien_caiga__cueste_lo_que_cueste___"},
]
print ("Dimension data--->", len(data))
data1 = [
{"valor1": "82388-izquierda_negada"},
{"valor1": "82314-la_fiesta_del_futbol_en_nueva_jersey"},
{"valor1": "83369-cesar_hinostroza_____se_han_violado_mis_derechos___"},
{"valor1": "83427-el_famoso_var__video_"},
{"valor1": "83426-vizcarra_____caiga_quien_caiga__cueste_lo_que_cueste___"},
{"valor1":"saint-seiya-soldiers-soul-shaka-virgo-se-luce-imagenes-noticia-392022-1230848"},
{"valor1":"lluvias-provocan-huaicos-en-via-abancay-andahuaylas-736079/"},
{"valor1":"jorge-sampaoli-confirmo-reemplazo-sergio-romero-rusia-2018-167251/"},
{"valor1":"saint-seiya-soldiers-soul-shaka-virgo-se-luce-imagenes-noticia-392022-1230853"},
{"valor1":"ciudad/pared-de-colegio-se-derrumba-y-aplasta-a-dos-ninos-y-mujer-embarazada-713125/"},
]
print ("Dimension data1 --->",len(data1))
df = pd.DataFrame(data=data, columns=['valor'])
print (df['valor'][1])
df1 = pd.DataFrame(data=data1, columns=['valor1'])
Como se puede apreciar en el ejemplo, en data tengo 5 registros actualmente y en data1 tengo 10 registros, significa que, 5 de ellos en data1 son nuevos y las palabras pueden estar en cualquier orden.
Lo que quiero es, determinar justamente esos nuevos valores en data1..
A mi forma de ver me parece que tendría que hacer busquedas por coincidencia exacta para determinar las palabras nuevas.. Algún método que pueda hacer los mas optimo posible esto con miles de datos que crece en cada momento..!, quizá con pandas, numpy o algún método de búsqueda... No tengo claro como hacerlo, gracias por su ayuda.