Quedan algunas lagunas en tu pregunta, como la estructura concreta del dataframe, si hay que ignorar los espacios que aparecen alrededor de algunas de las palabras, si hay que ignorar mayúsculas/minúsculas, si la pareja ('Health', 'Supply') es la misma que ('Supply', 'Health'), etc.
He hecho algunas suposiciones razonables: los espacios al inicio y al final de las cadenas se ignoran, la diferencia mayúsculas/minúsculas no es significativa, y el orden de las palabras en la tupla es irrelevante.
Con estas hipótesis el código que procesaría la lista que pones de ejemplo sería el siguiente. Hago uso de librerías estándar python para facilitar la tarea, tales como itertools.combinations()
para generar las tuplas de cada fila, o collections.defaultdict()
para tener un diccionario que se inicializa automáticamente con 0 la primera vez que se mete un elemento.
import itertools
import collections
lines_res = [['Energy', ' Environmental', ' Supply', ' Health '],
['Energy', ' Health', 'OR in health services', ' Supply '],
[' Inventory', ' Supply']]
pares = collections.defaultdict(int)
for fila in lines_res:
# Eliminar espacios al principio y final y pasar a minúsculas
fila = (palabra.strip().lower() for palabra in fila)
for caso in itertools.combinations(fila, 2):
# Reordenar alfabeticamente la tupla para el orden no importe
caso = tuple(sorted(caso))
# Incrementar ese caso (gracias a defaultdict empieza siendo 0)
pares[caso]+=1
El resultado es:
{('energy', 'environmental'): 1,
('energy', 'health'): 2,
('energy', 'or in health services'): 1,
('energy', 'supply'): 2,
('environmental', 'health'): 1,
('environmental', 'supply'): 1,
('health', 'or in health services'): 1,
('health', 'supply'): 2,
('inventory', 'supply'): 1,
('or in health services', 'supply'): 1}
Que supongo es lo que buscabas (aunque no es lo que sale ejecutando el código que tú pusiste, porque no ignorabas los espacios).
Pandas dataframes
Ahora, si los datos en lugar de estar en una lista están en un pandas dataframe, voy a suponer que en ese dataframe cada fila corresponde a uno de los elementos de tu lista. Esto crea algunos problemas, ya que en tu ejemplo no todas las filas son de la misma longitud, con lo que habrá None
en algunas de las celdas.
En definitiva, supongo que éste es el dataframe:
>>> df = pd.DataFrame(lines_res)
En ese caso puedes iterar por cada fila mediante df.iterrows()
. Esta función te devuelve una tupla por fila. El primer elemento es el índice de la fila (que podemos ignorar) y el segundo es un pandas.Series
con los contenidos de la fila, por los que puedes iterar normalmente (pero cuidado, hay que saltarse los None
).
El siguiente código procesaría este dataframe (es análogo al que usé antes para la lista, pero con las precauciones mencionadas):
pares = collections.defaultdict(int)
for _, fila in df.iterrows():
fila = (palabra.strip().lower() for palabra in fila if palabra is not None)
for caso in itertools.combinations(fila, 2):
caso = tuple(sorted(caso))
pares[caso]+=1
El código usa generadores para ir generando los elementos a procesar. Por ejemplo, la asignación a fila
no produce una lista (que consumiría memoria), sino un geneador lazy que sólo va produciendo valores a medida que un iterador se los vaya pidiendo. itertools.combinations()
también retorna un generador en lugar de una lista. Como consecuencia, no se está malgastando memoria almacenando listas intermedias, y este código podría procesar grandes volúmenes de información.
lines_res
. Saludoslines_res
no es sintaxis válida siquiera, si tratabas de crear una lista de listas con las filas de un DF debería tener la misma longitud todas ellas. Por otro lado hay cadenas con espacios al final o al principio y no se si quieres o no ignorarlos. ¿podrías aclara esto?.{('Energy', 'Environmental'): 1, ('Energy', 'Health'): 2, ('Energy', 'Supply'): 2, ('Environmental', 'Health'): 1, ('Environmental', 'Supply'): 1, ('Health', 'Supply'): 2, ('Energy', 'OR in health services'): 1, ('Health', 'OR in health services'): 1, ('OR in health services', 'Supply'): 1, ('Inventory', 'Supply'): 1}
?