1

Tengo un DataFrame que se crea a partir de un archivo txt. Necesito recorrer cada fila, encontrar pares de palabras repetidas y calcular la frecuencia de aparición.

Pensaba crear un diccionario que guarde los pares de palabras y con un contador ir calculando la frecuencias, pero no se como hacer el for para recorrer la matriz en el DataFrame. He evaluado esta opción pero me dice que len no se puede usar en DataFrame y que así no se pueden definir los indices del diccionario y del DataFrame. A continuación anexo un ejemplo corto de los datos (líneas de palabras) y la idea de código que tengo:

lines_res: ['Energy', ' Environmental', ' Health ', ' Supply']
           ['Energy', ' Health', 'OR in health services', ' Supply ']
           [' Inventory', ' Supply']

pares={}
for i in lines_res:
    for j in range(len(i)):
        for k in range(j+1,len(i)):
            if (i[j],i[k]) in pares.keys():
                pares[i[j],i[k]]+=1
            elif (i[k],i[j]) in pares.keys():
                pares[(i[k],i[j])]+=1
            else:
                pares[(i[j],i[k])]=1  
5
  • Bienvenido, te sugiero que veas Cómo preguntar y como construir un ejemplo mínimo verificable. Vas por buen camino en la idea, para ayudarte faltaría que agregues un ejemplo de lo que contiene lines_res. Saludos Commented el 1 mar. 2018 a las 0:36
  • Muchas gracias Patricio por la respuesta, ajuste lo que me dice: inclui un pequeño ejemplo de cómo es mi dataframe. Agradezco mucho si me puede ayudar.
    – Ulises
    Commented el 1 mar. 2018 a las 0:57
  • Hola Ulises, en el ejemplo que das lines_res no es sintaxis válida siquiera, si tratabas de crear una lista de listas con las filas de un DF debería tener la misma longitud todas ellas. Por otro lado hay cadenas con espacios al final o al principio y no se si quieres o no ignorarlos. ¿podrías aclara esto?.
    – FJSevilla
    Commented el 1 mar. 2018 a las 4:09
  • ¿Para tu ejemplo (sin tener en cuenta lo anterior e ignorando los espacios en los extremos) deberías obtener {('Energy', 'Environmental'): 1, ('Energy', 'Health'): 2, ('Energy', 'Supply'): 2, ('Environmental', 'Health'): 1, ('Environmental', 'Supply'): 1, ('Health', 'Supply'): 2, ('Energy', 'OR in health services'): 1, ('Health', 'OR in health services'): 1, ('OR in health services', 'Supply'): 1, ('Inventory', 'Supply'): 1}?
    – FJSevilla
    Commented el 1 mar. 2018 a las 4:09
  • Si señor espero obtener la respuesta que propone FJ Sevilla. Todas las filas no tienen la misma longitud. El archivo de texto son palabras claves de autores y no todos incluyen el mismo número de palabras. Cada fila representa la lista de un artículo en particular. En el ejemplo quise representar esto
    – Ulises
    Commented el 1 mar. 2018 a las 15:40

1 respuesta 1

0

Quedan algunas lagunas en tu pregunta, como la estructura concreta del dataframe, si hay que ignorar los espacios que aparecen alrededor de algunas de las palabras, si hay que ignorar mayúsculas/minúsculas, si la pareja ('Health', 'Supply') es la misma que ('Supply', 'Health'), etc.

He hecho algunas suposiciones razonables: los espacios al inicio y al final de las cadenas se ignoran, la diferencia mayúsculas/minúsculas no es significativa, y el orden de las palabras en la tupla es irrelevante.

Con estas hipótesis el código que procesaría la lista que pones de ejemplo sería el siguiente. Hago uso de librerías estándar python para facilitar la tarea, tales como itertools.combinations() para generar las tuplas de cada fila, o collections.defaultdict() para tener un diccionario que se inicializa automáticamente con 0 la primera vez que se mete un elemento.

import itertools
import collections
lines_res = [['Energy', ' Environmental', ' Supply', ' Health '],
           ['Energy', ' Health', 'OR in health services', ' Supply '],
           [' Inventory', ' Supply']]
pares = collections.defaultdict(int)
for fila in lines_res:
    # Eliminar espacios al principio y final y pasar a minúsculas
    fila = (palabra.strip().lower() for palabra in fila)
    for caso in itertools.combinations(fila, 2):
        # Reordenar alfabeticamente la tupla para el orden no importe
        caso = tuple(sorted(caso))
        # Incrementar ese caso (gracias a defaultdict empieza siendo 0)
        pares[caso]+=1

El resultado es:

{('energy', 'environmental'): 1,
 ('energy', 'health'): 2,
 ('energy', 'or in health services'): 1,
 ('energy', 'supply'): 2,
 ('environmental', 'health'): 1,
 ('environmental', 'supply'): 1,
 ('health', 'or in health services'): 1,
 ('health', 'supply'): 2,
 ('inventory', 'supply'): 1,
 ('or in health services', 'supply'): 1}

Que supongo es lo que buscabas (aunque no es lo que sale ejecutando el código que tú pusiste, porque no ignorabas los espacios).

Pandas dataframes

Ahora, si los datos en lugar de estar en una lista están en un pandas dataframe, voy a suponer que en ese dataframe cada fila corresponde a uno de los elementos de tu lista. Esto crea algunos problemas, ya que en tu ejemplo no todas las filas son de la misma longitud, con lo que habrá None en algunas de las celdas.

En definitiva, supongo que éste es el dataframe:

>>> df = pd.DataFrame(lines_res)

df

En ese caso puedes iterar por cada fila mediante df.iterrows(). Esta función te devuelve una tupla por fila. El primer elemento es el índice de la fila (que podemos ignorar) y el segundo es un pandas.Series con los contenidos de la fila, por los que puedes iterar normalmente (pero cuidado, hay que saltarse los None).

El siguiente código procesaría este dataframe (es análogo al que usé antes para la lista, pero con las precauciones mencionadas):

pares = collections.defaultdict(int)
for _, fila in df.iterrows():
    fila = (palabra.strip().lower() for palabra in fila if palabra is not None)
    for caso in itertools.combinations(fila, 2):
        caso = tuple(sorted(caso))
        pares[caso]+=1

El código usa generadores para ir generando los elementos a procesar. Por ejemplo, la asignación a fila no produce una lista (que consumiría memoria), sino un geneador lazy que sólo va produciendo valores a medida que un iterador se los vaya pidiendo. itertools.combinations() también retorna un generador en lugar de una lista. Como consecuencia, no se está malgastando memoria almacenando listas intermedias, y este código podría procesar grandes volúmenes de información.

1
  • Muchas gracias, la opción 2 es lo que necesito!!!
    – Ulises
    Commented el 1 mar. 2018 a las 15:46

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.