6

Tengo un dataframe donde hay un index y varias columnas, en las columnas hay filas vacias(mi idea no es eliminarlas, sino rellenarlas, ya que no quiero perder tantos datos) sé que mucha de la informacion de dicha columna (con filas vacias) esta en otra columna que se llama 'descripcion', pero esta columna 'descripcion' como dice el nombre, es una columna donde el usuario escribe muchisimo. Mi idea es hacer un scraping de las palabras dentro de cada una de las filas y colocarlas en la columna que esta vacia.

Me explico mejor con el siguiente ejemplo:

import pandas as pd
import numpy as np
Mundo = {
    'ciudades': ['San Jose','buenos aires','NaN'],
    'culinaria': ['pescado','NaN','tacos'],
    'precio': ['Nan','$60','$20'],
    'descripcion': ['en la ciudad de san jose comemos mucho carne y su precio es 40', 'en la ciudad de buenos aires comemos mucho pescado y su precio es 60','en la ciudad de mexico df comemos muchos tacos y su precio es 20']
}

df = pd.DataFrame(Mundo)
df
1
  • Por supuesto el verdadero problema aqui no es de pandas ni de python. Si tuvieras una forma de extraer el nombre de la ciudad, la comida y el precio de las cadenas dadas por el usuario, meterlas en el lugar correspondiente del dataframe sí sería muy sencillo. Pero el verdadero problema reside en sacar la información del texto del usuario. Si el texto siguiese siempre un patrón regular (como en tu ejemplo) podrías usar expresiones regulares. Pero me temo que las personas escriben lo que les apetece y la única forma que veo de "scrapear" la información sería con ayuda de una IA.
    – abulafia
    Commented el 17 ene. 2023 a las 8:57

3 respuestas 3

0

Para la parte de los NaN:

  • Si son str, entoces habria que usar .apply()
  • Pero si son None o np.NaN (valores que por lo general pandas suele asignar por default al leer archivos .csv o .xlsx) lo mejor es usar .fillna().

Por ejemplo:

#llenara todos los campos vacios del DataFrame con 0
df.fillna(0, inplace=True)

#llenara todos los campos vacios de la columna A con el str "VACIO"
df['A'].fillna("VACIO", inplace=True) 

En cuanto al scraping. Puedes usar la funcion .agg() (Esto despues de haber rellenados los NaN).

df = pd.DataFrame(
[['Pescado','B1'],['A2','B2'],['A3','Mexico']],
columns = ['A','B']
)

# regresa una Serie con las filas concatenadas
patron_bol = df.agg(lambda row: ','.join(row), axis=1)

#Pescado,B1
#A2,B2
#A3,Mexico


# regresa una Serie con un valor booleano para la palabra buscada
patron_bol = df.agg(lambda row: "Pescado" in ','.join(row), axis=1)

# True
# False
# False

La unica desventaja de este metodo es que iria de una palabra a la vez.

Espero que sirva de algo de ayuda.

0

Te sugiero que apliques el algoritmo TF-IDF en el campo descripción. Con el TF obtendrás la frecuencia de palabras repetidas en cada descripción. Con el IDF obtendrás un diccionario con valores grandes en las palabras "raras". Al multiplicar TF de cada descripción por el IDF de un sólo diccionario obtendrás con mayor valor a las palabras "adecuadas" en cada una de las descripciones, que es lo que buscas; de estas puedes tomar 2 o 3 palabras.

-1

tienes que usar .apply en multiple columnas. Cambie un poco tu dataframe y le puse np.NaN y el str 'NaN' (como en tu ejemplo) pues no sabia de donde estabas leyendo los valores y como panda los habia interpretado.

Dentro de la funcion "scrape_row" puedes llamar cualquier metodo q vaya calcular el valor q deseas basado en el valor q pases.

import pandas as pd
import numpy as np

def calcular_valor(fuente):
    #logica va aqui
    return "nuevo valor"

def is_nan(value):
    return type(value) == float and np.isnan(value)

# reemplaza el str que estoy asignando con el llamado a la  funcion que va a obtener el valor deseado de "descripcion". por ejemplo:
# row['precio'] = calcular_valor(row['descripcion')"    

def scrape_row(row):
    if is_nan(row['culinaria']) or row['culinaria'] == 'NaN':
        row['culinaria'] = "calcular nuevo valor culinaria." 
    if is_nan(row['ciudades']) or row['culinaria'] == 'NaN':
        row['ciudades'] = "calcular nueva ciudad"
    if is_nan(row['precio']) or row['precio'] == 'NaN':
        row['precio'] = "calcular nuevo precio"

    return row


if __name__ == '__main__':
    Mundo = {
        'ciudades': ['San Jose', 'buenos aires', np.NaN],
        'culinaria': ['pescado', 'NaN', 'tacos'],
        'precio': [np.NaN, '$60', '$20'],
        'descripcion': ['en la ciudad de san jose comemos mucho carne y su precio es 40',
                        'en la ciudad de buenos aires comemos mucho pescado y su precio es 60',
                        'en la ciudad de mexico df comemos muchos tacos y su precio es 20']
    }

    df = pd.DataFrame(Mundo)
    cols = ['ciudades','culinaria', 'precio']
    df[cols] = df[cols].apply(scrape_row, axis=1)

    df

Suerte, R6

3
  • esta buenisimooo eso , pero como harias un scraping para que lea todas las palabras de una fila y encuentre por ejemplo 40, o pescado, o mexico df. Nose si me explico
    – Emaa
    Commented el 29 ago. 2018 a las 17:19
  • basado en tu ejemplo lo mas sencillo que podrias hacer es "split" el texto en "descripcion" en un arreglo de palabras. newlist = [word for line in mylist for word in line.split()]. y de ahi tener 3 metodos. Uno q e vea si hay alguna que se encuentre en una predefinida de ciudades o comidas/culinaria y otro que identifique si es un precio. Hacer analysis de texto no es un negocio facil, pero hay servicios online q te pueden cobrar por hacerlo. ex. cloud.google.com/natural-language Commented el 29 ago. 2018 a las 18:04
  • Pero no calculas los valores pedidos!!!
    – Candid Moe
    Commented el 17 ene. 2023 a las 9:15

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.