1

Y gracias de antemano.

Voy bastante perdido y es la primera vez que intento algo así. A ver si me podéis ayudar que estoy desesperado...

Tengo un df con varias columnas y, una de ellas (user_description), contiene una descripción de usuarios. En esas descripciones puede haber la profesión del usuario. Por ejemplo, periodista. Puede estar escrito de varias formas (periodista, Periodista, por ejemplo), y necesito tenerlas todas en cuenta.

Lo que intento es buscar en esa descripción las palabras "periodista|Periodista" y que, si hay coincidencia, en una nueva columna (llamada, por ejemplo, PROFESION) se agregue "periodista").

Con esto ya tengo problemas.

Lo que me gustaría es poder hacer esto pero agregando múltiples condiciones. Por ejemplo, si en la descripción del usuario aparece la palabra periodista, que en la columna PROFESION aparezca "periodista". Si aparece "político" (o Politico, politico, etc.), que en la columna PROFESION aparezca político.

Os enseño los pasos que he ido siguiendo:

categ1=df[df['user_description'].str.contains("Periodista|periodista", na=False)]
print("¿CUANTOS PERIODISTAS HAY?")
print(categ1.User_screen_name.nunique())

Respuesta:

¿CUANTOS PERIODISTAS HAY?
535

Hasta aquí genial.

Ahora intento crear una nueva columna.

formula=df[df["user_description"].str.contains("Periodista|periodista", na=False)]

def PROFESION(c):
    if c["user_description"]==formula:
        return "Periodista"
    else:
        return "Sin definir"
df["PROFESION"]=df.apply(metodos,axis=1)
df.head()

Respuesta: un error muy largo que tiene esto al final:

ValueError: The truth value of a DataFrame is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all().

Y esto solo intentando crear una columna en base a una única condición! (que contenga la palabra periodista o Periodista.

¿Cómo lo puedo hacer? Y, sobretodo, ¿cómo puedo hacerlo agregando otras condiciones en base a otras palabras que haya en la user_description?

Quisiera poder clasificarlos en base a tantas profesiones como vaya detectando...

Muchas gracias y perdón por el rollo.

PD: Hay cerca de 350.000 filas

Un saludo!

1
  • Debes tratar de no colocar esa logica de negocio en el manejo del dataframe. Debes estandarizar los campos en este dataframe antes de operarlo. Como te propone Jose Rodriguez es correcto dado que procura dejar todas las cadenas en minusculas antes de comenzar a hacer operaciones sobre este. De esta forma es mucho más escalable.
    – Vichoko
    el 31 oct. 2019 a las 15:59

2 respuestas 2

2

Prueba dos cosas:

  1. Para crear una columna nueva en un dataframe de pandas es tan sencillo como asumir que existe, por ejemplo df['PROFESION'] si no existe la columna se crea.

  2. Puesto que entiendo que las diferencias de las palabras no son gramaticales sino ortográficas, puedes probar a evaluar con el método .lower() o .upper() que convierte la cadena en todo minúsculas o todo mayúsculas, o el método .capitalize() que te convierte a mayúscula capital.

EDIT:

Según tu comentario lo que pides es un poco más complejo y tendrás que afinarlo tu mismo, pero se me ocurre que podrías:

  1. Crear una lista con las palabras clave que quieras encontrar
  2. Separar las palabras de la descripción en una lista con .split()
  3. Un for loop que busque una coincidencia de la lista de palabras de la descripción con la lista de palabras clave
  4. O usar un for loop contra la lista de palabras clave y el método .index() para cada palabra de la descripción. Cuando la encuentres añadirla a la columna.

Jugando con .lower(), .upper() y .capitalize() puedes ignorar las diferencias en capitalización. No es un problema simple porque tiene muchas trampas y depende mucho de las palabras que busques...

Otra opción que añade complejidad y dependencia a tu programa es usar SPACY que es una librería de procesamiento de lenguaje natural, pero ahí nos metemos en otro terreno. Sería igual de valido, pero tendrías que aprender a usarla y depende de las ganas que tengas.

2
  • Hola! Y gracias! El problema no es el tema mayús o minus, mas bien que no sé como hacer el script para que, en función de si aparece una palabra u otra en user_description (por ejemplo, político, periodista, etc.), se agregue una u otra en la columna "PROFESION". No sé si me estoy explicando... Pongamos estas dos descripciones de usuarios distintos (columna user_description): "Soy un político comprometido" "Soy periodista deportivo" Necesito que en el primer caso, en la columna "PROFESIÓN" aparezca el término "POLÍTICO" y, en el segundo" PERIODISTA". Muchas gracias!
    – Deshume
    el 31 oct. 2019 a las 13:10
  • Muchas gracias por la edición de la respuesta!!!
    – Deshume
    el 5 nov. 2019 a las 10:00
1

1. Cuando solo hay dos posibles valores para asignar a la nueva columna (en este caso profesión).

Cuando solo hay que asignar un valor u otro dependiendo de una condición se utiliza numpy.where. Aquí case = False se utiliza para no hacer distincion entre mayúsculas y minúsculas:

cond=df["user_description"].str.contains("Periodista", case=False)

#import numpy as np
df['PROFESION']=np.where(cond,'Periodista','Sin definir')

2. Cuando hay múltiples valores y condiciones (en este caso profesiones).

Si tienes múltiples condiciones puedes utlizar numpy.select.

A continuacion te muestro un ejemplo con este último método:

df=pd.DataFrame({'Descripcion de usuario':['actualmente trabajo como politico','soy periodista','soy tenista profesional']})
print(df)

              Descripcion de usuario
0  actualmente trabajo como politico
1                     soy periodista
2            soy tenista profesional

profesiones=['Politico','Tenista profesional','Periodista']
cond=[df['Descripcion de usuario'].str.contains(profesion,case=False) for profesion in profesiones]
df['Profesion']=np.select(cond,profesiones)
print(df)

              Descripcion de usuario            Profesion
0  actualmente trabajo como politico             Politico
1                     soy periodista           Periodista
2            soy tenista profesional  Tenista profesional

3 ¿Que pasa si usando numpy.select hay una profesión en la Descripción de usuario no contemplada en mi lista de profesiones?

Para esto podemos establecer un valor por defecto. A continuación le muestro el mismo ejemplo sin contemplar la profesión Tenista. Como puede ver si una fila de la columna Descripcion de Usuario es False para todas las condiciones entonces esta toma el valor por defecto escrito en el campo default:

profesiones=['Politico','Tenista profesional']
cond=[df['Descripcion de usuario'].str.contains(profesion,case=False) for profesion in profesiones]
df['Profesion']=np.select(cond,profesiones,default = 'Sin definir')
print(df)

              Descripcion de usuario            Profesion  
0  actualmente trabajo como politico             Politico  
1                     soy periodista          Sin definir  
2            soy tenista profesional  Tenista profesional
1
  • Buah, genial, muchísimas gracias! Todos los usuarios que no tenían nada en la user_description me aparecían con una profesión, pero lo he arreglado añadiendo un na=False. Gracias!!!
    – Deshume
    el 5 nov. 2019 a las 9:59

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.