2

Soy nuevo programando y quizás esta pregunta es estúpida pero tengo un DataFrame con 23 columnas y 890 filas aproximadamente y quiero que en una de esas columnas que contiene caracteres como: "Capitan. Lorenzo", "Mr. Roberto", "Ms. Lorena" me filtre y me devuelva lo que va antes del punto, es decir, Capitan, Mr y Ms.

Esto es lo que he hecho hasta ahora, he estado buscando por internet y viendo videos y solo consigo que me devuelva valores booleanos si hay un punto, entonces como toda la columna contiene puntos, me devuelve todos los valores en True, así que no estoy filtrando la columna bien.

La columna de la que quiero que me extraiga los datos filtrados es 'Name'

import pandas as pd
import re
df = pd.read_csv('train.csv')
df.Name.str.contains(r"^([^.]*).*")

Esto me devuelve algo así:

0      True
1      True
2      True
3      True
4      True

y quiero que me devuelva algo así:

0      Capitan
1      Mr
2      Ms
3      Ms
4      Capitan

Si os queréis descargar el csv para hacer pruebas lo podéis hacer aquí: https://www.kaggle.com/c/titanic/data?select=train.csv

Muchísimas gracias de antemano.

1 respuesta 1

2

Lo primero que tienes que hacer es escribir una función que reciba como parámetro una cadena completa, como por ejemplo "Braund, Mr. Owen Harris" y, haciendo las operaciones que consideres oportunas, retorne sólo la parte que te interesa ("Mr" en este caso).

Una vez que tengas esa función escrita, basta decirle a pandas que la aplique a la columna que te interesa, usando .apply().

Escritura de la función

Aquí es donde se puede aplicar el mecanismo o heurístico que consideres más adecuado para tus datos. Por ejemplo, un heurístico sencillo puede ser el siguiente:

  1. Divido la cadena por el primer punto que aparezca. Así en el ejemplo anterior quedaría separada en dos trozos que serían: "Braund, Mr" por un lado y "Owen Harris" por el otro.
  2. Del primer trozo me quedo con la última palabra ("Mr")

Este heurístico parece funcionar con los casos que he podido ver en el dataframe, aunque no se puede descartar que hubiera casos conflictivos en los que pudiera aparecer un primer punto por ejemplo como parte del apellido, en cuyo caso el heurístico fallaría. En ese caso habría que examinar mejor el dataset para dar con otro heurístico, tal vez usando expresiones regulares o directamente buscando las partículas válidas ("Mr", "Miss", "Mrs", etc.)

Pero quedémonos con el heurístico simple que he planteado, aunque sólo sea como ejemplo. Se implementaría por tanto una función tal que así:

def extraer_tratamiento(name):
  if "." not in name:
    return ""
  # Separar por el primer punto
  izda, dcha = name.split(".", 1)
  # y retornar última palabra de la parte izquierda
  return izda.split()[-1]

Aplicarla a la columna

Esta es la parte fácil:

>>> df.Name.apply(extraer_tratamiento)
0        Mr
1       Mrs
2      Miss
3       Mrs
4        Mr
       ... 
886     Rev
887    Miss
888    Miss
889      Mr
890      Mr
Name: Name, Length: 891, dtype: object

Es más, como comprobación se puede aplicar unique() al resultado anterior para que nos muestre qué casos ha encontrado. Sale:

['Mr', 'Mrs', 'Miss', 'Master', 'Don', 'Rev', 'Dr', 'Mme', 'Ms',
 'Major', 'Lady', 'Sir', 'Mlle', 'Col', 'Capt', 'Countess', 'Jonkheer']

Que a priori me tiene buena pinta.

Bonus

Si por cualquier razón insistes en usar expresiones regulares, la siguiente función de "extracción" también daría el mismo resultado:

def extraer_tratamiento(name):
  m = re.search(r"\w*\.", name)
  if not m:
      return ""
  return m[0][:-1]

Aquí la expresión regular busca la primera palabra que aparezca terminada por punto. Si no encuentra ninguna, retorna la cadena vacía. Si la encuentra, retorna esa palabra menos el punto (por eso el [:-1])

Nota. He tomado medidas y la versión con expresiones regulares tarda aproximadamente el doble que la versión con los split(). En cualquier caso ambas tardan muy poco (milisegundos en procesar el dataframe completo).

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.