1

Necesito solucionar un error que aparece al reemplazar valores celdas por celdas dentro de un ciclo en pandas:

Usando la siguiente información:

Info reducida para el ejemplo

import pandas as pd
data = pd.read_csv('iEC7R76C.txt', sep=",")
data.head(2)

introducir la descripción de la imagen aquí

Quiero completar el año en base al titulo y lo obtengo de esta forma:

import re
cadena = data.title[0]
cadena
# 'Nicosia 2013 VulkÃ\xa0 Bianco  (Etna)'
cadena = re.sub("\D", "", cadena)
cadena
# 2013

Ahora si al anio en la posicion 0 lo igualo a esa cadena lo cambia pero me sale esta alerta que no se que significa y si bien ya google bastante no lo entiendo:

data.anio[0] = cadena
data.head(2)

introducir la descripción de la imagen aquí

Con algo mas o menos así puedo recorrer todos los datos e ir completandolos pero el error sigue saliendo:

for i in range(0, len(data)):
    cadena = data.title[i]
    cadena = re.sub("\D", "", cadena)
    if cadena != '':
        if 1900 <= int(cadena) <= 2020:
            data['anio'][i] = cadena

Puse esa condición del vació porque a veces el titulo no tiene el año y el de si ese año esta entre 1900 y 2020 porque hay títulos que tienen por ejemplo "Nombre del vino 2001 tanda 2" y al obtener los números dentro de ese string me devuelve 20012

Entre al enlace que me muestra el error enlace pero no entiendo.

introducir la descripción de la imagen aquí

1
  • Buena pregunta. Bien documentada y con datos de ejemplo para poder replicar el problema. +1
    – abulafia
    Commented el 2 abr. 2019 a las 7:43

1 respuesta 1

3

 Primero ¿Qué significa el error?

Es una advertencia de que cuando haces algo del estilo:

 dataframe[columna][indice]="otra cosa"

es posible que el valor no resulte asignado. Ello se debe a que la selección dataframe[columna] a veces retorna una referencia a la verdadera columna de tu dataframe, en cuyo caso el posterior acceso a un [indice] sí modificará la columna, pero en otras circunstancias es posible que dataframe[columna] retorne una copia de tu columna, en cuyo caso la posterior asignación modificaría esa copia, pero no el dataframe original.

Parece ser que Pandas a veces retorna una copia, aunque no tengo claras las circunstancias. Supongo que dependerá de qué tipo de expresión pongas para seleccionar la columna. En todo caso, por si acaso, te advierte de que no hagas eso.

 ¿Qué hacer entonces?

La forma correcta de referenciar una celda para cambiarle el valor sería:

dataframe.loc[indice, columna] = "otra cosa"

Esta forma de acceder a la celda siempre modificará el dataframe original, y por tanto no te generará la advertencia.

En tu código se traduciría en:

for i in range(0, len(data)):
    cadena = data.title[i]
    cadena = re.sub("\D", "", cadena)
    if cadena != '':
        if 1900 <= int(cadena) <= 2020:
            data.loc[i,'anio'] = cadena

Una forma mejor

Siempre que sea posible, deben evitarse los bucles a la hora de hacer operaciones pandas, y cambiarlos por operaciones vectoriales que en una sola línea actúen sobre el dataframe completo (naturalmente internamente pandas hará bucles para ello, pero serán mucho más eficientes al estar hechos en C que los que puedas hacer tú en Python).

En este caso todo tu anterior bucle puede reducirse a una línea:

data["anio"] = data.title.str.extract(r"(\d{4})", expand=False)

El operador .str sobre una columna devuelve un vector de objetos que son los contenidos de la columna, pero que tienen métodos vectoriales como .extract() (y tienes muchos más, como .startswith(), .strip(), etc) que trabajan con todos ellos "a la vez" por así decir.

En este caso el método extract() espera una expresión regular con al menos un grupo de captura que indique qué parte del texto quieres extraer. En este caso le he pedido un grupo de 4 dígitos. Te evitas así el problema de que el resultado incluyera dígitos extra que no eran parte del año.

Actualización

El usuario indica en un comentario que algunas filas contienen otros números de cuatro cifras como 1840, además del año buscado. Mi solución con .extract() extrae sólo el primer match, por lo que si hay dos se quedará con el primero. El usuario plantea si sería posible verificar si el año extraido está entre 1900 y 2019 y de no ser así dejar el resultado vacío.

Tengo una solución mejor. Se puede refinar la expresión regular para que en lugar de decir "cualquier secuencia de cuatro dígitos" diga "los dígitos 19 seguidos de otros dos dígitos más, o bien los dígitos 20 seguidos de un 1 ó un 0, y después otro dígito más".

La expresión regular que dice eso sería:

(19\d\d|20[01]\d)

Observa el uso de | para separar las dos opciones deseadas. La primera es 19\d\d que encajará con cualquier año del pasado siglo, y la segunda es 20[01]\d que encajará con un año cuyas dos primeras cifras sean "20", la siguiente sea un 1 o un 0, y la última cualquier dígito, es decir, los años entre 2000 y 2019.

Así que ahora pondrías:

data["anio"] = data.title.str.extract(r"(19\d\d|20[01]\d)", expand=False)

Gracias a esto, en las celdas en que tenías dos posibles grupos de cuatro dígitos, como "18401 Cellars 2013 Proprietary Red (Walla Walla Valley (OR))" sólo uno de los grupos encajará con la expresión regular, y ese será el retornado.

Fíjate que aún puede aparecer un caso como: "19235 Cellars 2013 Proprietary Red (Walla Walla Valley (OR))" en cuyo caso habría un encaje con 1923 que sería erróneo. Aún puedes ser más preciso con la expresión regular y forzar a que el grupo de dígitos que busca sea una "palabra completa", o sea, que haya un "borde de palabra" a ambos lados de la cifra buscada. Así "19235" no encajaría porque tras el 3 no hay un borde de palabra. En una expresión regular el carácter \b significa precisamente eso (word boundary), por lo que la siguiente expresión regular sería aún más segura para evitar casos como ese:

data["anio"] = data.title.str.extract(r"\b(19\d\d|20[01]\d)\b", expand=False)
5
  • Uff una maravilla. Ahí lo probe y funciona perfecto, muchas gracias por la explicación
    – Juan
    Commented el 2 abr. 2019 a las 18:48
  • Solo me queda una duda como puedo poner la condicion de que esos 4 digitos que trae sean entre 1900 y 2019 si no que quede vacio en esa funcion? En el archivo original son 135.000 registros y hay unos 40 que tienen mas de un digito por ejemplo "18401 Cellars 2013 Proprietary Red (Walla Walla Valley (OR))" con esa funcion m devuelve 1840 pero el año es 2013, entonces quiero ponerle vacio en vez de 1840 y dsp ver como lo soluciono, o sea para que quede mejor, si encuentra 4 digitos que lo ponga en anio, si encuentra mas que deje anio vacio.
    – Juan
    Commented el 2 abr. 2019 a las 19:15
  • @Juan He actualizado la respuesta para incluir esta nueva consulta y una posible solución, mejor que dejar en blanco esos casos.
    – abulafia
    Commented el 2 abr. 2019 a las 19:59
  • Perfecto ahora el error se reduce a solo 2 vinos uno q tiene como año real 1847 y uno que tiene en el nombre dos valores que entran dentro de la expresion "1910 Gérard Bertrand 1945 Legend Vintage Red (Rivesaltes)" pero ya soluciono todo con esto, muchisimas gracias
    – Juan
    Commented el 2 abr. 2019 a las 20:12
  • Bueno, para el primero podrías cambiar la expresión regular para que admita también vinos del siglo 1800. El segundo no hay expresión regular que lo arregle, ni yo mismo sabría cuál es el año bueno :-)
    – abulafia
    Commented el 2 abr. 2019 a las 20:25

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.