2

Estoy trabajando con la libreria polars de Python, estoy explorando un poco con ella y poniendola a prueba en diferentes situaciones que manejo a diario con pandas, me encontre con una situacion en donde tengo una columna con numeros y texto que tiene la siguiente estructura

introducir la descripción de la imagen aquí

Es un csv separado por ; pero la penultima columna tiene algunos registros en la cadena que contienen la palabra extra, esto me impide castear la columna a tipo numerico, mi objetivo para no perder informacion es crear dos columnas derivadas de la columna que causa el inconveniente,en una tener la palabra extra si existe y en otra unicamente el numero, he intentado con el siguiete codigo :


import polars as pl 

loteria = loteria = pl.read_csv('ventas-por-loteria.csv',infer_schema_length=100000,try_parse_dates=True,separator=";")

loteria = loteria.with_columns(
    pl.col("SORTEO").apply(lambda x: x.split(" ")[0]).alias('EXTRA'), 
    pl.col("SORTEO").apply(lambda x: x.split(" ")[1]).alias('NUMERO') 
    )

el metodo split devuelve una lista pero esperaba que en caso de que no tuviera la palabra extra, me devolviera un None como lo hace pandas pero el solo crea una lista con un unico elemento y al acceder a [1] ese indice no existe. Me podrian ayudar a manejar esta excepcion porfavor, gracias por su ayuda

edit: el csv esta disponible en datos abiertos de bogota https://datosabiertos.bogota.gov.co/dataset/5de8c1ef-e8af-469e-bfc1-1f3097b32155?_external=True

1 respuesta 1

1

El comportamiento de split no es extraño, de hecho concuerda con como actúa str.split y pandas.Series.str.split:

>>> datos = ["2702", "Extra 003"]

>>> [dato.split(" ") for dato in datos]
[['2702'], ['Extra', '003']]

>>> import pandas as pd
>>> s = pd.Series(datos)
>>> s.str.split(" ")
0          [2702]
1    [Extra, 003]
dtype: object

>>> import polars as pl
>>> s = pl.Series(datos)
>>> s.str.split(" ") 
shape: (2,)
Series: '' [list[str]]
[
    ["2702"]
    ["Extra", "003"]
]

Tal como quieres separar la columna, en vez de usar split creo que una expresión regular y polars.Expr.str.extract_groups es mejor en este caso:

import polars as pl


loteria = pl.read_csv(
    "https://datosabiertos.bogota.gov.co/dataset/5de8c1ef-e8af-469e-bfc1-1f3097b32155/resource/31558919-938c-4160-afcc-7d2fc8bf95c9/download/ventas-por-loteria.csv",
    infer_schema_length=100000,
    try_parse_dates=True,
    separator=";"
    )


REGEX = r'(?<EXTRA>Extra)?\s?(?<NUMERO>\d+)'

loteria = loteria.with_columns(
    loteria.select(pl.col('SORTEO').str.extract_groups(REGEX))
    .select(
        pl.col('SORTEO').struct["EXTRA"],
        pl.col('SORTEO').struct["NUMERO"]
        ))

print(loteria.head(20))
┌──────┬───────┬────────────┬───────────┬─────────────────┬───────┬────────┐
│ AÑO  ┆ MES   ┆ FECHA      ┆ SORTEO    ┆ VENTA BRUTA     ┆ EXTRA ┆ NUMERO │
│ ---  ┆ ---   ┆ ---        ┆ ---       ┆ ---             ┆ ---   ┆ ---    │
│ i64  ┆ str   ┆ date       ┆ str       ┆ str             ┆ str   ┆ str    │
╞══════╪═══════╪════════════╪═══════════╪═════════════════╪═══════╪════════╡
│ 2021 ┆ enero ┆ 2021-01-07 ┆ 2570      ┆ $ 946.135.000   ┆ null  ┆ 2570   │
│ 2021 ┆ enero ┆ 2021-01-14 ┆ 2571      ┆ $ 934.545.000   ┆ null  ┆ 2571   │
│ 2021 ┆ enero ┆ 2021-01-21 ┆ 2572      ┆ $ 987.100.000   ┆ null  ┆ 2572   │
│ 2021 ┆ enero ┆ 2021-01-28 ┆ 2573      ┆ $ 1.079.700.000 ┆ null  ┆ 2573   │
│ …    ┆ …     ┆ …          ┆ …         ┆ …               ┆ …     ┆ …      │
│ 2021 ┆ mayo  ┆ 2021-05-06 ┆ 2586      ┆ $ 873.130.000   ┆ null  ┆ 2586   │
│ 2021 ┆ mayo  ┆ 2021-05-13 ┆ 2587      ┆ $ 920.105.000   ┆ null  ┆ 2587   │
│ 2021 ┆ mayo  ┆ 2021-05-15 ┆ Extra 003 ┆ $ 4.106.520.000 ┆ Extra ┆ 003    │
│ 2021 ┆ mayo  ┆ 2021-05-20 ┆ 2588      ┆ $ 971.190.000   ┆ null  ┆ 2588   │
└──────┴───────┴────────────┴───────────┴─────────────────┴───────┴────────┘

La expresión regular no tiene mucha complicación:

(?<EXTRA>Extra)?\s?(?<NUMERO>\d+)
|______________||_||____________|
        |        |        |
        |        |        2º grupo de captura con nombre NUMERO (Un dígito o mas)
        |        Cualquier espacio en blanco
        1º grupo de captura opcional (?) con nombre EXTRA (literal "Extra")

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.