2

Tengo el siguiente código en Pyspark:

%%time

lst_tablas = [tabla_pivote_0_15, tabla_pivote_15_30, tabla_pivote_30_60, tabla_pivote_60_90, tabla_pivote_90_120,
             tabla_pivote_120_150, tabla_pivote_150_180,
             tabla_pivote_180_210, tabla_pivote_210_240, tabla_pivote_240_270,
             tabla_pivote_270_300, tabla_pivote_300_330, tabla_pivote_330_360]

trans = ['COMPRAS_CREDITO', 'RETIROS_CREDITO','RETIROS_DEBITO','COMPRAS_MADRUGADA','COMPRAS_MANANA','COMPRAS_TARDE','COMPRAS_NOCHE','RETIROS_MADRUGADA','RETIROS_MANANA','RETIROS_TARDE','RETIROS_NOCHE','COMPRAS_ENTRE_SEMANA','RETIROS_ENTRE_SEMANA','MAX_DEBITO_DISPONIBLE','MAX_PORC_ENDEUDAMIENTO','PORCENTAJE_COMPRAS_ECOMMERCE','razon_comercios','razon_transacciones','razon_compras','razon_retiros','razon_ecomerce']
i = 1
for t in lst_tablas:
    for var in trans:
        nombre = var + '_m' + str(i)
        t = t.withColumnRenamed(var, nombre)
        
    i += 1
    #display(t.show())
tabla_pivote_30_60.show()

En el cual tengo en una lista las tablas con información de los 12 meses del año. Y el primer mes de 0 a 15 dias y de 15 a 30 dias.

Lo que intento hacer es que a cada una de esas tablas que tienen diferentes campos, únicamente a los campos que se encuentren en la lista trans les ponga un sufijo, por eso la parte del código de var + '_m' + str(i).

Al ver los resultados y hacer un show en la tabla tabla tabla_pivote_30_60 me doy cuenta que no se modificó el nombre de las variables que quería:

introducir la descripción de la imagen aquí

Sin embargo, si yo descomento la línea

display(t.show())

Para validar que paso con el for me doy cuenta que dentro del for si lo hace bien, pero terminando el for no cambia el nombre a las tablas, es decir como si solo fueran temporales:

introducir la descripción de la imagen aquí

Alguien podría decirme que está pasando y ayudarme a modificar las tablas de manera permanente. De antemano gracias

1 respuesta 1

4
+50

Tu fallo NO tiene que ver con pyspark, tiene que ver con el funcionamiento de Python

Para ello, primero te lo voy a explicar con Python puro, sin utilizar pyspark.

Explicación

En Python el operador = reserva un espacio de memoria para asignar una información. Pueden suceder dos cosas:

  1. Si la variable no existe, se reservará un espacio de memoria nuevo en tu ordenador y se asignará a la variable. Por tanto será completamente nueva y no guardará relación con nada anterior.

  2. Si la variable existe, pueden suceder dos cosas, que se utilice el espacio de memoria existente o que se destruya (por incompatibilidad) y se cree otro nuevo.

En tu caso, cuando iteras en el bucle, creas una variable nueva llamada t que luego sobrescribes, es decir, Python destruye la variable t y crea una variable t nueva, que no tiene nada que ver con los DataFrame de Pyspark, que está en tu lista lst_tablas. Vamos a demostrar esto:

lista_de_listas = [[1,2,3], [4,5,6]]

print("Posición en memoria primer elemento: ", hex(id(lista_de_listas[0])))
print("Posición en memoria segundo elemento: ",hex(id(lista_de_listas[1])))

Salida:

Posición en memoria primer elemento: 0x7f05be787cd0
Posición en memoria segundo elemento: 0x7f05ad300780

Perfecto, ahora vamos a reproducir la asignación que estás con haciendo con pyspark con esta lista:

for lista in lista_de_listas:
    print("Posición en memoria antes: ", hex(id(lista)))
    lista = [1,2]
    print("Posición en memoria después: ", hex(id(lista)))

Salida:

Posición en memoria antes: 0x7f05be787cd0
Posición en memoria después: 0x7f05ad2f4280
Posición en memoria antes: 0x7f05ad300780
Posición en memoria después: 0x7f05ad2f4280

Ha pasado exactamente lo mencionado, en este caso, al iterar con el for he ido a la posición de memoria de cada elemento de lista_de_listas y luego sobrescribo lista, esta variable se ha asignado a una posición de memoria nueva, es decir, no tiene nada que ver con los elementos que se encuentran dentro de lista_de_listas

Solución

Hay varias soluciones, te dejo un par siguiendo con el ejemplo anterior:

Usar enumerate

Consiste en indicarle al elemento de la lista que nos referimos para que no se cree una nueva variable, y se realice una asignación a un espacio de memoria existente.

for idx, lista in enumerate(lista_de_lista):
    lista_de_lista[idx] = [1,2]
    
print(lista_de_lista)

Salida: [[1, 2], [1, 2]]

enumerate nos devuelve un iterador con la posición del elemento y el elemento (en este orden). Podríamos hacer lo mismo con range() y len()

Tu caso sería:

# Notese que he eliminado la i, ya que con el enumerate no es necesario para el nombre de la variable
for idx, t in enumerate(lst_tablas):
    for var in trans:
        nombre = var + '_m' + str(idx+1)
        lst_tablas[idx] = t.withColumnRenamed(var, nombre)

Usar range

  • range: nos crea un rango de números hasta el indicado.
  • len: nos dice la longitud de la lista.
for idx in range(len(lista_de_lista)):
    lista_de_lista[idx] = [1,2]

print(lista_de_lista)

Salida: [[1, 2], [1, 2]]

Tu caso sería:

for idx in range(len(lst_tablas)):
    for var in trans:
        nombre = var + '_m' + str(idx+1)
        lst_tablas[idx] = t.withColumnRenamed(var, nombre)
1

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.