Skip to main content
Corrección en gramatica.
Origen Enlace

Tengo 3 dataframe en pyspark, y quiero obtener un nuevo dataframe con todas las combinaciones posibles de estos dataframe. Los estoy haciendo (no se si sea la mejor manera) pero cuando lo escalo a mi problema original, el cual son 5 dataframe pero con dimensiones más grandes que el ejemplo y mi compu ya no soporta.

Lo estoy haciendo de la siguiente forma:

df_temp_counter = spark.createDataFrame([[x] for x in range(0, 10)], ['counter'])
df_temp_letras = spark.createDataFrame([["A"], ["B"], ["C"], ["D"], ["E"], ["F"]], ['letras'])
df_temp_frutas = spark.createDataFrame([["manzana"], ["platano"], ["pera"], ["durazno"], ["melon"]], ['frutas'])

df_combinaciones = df_temp_counter.crossJoin(df_temp_frutas).crossJoin(df_temp_frutas)
df_combinaciones.show()

+-------+-------+-------+
|counter| frutas| frutas|
+-------+-------+-------+
|      0|manzana|manzana|
|      0|manzana|platano|
|      0|manzana|   pera|
|      0|manzana|durazno|
|      0|manzana|  melon|
|      0|platano|manzana|
|      0|platano|platano|
|      0|platano|   pera|
|      0|platano|durazno|
|      0|platano|  melon|
|      0|   pera|manzana|
|      0|   pera|platano|
|      0|   pera|   pera|
|      0|   pera|durazno|
|      0|   pera|  melon|
|      0|durazno|manzana|
|      0|durazno|platano|
|      0|durazno|   pera|
|      0|durazno|durazno|
|      0|durazno|  melon|
+-------+-------+-------+
only showing top 20 rows

En r con la función expand.grid()no tengo problemas, pero no se si exista algo parecido y optimizado en python/pyspark.

De antemano gracias! Saludos.

Tengo 3 dataframe en pyspark, y quiero obtener un nuevo dataframe con todas las combinaciones posibles de estos dataframe. Los estoy haciendo (no se si sea la mejor manera) pero cuando lo escalo a mi problema original, el cual son 5 dataframe pero con dimensiones más grandes que el ejemplo y mi compu ya no soporta.

Lo estoy haciendo de la siguiente forma:

df_temp_counter = spark.createDataFrame([[x] for x in range(0, 10)], ['counter'])
df_temp_letras = spark.createDataFrame([["A"], ["B"], ["C"], ["D"], ["E"], ["F"]], ['letras'])
df_temp_frutas = spark.createDataFrame([["manzana"], ["platano"], ["pera"], ["durazno"], ["melon"]], ['frutas'])

df_combinaciones = df_temp_counter.crossJoin(df_temp_frutas).crossJoin(df_temp_frutas)
df_combinaciones.show()

+-------+-------+-------+
|counter| frutas| frutas|
+-------+-------+-------+
|      0|manzana|manzana|
|      0|manzana|platano|
|      0|manzana|   pera|
|      0|manzana|durazno|
|      0|manzana|  melon|
|      0|platano|manzana|
|      0|platano|platano|
|      0|platano|   pera|
|      0|platano|durazno|
|      0|platano|  melon|
|      0|   pera|manzana|
|      0|   pera|platano|
|      0|   pera|   pera|
|      0|   pera|durazno|
|      0|   pera|  melon|
|      0|durazno|manzana|
|      0|durazno|platano|
|      0|durazno|   pera|
|      0|durazno|durazno|
|      0|durazno|  melon|
+-------+-------+-------+
only showing top 20 rows

En r con la función expand.grid()no tengo problemas, pero no se si exista algo parecido y optimizado en python/pyspark.

Tengo 3 dataframe en pyspark, y quiero obtener un nuevo dataframe con todas las combinaciones posibles de estos dataframe. Los estoy haciendo (no se si sea la mejor manera) pero cuando lo escalo a mi problema original, el cual son 5 dataframe pero con dimensiones más grandes que el ejemplo y mi compu ya no soporta.

Lo estoy haciendo de la siguiente forma:

df_temp_counter = spark.createDataFrame([[x] for x in range(0, 10)], ['counter'])
df_temp_letras = spark.createDataFrame([["A"], ["B"], ["C"], ["D"], ["E"], ["F"]], ['letras'])
df_temp_frutas = spark.createDataFrame([["manzana"], ["platano"], ["pera"], ["durazno"], ["melon"]], ['frutas'])

df_combinaciones = df_temp_counter.crossJoin(df_temp_frutas).crossJoin(df_temp_frutas)
df_combinaciones.show()

+-------+-------+-------+
|counter| frutas| frutas|
+-------+-------+-------+
|      0|manzana|manzana|
|      0|manzana|platano|
|      0|manzana|   pera|
|      0|manzana|durazno|
|      0|manzana|  melon|
|      0|platano|manzana|
|      0|platano|platano|
|      0|platano|   pera|
|      0|platano|durazno|
|      0|platano|  melon|
|      0|   pera|manzana|
|      0|   pera|platano|
|      0|   pera|   pera|
|      0|   pera|durazno|
|      0|   pera|  melon|
|      0|durazno|manzana|
|      0|durazno|platano|
|      0|durazno|   pera|
|      0|durazno|durazno|
|      0|durazno|  melon|
+-------+-------+-------+
only showing top 20 rows

En r con la función expand.grid()no tengo problemas, pero no se si exista algo parecido y optimizado en python/pyspark.

De antemano gracias! Saludos.

Origen Enlace

¿Cómo crear todas las combinaciones posibles de múltiples datraframe en Pyspark?

Tengo 3 dataframe en pyspark, y quiero obtener un nuevo dataframe con todas las combinaciones posibles de estos dataframe. Los estoy haciendo (no se si sea la mejor manera) pero cuando lo escalo a mi problema original, el cual son 5 dataframe pero con dimensiones más grandes que el ejemplo y mi compu ya no soporta.

Lo estoy haciendo de la siguiente forma:

df_temp_counter = spark.createDataFrame([[x] for x in range(0, 10)], ['counter'])
df_temp_letras = spark.createDataFrame([["A"], ["B"], ["C"], ["D"], ["E"], ["F"]], ['letras'])
df_temp_frutas = spark.createDataFrame([["manzana"], ["platano"], ["pera"], ["durazno"], ["melon"]], ['frutas'])

df_combinaciones = df_temp_counter.crossJoin(df_temp_frutas).crossJoin(df_temp_frutas)
df_combinaciones.show()

+-------+-------+-------+
|counter| frutas| frutas|
+-------+-------+-------+
|      0|manzana|manzana|
|      0|manzana|platano|
|      0|manzana|   pera|
|      0|manzana|durazno|
|      0|manzana|  melon|
|      0|platano|manzana|
|      0|platano|platano|
|      0|platano|   pera|
|      0|platano|durazno|
|      0|platano|  melon|
|      0|   pera|manzana|
|      0|   pera|platano|
|      0|   pera|   pera|
|      0|   pera|durazno|
|      0|   pera|  melon|
|      0|durazno|manzana|
|      0|durazno|platano|
|      0|durazno|   pera|
|      0|durazno|durazno|
|      0|durazno|  melon|
+-------+-------+-------+
only showing top 20 rows

En r con la función expand.grid()no tengo problemas, pero no se si exista algo parecido y optimizado en python/pyspark.