Tengo 3 dataframe en pyspark, y quiero obtener un nuevo dataframe con todas las combinaciones posibles de estos dataframe. Los estoy haciendo (no se si sea la mejor manera) pero cuando lo escalo a mi problema original, el cual son 5 dataframe pero con dimensiones más grandes que el ejemplo y mi compu ya no soporta.
Lo estoy haciendo de la siguiente forma:
df_temp_counter = spark.createDataFrame([[x] for x in range(0, 10)], ['counter'])
df_temp_letras = spark.createDataFrame([["A"], ["B"], ["C"], ["D"], ["E"], ["F"]], ['letras'])
df_temp_frutas = spark.createDataFrame([["manzana"], ["platano"], ["pera"], ["durazno"], ["melon"]], ['frutas'])
df_combinaciones = df_temp_counter.crossJoin(df_temp_frutas).crossJoin(df_temp_frutas)
df_combinaciones.show()
+-------+-------+-------+
|counter| frutas| frutas|
+-------+-------+-------+
| 0|manzana|manzana|
| 0|manzana|platano|
| 0|manzana| pera|
| 0|manzana|durazno|
| 0|manzana| melon|
| 0|platano|manzana|
| 0|platano|platano|
| 0|platano| pera|
| 0|platano|durazno|
| 0|platano| melon|
| 0| pera|manzana|
| 0| pera|platano|
| 0| pera| pera|
| 0| pera|durazno|
| 0| pera| melon|
| 0|durazno|manzana|
| 0|durazno|platano|
| 0|durazno| pera|
| 0|durazno|durazno|
| 0|durazno| melon|
+-------+-------+-------+
only showing top 20 rows
En r con la función expand.grid()
no tengo problemas, pero no se si exista algo parecido y optimizado en python/pyspark.
De antemano gracias! Saludos.