0

¿Cómo puedo realizar el Join de una tabla llamada "TABLA_X" con "TABLA_Y" a través del campo col_A_id?

Teniendo en cuenta los siguientes puntos:

-Considerar rendimiento
-TABLA_X:30GB
-TABLA_Y:15MB
-Solución con dataframe y spark sql

No encuentro la documentación adecuada, tengo un ejemplo de dataframe, realizado en un curso pero no mide nada de rendimiento ni como hacer Joins

display(
    df
        .select(df["Country"],df["Description"],df["UnitPrice"]*(df["Quantity"]).alias("Total"))
        .groupBy("Country","Description")
        .sum()
        .filter(df["Country"]=="United Kingdom")
        .sort("sum(Total)",ascending=False)
        .limit(10)
)

¿Alguien sabe donde puedo encontrar la documentación adecuada?

Gracias

1 respuesta 1

3

He realizado varios join de tablas que pueden ser muy pesadas, mi recomendacion es que realices el join, una vez con el dataframe que resulta podras realizar los select de la columnas, groupBY, sort y demas, porque estara cargado en memoria y sera realmente muy rapido.

Por otro lado, para realizar joins, deberas conocer la teoria, te dejo un enlace donde explica bastante bien: http://kirillpavlov.com/blog/2016/04/23/beyond-traditional-join-with-apache-spark/

Para realizar un join de dataframe :

val daframeResult= DataframeTABLA_X
        .join(DataframeTABLA_Y, Seq("col_A_id"))

Si no especificas nada, tomara como default el "inner", ahora bien te he dejado la teoria para que puedas tener en cuenta , que en un join podras querer solo la parte izquierda, o derecha.

val daframeResult= DataframeTABLA_X
        .join(DataframeTABLA_Y, Seq("col_A_id", *joinType =* "left_anti")))//para quedarte con la parte izquierda solamente

Espero que sirva la informacion.-

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.