estoy aprendiendo a utilizar Spark y quiero poner a parte en una función la sección de acomoda campos para que desde esta clase solo mande a llamar dicha función alguien tiene idea de como ? de antemano gracias por su ayuda
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.hive.HiveContext
object tablaspark{
def main(args: Array[String]) {
--lee tabla
println("Prueba de Spark con Scala")
val spark = SparkSession.builder().appName("tablaspark").enableHiveSupport().getOrCreate
var query = "select cdelemen,dselemen as estatus_poliza from test_mrc.tablaorigen"
val ktctget = spark.sql(query)
-- acomoda campos
def get_schema(Dat: org.apache.spark.sql.DataFrame): String = {
var fieldStr ="";
Dat.schema.fields.foreach{f =>
fieldStr += f.name + " " + f.dataType.simpleString + ",";
}
return fieldStr
}
var fieldStr = get_schema(ktctget)
--escribe tabla
spark.sql("drop table if exists test_mrc.tabladestino")
spark.sql("CREATE TABLE IF NOT EXISTS test_mrc.tabladestino(" + fieldStr.substring(0,fieldStr.length()-1)+") STORED AS PARQUET")
ktctget.write.format("hive").mode("append").saveAsTable("test_mrc.tabladestino")
}
}