0

estoy aprendiendo a utilizar Spark y quiero poner a parte en una función la sección de acomoda campos para que desde esta clase solo mande a llamar dicha función alguien tiene idea de como ? de antemano gracias por su ayuda

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.hive.HiveContext


object tablaspark{
  def main(args: Array[String]) {

--lee tabla
 println("Prueba de Spark con Scala")
  val spark = SparkSession.builder().appName("tablaspark").enableHiveSupport().getOrCreate
  var query = "select cdelemen,dselemen as estatus_poliza from test_mrc.tablaorigen"

  val ktctget = spark.sql(query)

-- acomoda campos
          def get_schema(Dat: org.apache.spark.sql.DataFrame): String = {
            var fieldStr ="";
            Dat.schema.fields.foreach{f => 
                fieldStr += f.name + " " + f.dataType.simpleString + ",";
            }    
            return fieldStr
        }

    var fieldStr = get_schema(ktctget)

--escribe tabla 
    spark.sql("drop table if exists test_mrc.tabladestino")
    spark.sql("CREATE TABLE IF NOT EXISTS test_mrc.tabladestino(" + fieldStr.substring(0,fieldStr.length()-1)+") STORED AS PARQUET")
    ktctget.write.format("hive").mode("append").saveAsTable("test_mrc.tabladestino")
  }
}
4
  • No entiendo bien qué es lo que pretendes ni cómo quieres limitar la visibilidad de la función. Si el código fuente va a ser visible para todos, ¿cómo impedir que alguien lo copie y lo ejecute? Commented el 13 nov. 2019 a las 20:21
  • lo siento creo que no me explique bien. la dinámica es que tengo 1 tabla de la cual generare 21 catalgos con la misma estructura pero con filtros diferentes, y para no estar escribiendo 21 veces la sección de "acomoda campos" mas de una vez pensé en crear una función en otro scala la cual pueda llamar de mi clase principal y así evitar unas lineas de código
    – Marco Ruiz
    Commented el 13 nov. 2019 a las 22:25
  • Si entiendo bien, necesitas separar código en otro fichero, lo que se conoce como crear paquetes. En Java no se pueden meter funciones sueltas en un paquete, siempre se deben definir como un método asociado a una clase (inlcuso las expresiones lambda lo son). En scala se resuelve el problema con los llamados objetos package. Échale un vistazo a la documentación: <docs.scala-lang.org/tour/package-objects.html> Commented el 14 nov. 2019 a las 1:16
  • va que que va. te lo agradezco
    – Marco Ruiz
    Commented el 14 nov. 2019 a las 15:11

1 respuesta 1

0

Lo que tenes que hacer es crear un nuevo objeto y luego llamarlo utilizando el su nombre y el nombre del método al interior del mismo.

Ejemplo. Creo el Objeto GetSchema:

object GetSchema {
  // acomoda campos
  def get_schema(Dat: org.apache.spark.sql.DataFrame): String = {
    var fieldStr ="";
    Dat.schema.fields.foreach{f =>
      fieldStr += f.name + " " + f.dataType.simpleString + ",";
    }
    return fieldStr
  }
}

Luego los en el main para poder ver el resultado en los dos DataFrames:

object tablaspark{

  def main(args: Array[String]) {
    val df1 = Seq("12 https://jhafi.com [email protected]",
      "12 https://jhafi.com [email protected]",
      "12 https://jhafi.com [email protected]",
      "12 https://jhafi.com [email protected]").toDF("mycol")
    var fieldStr_df1 = GetSchema.get_schema(df1)
    println(fieldStr_df1)

    val df2 = Seq((0, "2016-07-02 12:01:40"),
      (1, "2016-07-02 12:21:23"),
      (1, "2016-07-02 13:22:56"),
      (1, "2016-07-02 13:27:07"),
      (0, "2016-07-02 13:30:12"),
      (0, "2016-07-02 13:40:34"),
      (1, "2016-07-02 13:57:07"),
      (1, "2016-07-02 14:08:07")).
      toDF("signal", "timestamp")
    var fieldStr_df2 = GetSchema.get_schema(df2)
    println(fieldStr_df2)
  }
}

Si lo creas en otro Paquete lo vas a tener que importar.

1
  • gracias, lo intentare xD
    – Marco Ruiz
    Commented el 14 nov. 2019 a las 15:28

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.