Preguntas con la etiqueta [scala]
Usos del lenguaje de programación Scala, sus librerías más conocidas (akka, finagle, spark,...), interoperabilidad con java o javascript, así como sus herramientas y frameworks de desarrollo.
41
preguntas
0
votos
1respuesta
25 vistas
Diferencia entre List y toList
Estoy aprendiendo scala y sé que hay dos formas de realizar listas.
val R = (1 to 3).toList
y
val R = List(1,2,3)
Cuál es la diferencia entre dichas formas y cuál sería la mejor?
0
votos
0respuestas
17 vistas
Scala y Spark con eclipse, me da error al agregar spark al pom.xml
Al agregar al pom.xml los paquetes de spark-core, el proyecto me da error y también desaparece la opción para darle run, y solo queda run configuration:
<dependency>
<groupId>org.apache....
0
votos
0respuestas
8 vistas
Problema con datos de entrenamiento al crear Random Forest Apache Spark Scala
Soy principiante en el uso de Apache Spark con Scala.
Quisiera crear un Random Forest de la siguiente manera:
El Dataframe utilizado contiene tanto cadenas de caracteres como valores numéricos, motivo ...
1
voto
0respuestas
25 vistas
A partir de tuplas2 , quitar los None y construir una tupla 2
Saludos a todos. Estoy trabajando con tuplas2 como las siguientes (el patrón se presenta asi n veces):
(Some("algo"), None)
(None, Some("otro"))
Que forman parte de un RDD de ...
1
voto
2respuestas
33 vistas
Construir una lista de tuplas a partir de lineas de texto
Estoy intentando formar una estructura a partir de un archivo de texto. Inicio leyendolo como texto en lineas y despues creo una case class de dos elementos donde pretendo introducir las lineas de ...
0
votos
1respuesta
139 vistas
No me muestra la opción de Crear Clase Scala en IDE IntelliJ Idea
Buen dia Comunidad.
soy nuevo en el mundo de Scala, pero estoy instalando mi IDE de IntelliJ, cuando creo el nuevo proyecto ya de Scala y me voy a Proyecto/src/scala cuando le doy click derecho ...
0
votos
1respuesta
43 vistas
Como consumir un csv e incluirla en una consulta where con Spark Scala
Estoy armando una consulta a una tabla .parquet con spark scala donde tengo una condicion (where) para obtener los registros que tengan el pais = peru o colombia. Por ejemplo:
val transform = path....
0
votos
1respuesta
48 vistas
Búsqueda de un elemento en una Array por recursividad en Scala
Buenas a todos acabo de empezar a usar Scala y tengo un problema del que no salgo, necesito encontrar un elemento dentro de un array por recursividad con una función auxiliar llamada buscar, que tome ...
0
votos
1respuesta
21 vistas
Spark Delta Lake crea muchos archivos .parquet
Estoy intentando hacer un upsert endeltalake
val updatesDF = ... // define the updates DataFrame[date, eventId, data]
DeltaTable.forPath(spark, "/data/events/")
.as("events")
.merge(
...
0
votos
0respuestas
34 vistas
¿como asignarle un esquema anidado a un DataFrame en base a json?
estoy intentando configurar el esquema de un DataFrame en base a un json. El DataFrame lo leo desde un csv.
Me surge un error cuando intento hacer un .show del DataFrame, el error me parece esta ...
1
voto
1respuesta
33 vistas
Scala split por llave y coma falla
Como ya indico en el titulo, tengo un problema al hacer un split de un string en scala.
Mi string contiene un JsonList. Por tanto primero borro los corchetes [ ] de inicio y de fin, y despues quiero ...
0
votos
0respuestas
26 vistas
Cambiar el tipo de una columna según su formato
Estoy intentando realizar de la forma más óptima el siguiente ejercicio:
Tengo un DataFrame de más de 50 campos STRUCT, la mayoría son String, sin embargo también hay Integer y Double.
En los ...
0
votos
1respuesta
51 vistas
Heredar una función en Spark
estoy aprendiendo a utilizar Spark y quiero poner a parte en una función la sección de acomoda campos para que desde esta clase solo mande a llamar dicha función
alguien tiene idea de como ?
de ...
1
voto
1respuesta
94 vistas
Problema con Scala y Eclipse IDE
Tras instalar el plugin de Scala para Eclipse (http://scala-ide.org/download/current.html) y crear mi primer proyecto (un "Hola Mundo") obtuve la siguiente salida de error:
Exception in thread "...
1
voto
0respuestas
45 vistas
ERROR TwitterReceiver Spark Streaming Scala
Estoy intentando con IntelliJ y Spark Streaming conectar con la API de Twitter para poder acceder a los tweets. Por el momento lo único que quiero que haga es que imprima cada tweet por la consola.
...
1
voto
0respuestas
54 vistas
Como calcular columna fecha de nacimiento
Hola estoy empezando en este mundo de scala y spark, estoy haciendo un ejercicio en el que extraigo 2 tablas(A y B) y hago join, pero en ese join tengo que calcular una columna llamada "bith_date" a ...
0
votos
1respuesta
98 vistas
usar withcolumn o un simple select con alias(Scala) [cerrada]
Estoy empezando a trabajar con Dataset,y en algunos compañeros comentan que para el performance de una operación es mejor utilizar un select con una subconsulta y agregar un alias, que utilizar un ...
0
votos
1respuesta
99 vistas
IntelliJ IDEA - Error “import SparkConf” en Scala
Estoy intentando hacer el "import org.apache.spark.SparkConf" en IntelliJ, con Scala y me está devolviendo el siguiente error:
Error while importing sbt project:
[info] Loading project definition ...
1
voto
1respuesta
69 vistas
Guardar la salida de un Foreach en un array
Tengo un fichero de X número de líneas con este formato:
1::F::1::10::48067
Lo que busco es que lea tantas lóneas como yo le paso a la siguiente función:
case class User(userID: String, Gender: ...
0
votos
0respuestas
133 vistas
No puedo iniciar comandos en spark-shell con scala
Uso cmd de win 10, llamo a spark-shell, se ejecuta spark y estoy en la linea de comandos bajo scala. Despues, al tratar de ejecutar cualquier comando que sea, me aparece esto:
Exception in thread "...
1
voto
4respuestas
872 vistas
Funcion recursiva para obtener vocales de una palabra (Scala)
estoy tratando de hacer un ejercicio en el que hay que definir una función recursiva que sea capaz de devolver una cadena con todas las vocales de una cadena usando otra función que indica si un Char ...
0
votos
2respuestas
91 vistas
¿Porque al cargar un dataframe en spark me aparece toda la tabla en null?
Estoy utilizando Apache Spark 2.3.0 pero al querer cargar el csv y luego mostrar sus datos con df.show aparece toda la table en null y no entiendo porque si el archivo si contiene los datos
val ...
1
voto
1respuesta
214 vistas
Cargar archivo csv spark 2.3.0 para analizarlo con k-means
Soy nuevo utilizando Apache Spark, version 2.3.0. Me estoy basando en el código de ejemplo que viene en la página de Spark para poder utilizar el algoritmo k-means. Realizo el ejemplo que se muestra a ...
0
votos
0respuestas
438 vistas
java.lang.NoClassDefFoundError: Could not initialize class mainPrincipal$ en Apace Spark
Hola ante todo gracias.
Presento problemas al ejecutar el siguiente código en un cluster con Spark,
si lo ejecuto como master("local[*]") no da problemas todo perfecto, pero una vez que lo ...
0
votos
1respuesta
36 vistas
Parámetro Tiempo Ejecución Global Scala
Tengo un objeto job que implementa el método main y recupera un parámetro args del tiempo de ejecución:
object job{
def main(args: Array[String]): Unit{
val param = args(0)
}
}
...
0
votos
1respuesta
85 vistas
Generics en Scala
Buenas
Estaba intentando aplicar una función sobre una figura para devolver una nueva figura pero con la posición en x e y cambiadas para esto defino la figura como:
*Para utilizar pattern matching:
...
5
votos
2respuestas
1k vistas
¿Que es tail-recursion?
Aprendiendo Scala como lenguaje de programación me encontré con el termino tail-recursión , lo que supone ser mejor que una recursión normal ¿Que significa esto?
0
votos
2respuestas
63 vistas
Ayuda sobre un error de playframework MVC. Estoy usando Java, Scala, Html Javascript
Ayuda, Estoy usando playframework MVC quiero registrar datos de un formulario usando AJAX enviando a un método de JAVA, pero al momento de guardar me marca el siguiente error que se muestra en lo ...
1
voto
1respuesta
120 vistas
Cómo evitamos la condición de carrera en scala?
Tengo entendido que la condición de carrera sucede cuando dos hilos acceden a un mismo estado, modificándolo cada uno por su parte. Luego de esto, el valor resultante va a ser diferente al esperado e ...
0
votos
1respuesta
29 vistas
Como crear un binary search sobre un archivo en SCALA
Buenos dias a todos,
Tengo el siguiente archivo:
10,44,22
10,47,12
15,38,3
15,41,30
16,44,15
16,47,18
22,38,21
22,41,42
34,44,40
34,47,36
40,38,39
40,41,42
45,38,27
45,41,30
46,44,45
46,47,48
Sobre ...
0
votos
1respuesta
205 vistas
¿Cómo habilito Scala en NetBeans?
Ya tengo instalado el Scala, le puse los plugins de Scala a NetBeans, pero me sigue dando un error cuando intento compilar el proyecto en Scala.
Intento compilar esto:
object Main {
def main(args: ...
1
voto
0respuestas
109 vistas
¿Que lenguaje de Programación Funcional, tiene mayor soporte en ambiente windows? [cerrada]
Que lenguaje de programación funcional, me sugieren aprender, sabiendo que mis conocimientos son entorno a Windows, .NET MVC, C#, javascript, les comento para no alejarme mucho de mi ambiente, estoy ...
1
voto
1respuesta
101 vistas
Scala - Import error
Buenas noches.
Cuando importo un singleton object de una classe dentro del mismo folder, me sale este error, miren.
En esta clase llamada Summer.scala, es donde trato de importar el Singleton Object ...
1
voto
1respuesta
61 vistas
¿Debo cambiar la estructura de mi proyecto Akka para integrar Play?
Estoy desarrollando un proyecto Akka, sacando provecho del modelo de actores. Ahora querría exponer alguna de la lógica de negocio como servicios REST y estoy barajando utilizar Play Framework (parece ...
0
votos
2respuestas
56 vistas
Obtener todos los elementos de una lista que minimizan una función
Digamos que tenemos una función de "medida" con la signatura:
def medida(x: A): Double
Y queremos obtener los elementos de un conjunto que hacen mínima la función de medida. Aplicando los métodos ...
1
voto
1respuesta
89 vistas
Crear una udf simple “ifThenElse” que sea genérica y se pueda usar en un DataFrame de Spark
Tengo una función así:
def ifThenDoubleFuncion = (cond: Boolean, eIf: Double, eElse: Double) => if(cond) eIf else eElse
def ifThenUdf = udf(ifThenDoubleFuncion)
La quiero hacer genérica, lo he ...
1
voto
2respuestas
74 vistas
Función retorna Anyval
En Scala, ¿por qué una expresión de este tipo devuelve AnyVal? (Esperaba un boleano)
if (expr0)
if ((expr1)&&(expr2))
true
else if (expr3)
false
else
...
0
votos
2respuestas
123 vistas
Problemas con RDD en Spark (Scala)
Buenos días, tengo un problema con el siguiente código:
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
case class Navegacion(...
3
votos
1respuesta
698 vistas
Expresión regular en Scala para parsear un JSON
Quisiera saber qué expresión regular puedo utilizar en scala sobre la siguiente cadena para quedarme solo con los datos: "informaciontech" y "business" para el primer caso e "informationtech" para el ...
0
votos
1respuesta
45 vistas
JSONWebTokens en Scalatra
Estoy intentado añadir seguridad a mi aplicación web usando JWT en Scalatra. Por el momento estoy usando Scentry y tengo definidas y funcionando las estrategias User-Password y RememberMe. Mi ...
4
votos
1respuesta
137 vistas
Emulación en scala de las type classes de haskell
En un artículo que leí, escrito por Martin Odersky ("Unifying Functional and Object-Oriented Programming with Scala", Communications of the ACM, Vol. 57 No. 4, Pages 76-86), en las conclusiones ...