Preguntas con la etiqueta [scala]
Usos del lenguaje de programación Scala, sus librerías más conocidas (akka, finagle, spark,...), interoperabilidad con java o javascript, así como sus herramientas y frameworks de desarrollo.
53
preguntas
0
votos
1
respuesta
34
vistas
Cómo extraer en Scala desde MongoDB un objeto, que está en un array, y éste está dentro de otro objeto?
Estamos intentando recuperar datos de MongoDB desde Scala
Hemos sido capaces de recuperar datos que están en la raiz de la colección, dentro de un objeto y de un array.
Pero ahora se complica la cosa ...
0
votos
1
respuesta
31
vistas
¿Es posible o tiene sentido crear una variable broadcast con un dataset en Spark?
Tengo un Dataset de la forma:
val miDataSet: Dataset[MyDataCase] = dataset grande
Y tengo un job que lo usa varias veces de la forma:
class Processor(
miDataSet: Dataset[MyDataCase]) {
def ...
0
votos
0
respuestas
19
vistas
failed during scallastyle execution : unable to find configuration file at location scalastyle-config.xml
After putting the mvn clean install -f pom.xml command, the error attached in the image appears.
how could it be solved?
0
votos
1
respuesta
66
vistas
Manejo de nulos en Scala
Estoy tratando de usar la clase Option para evitar un NullPointerException que surge en la siguiente línea:
} else Task(file.getText, file.getVirtualFile.getParent.getPath, new SwiPrologLinter(...
1
voto
1
respuesta
30
vistas
como heredar en scala de una clase con un único constructor con parámetros
estoy colaborando con un plugin de idea, y debo extender la siguiente clase de Java
public abstract class AbstractBlock implements ASTBlock, ExtraRangesProvider {
public static final List<Block&...
0
votos
0
respuestas
19
vistas
Problemas de compatibilidad Scala 2.13.8
Hola intento actualizar la versión de Scala de mi proyecto a Scala 2.13.8.
val a = dataset.select("Class", "Anomaly").map(x =>{
val realValue = x.get(0)
val prediction = if(...
0
votos
0
respuestas
74
vistas
¿Cómo se construye un árbol binario utilizando la programación funcional? SCALA
el paradigma de programación funcional me está dando dolores de cabeza. Necesito construir un árbol binario utilizando el lenguaje Scala, hasta ahora tengo lo siguiente:
sealed trait Arbol[+A]
case ...
1
voto
1
respuesta
223
vistas
¿Cómo crear un RDD a partir de otro pero con una lista como si fueran columnas? Scala
Estoy trabajando con Spark en Scala.
Mi objetivo es almacenar un RDD en un fichero CSV.
El RDD lo construí a partir de una clase que me creé:
case class SensorAverage(
sensor: String,
date: ...
1
voto
0
respuestas
71
vistas
¿Cómo puedo seleccionar la primera vocal de un string?
Primero que nada, soy super novata en Scala, una disculpa si mi lenguaje no es el más técnico. Estoy trabajando con una columna de nombres de las que que necesito extraer la primera vocal, pero no se ...
1
voto
0
respuestas
110
vistas
Scala - Slick Database Query
Soy nuevo en esto de Scala con la librería Slick de microservicios, de Scala he trabajado con la librería Spark la cual es directa para llevar sentencias SQL a código Scala y me ha parecido muy ...
0
votos
1
respuesta
69
vistas
Actualizar una ListBuffer con los valores de otra lista
¿Cómo puedo actualizar (mas no añadir, o hacer un append), elementos de una lista a otra en Scala?
Me encuentra programando en Scala, y trato de actualizar un ListBuffer con los valores que tengo de ...
0
votos
1
respuesta
85
vistas
Error XML en proyecto java
Tengo varios xml generados en un proyecto java, y hay uno solo que me da errores al intentar mostrar los datos en pantalla.
Este es el código del archivo:
@(list:List[Recipe])
<?xml version="1....
0
votos
1
respuesta
37
vistas
¿Cómo accedo a una variable de un tipo genérico (T)? - Scala
Como están? Tengo este trait, que es como un "repositorio" que guarda cosas de un tipo específico.
trait Repositorio[T]{
//Se guarda el "t" en una lista.
def store(t: T): Unit
...
1
voto
0
respuestas
210
vistas
Error mientras intento recorrer cada fila de un dataframe usando Java Spark foreach
editado
Estoy intentando iterar un dataframe fila por fila para coger valores y crear otro dataframe mas grande. En este ejemplo no uso datos del primero es solo para mostrar lo que estoy probando.
...
0
votos
1
respuesta
942
vistas
Sumar una columna de años a una columna de fecha en scala spark
Mi problema es el siguiente
tengo dos campos uno de formato fecha y uno de valor entero (fecha y anio)
en este caso lo que quiero hacer es que a mi campo de fecha le sume los años que tiene mi campo ...
1
voto
1
respuesta
20
vistas
Como puedo acceder a los datos que retorna la respuesta de HttpRequest de akka scala?
Estoy haciendo una petición tipo GET de la siguiente manera a una API externa:
val headers = List(RawHeader("Api-Key", "myapikey"), RawHeader("Api-Username", "user&...
0
votos
1
respuesta
152
vistas
Diferencia entre List y toList
Estoy aprendiendo scala y sé que hay dos formas de realizar listas.
val R = (1 to 3).toList
y
val R = List(1,2,3)
Cuál es la diferencia entre dichas formas y cuál sería la mejor?
1
voto
1
respuesta
41
vistas
A partir de tuplas2 , quitar los None y construir una tupla 2
Saludos a todos. Estoy trabajando con tuplas2 como las siguientes (el patrón se presenta asi n veces):
(Some("algo"), None)
(None, Some("otro"))
Que forman parte de un RDD de ...
1
voto
2
respuestas
115
vistas
Construir una lista de tuplas a partir de lineas de texto
Estoy intentando formar una estructura a partir de un archivo de texto. Inicio leyendolo como texto en lineas y despues creo una case class de dos elementos donde pretendo introducir las lineas de ...
0
votos
2
respuestas
1k
vistas
No me muestra la opción de Crear Clase Scala en IDE IntelliJ Idea
Buen dia Comunidad.
soy nuevo en el mundo de Scala, pero estoy instalando mi IDE de IntelliJ, cuando creo el nuevo proyecto ya de Scala y me voy a Proyecto/src/scala cuando le doy click derecho ...
0
votos
1
respuesta
233
vistas
Como consumir un csv e incluirla en una consulta where con Spark Scala
Estoy armando una consulta a una tabla .parquet con spark scala donde tengo una condicion (where) para obtener los registros que tengan el pais = peru o colombia. Por ejemplo:
val transform = path....
0
votos
1
respuesta
283
vistas
Búsqueda de un elemento en una Array por recursividad en Scala
Buenas a todos acabo de empezar a usar Scala y tengo un problema del que no salgo, necesito encontrar un elemento dentro de un array por recursividad con una función auxiliar llamada buscar, que tome ...
0
votos
1
respuesta
281
vistas
Spark Delta Lake crea muchos archivos .parquet
Estoy intentando hacer un upsert endeltalake
val updatesDF = ... // define the updates DataFrame[date, eventId, data]
DeltaTable.forPath(spark, "/data/events/")
.as("events")
.merge(
...
1
voto
1
respuesta
260
vistas
Scala split por llave y coma falla
Como ya indico en el titulo, tengo un problema al hacer un split de un string en scala.
Mi string contiene un JsonList. Por tanto primero borro los corchetes [ ] de inicio y de fin, y despues quiero ...
0
votos
1
respuesta
393
vistas
Heredar una función en Spark
estoy aprendiendo a utilizar Spark y quiero poner a parte en una función la sección de acomoda campos para que desde esta clase solo mande a llamar dicha función
alguien tiene idea de como ?
de ...
1
voto
1
respuesta
225
vistas
Problema con Scala y Eclipse IDE
Tras instalar el plugin de Scala para Eclipse (http://scala-ide.org/download/current.html) y crear mi primer proyecto (un "Hola Mundo") obtuve la siguiente salida de error:
Exception in thread "...
1
voto
0
respuestas
67
vistas
ERROR TwitterReceiver Spark Streaming Scala
Estoy intentando con IntelliJ y Spark Streaming conectar con la API de Twitter para poder acceder a los tweets. Por el momento lo único que quiero que haga es que imprima cada tweet por la consola.
...
1
voto
0
respuestas
208
vistas
Como calcular columna fecha de nacimiento
Hola estoy empezando en este mundo de scala y spark, estoy haciendo un ejercicio en el que extraigo 2 tablas(A y B) y hago join, pero en ese join tengo que calcular una columna llamada "bith_date" a ...
0
votos
1
respuesta
330
vistas
usar withcolumn o un simple select con alias(Scala) [cerrada]
Estoy empezando a trabajar con Dataset,y en algunos compañeros comentan que para el performance de una operación es mejor utilizar un select con una subconsulta y agregar un alias, que utilizar un ...
0
votos
1
respuesta
231
vistas
IntelliJ IDEA - Error "import SparkConf" en Scala
Estoy intentando hacer el "import org.apache.spark.SparkConf" en IntelliJ, con Scala y me está devolviendo el siguiente error:
Error while importing sbt project:
[info] Loading project definition ...
1
voto
1
respuesta
126
vistas
Guardar la salida de un Foreach en un array
Tengo un fichero de X número de líneas con este formato:
1::F::1::10::48067
Lo que busco es que lea tantas lóneas como yo le paso a la siguiente función:
case class User(userID: String, Gender: ...
0
votos
1
respuesta
349
vistas
No puedo iniciar comandos en spark-shell con scala
Uso cmd de win 10, llamo a spark-shell, se ejecuta spark y estoy en la linea de comandos bajo scala. Despues, al tratar de ejecutar cualquier comando que sea, me aparece esto:
Exception in thread "...
1
voto
4
respuestas
2k
vistas
Funcion recursiva para obtener vocales de una palabra (Scala)
estoy tratando de hacer un ejercicio en el que hay que definir una función recursiva que sea capaz de devolver una cadena con todas las vocales de una cadena usando otra función que indica si un Char ...
0
votos
2
respuestas
372
vistas
¿Porque al cargar un dataframe en spark me aparece toda la tabla en null?
Estoy utilizando Apache Spark 2.3.0 pero al querer cargar el csv y luego mostrar sus datos con df.show aparece toda la table en null y no entiendo porque si el archivo si contiene los datos
val ...
1
voto
1
respuesta
318
vistas
Cargar archivo csv spark 2.3.0 para analizarlo con k-means
Soy nuevo utilizando Apache Spark, version 2.3.0. Me estoy basando en el código de ejemplo que viene en la página de Spark para poder utilizar el algoritmo k-means. Realizo el ejemplo que se muestra a ...
0
votos
0
respuestas
660
vistas
java.lang.NoClassDefFoundError: Could not initialize class mainPrincipal$ en Apace Spark
Hola ante todo gracias.
Presento problemas al ejecutar el siguiente código en un cluster con Spark,
si lo ejecuto como master("local[*]") no da problemas todo perfecto, pero una vez que lo ...
0
votos
1
respuesta
40
vistas
Parámetro Tiempo Ejecución Global Scala
Tengo un objeto job que implementa el método main y recupera un parámetro args del tiempo de ejecución:
object job{
def main(args: Array[String]): Unit{
val param = args(0)
}
}
...
0
votos
1
respuesta
126
vistas
Generics en Scala
Buenas
Estaba intentando aplicar una función sobre una figura para devolver una nueva figura pero con la posición en x e y cambiadas para esto defino la figura como:
*Para utilizar pattern matching:
...
8
votos
2
respuestas
3k
vistas
¿Que es tail-recursion?
Aprendiendo Scala como lenguaje de programación me encontré con el termino tail-recursión , lo que supone ser mejor que una recursión normal ¿Que significa esto?
0
votos
2
respuestas
71
vistas
Ayuda sobre un error de playframework MVC. Estoy usando Java, Scala, Html Javascript
Ayuda, Estoy usando playframework MVC quiero registrar datos de un formulario usando AJAX enviando a un método de JAVA, pero al momento de guardar me marca el siguiente error que se muestra en lo ...
1
voto
1
respuesta
181
vistas
Cómo evitamos la condición de carrera en scala?
Tengo entendido que la condición de carrera sucede cuando dos hilos acceden a un mismo estado, modificándolo cada uno por su parte. Luego de esto, el valor resultante va a ser diferente al esperado e ...
0
votos
1
respuesta
41
vistas
Como crear un binary search sobre un archivo en SCALA
Buenos dias a todos,
Tengo el siguiente archivo:
10,44,22
10,47,12
15,38,3
15,41,30
16,44,15
16,47,18
22,38,21
22,41,42
34,44,40
34,47,36
40,38,39
40,41,42
45,38,27
45,41,30
46,44,45
46,47,48
Sobre ...
0
votos
1
respuesta
350
vistas
¿Cómo habilito Scala en NetBeans?
Ya tengo instalado el Scala, le puse los plugins de Scala a NetBeans, pero me sigue dando un error cuando intento compilar el proyecto en Scala.
Intento compilar esto:
object Main {
def main(args: ...
1
voto
0
respuestas
121
vistas
¿Que lenguaje de Programación Funcional, tiene mayor soporte en ambiente windows? [cerrada]
Que lenguaje de programación funcional, me sugieren aprender, sabiendo que mis conocimientos son entorno a Windows, .NET MVC, C#, javascript, les comento para no alejarme mucho de mi ambiente, estoy ...
1
voto
1
respuesta
146
vistas
Scala - Import error
Buenas noches.
Cuando importo un singleton object de una classe dentro del mismo folder, me sale este error, miren.
En esta clase llamada Summer.scala, es donde trato de importar el Singleton Object ...
1
voto
1
respuesta
64
vistas
¿Debo cambiar la estructura de mi proyecto Akka para integrar Play?
Estoy desarrollando un proyecto Akka, sacando provecho del modelo de actores. Ahora querría exponer alguna de la lógica de negocio como servicios REST y estoy barajando utilizar Play Framework (parece ...
0
votos
2
respuestas
79
vistas
Obtener todos los elementos de una lista que minimizan una función
Digamos que tenemos una función de "medida" con la signatura:
def medida(x: A): Double
Y queremos obtener los elementos de un conjunto que hacen mínima la función de medida. Aplicando los métodos ...
1
voto
1
respuesta
119
vistas
Crear una udf simple "ifThenElse" que sea genérica y se pueda usar en un DataFrame de Spark
Tengo una función así:
def ifThenDoubleFuncion = (cond: Boolean, eIf: Double, eElse: Double) => if(cond) eIf else eElse
def ifThenUdf = udf(ifThenDoubleFuncion)
La quiero hacer genérica, lo he ...
1
voto
2
respuestas
85
vistas
Función retorna Anyval
En Scala, ¿por qué una expresión de este tipo devuelve AnyVal? (Esperaba un boleano)
if (expr0)
if ((expr1)&&(expr2))
true
else if (expr3)
false
else
...
0
votos
2
respuestas
148
vistas
Problemas con RDD en Spark (Scala)
Buenos días, tengo un problema con el siguiente código:
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
case class Navegacion(...