Preguntas con la etiqueta [apache-spark]
Apache-Spark es un framework de código abierto enfocado a la computación distribuida o en clúster para el análisis de datos en memoria y a gran escala.
53
preguntas
0
votos
0
respuestas
4
vistas
Fpgrowth para mineria de flujo datos
tengo un algoritmo que detecta anomalías basadas en patrines frecuentes. uso scala, apache spark y el algoritmo fp-growth como minador de patrones, este algoritmo crea un modelo fpmodel donde se ...
0
votos
0
respuestas
16
vistas
¿Cómo integrar Poetry y apache airflow con Docker?
Estoy aprendiendo sobre Docker y me gustaría saber cómo integrar el flujo de aire de apache con poesía a través de DockerFile o Docker-compose.
¿Alguien puede ayudarme?
0
votos
0
respuestas
32
vistas
¿Cómo guardar un modelo DecisionTreeClassifier MLlib de Spark en formato ONNX?
En el siguiente código de python:
#Entrenamiento del modelo:
*model_clas=DecisionTreeClassifier(labelCol='Clasificacion_OBJ',maxDepth=5,maxBins=20,minInstancesPerNode=1,impurity = impurity,seed=25)....
1
voto
0
respuestas
17
vistas
Py4JJavaError: PythonRDD.collectAndServe when using action command in Spark
Estoy empezando con Python Spark intentando hacer este ejercicio en el que hay que calcular la media de amigos por edades de una red social. Este es el código que hice:
def preprocesamiento_datos(line)...
0
votos
1
respuesta
62
vistas
Bucle con fechas
Estoy intentando crear un bucle que se encargue de leer un df particionado por fecha. Este df solo está particionado por los días hábiles del mes, por lo que si yo intento leer la tabla un 30 o 31 del ...
0
votos
0
respuestas
80
vistas
Como escribir correctamente un csv desde spark?
trato de guardar un dataset en un csv usando spark. Este es mi código:
def function(dataset: data, dataset dataTemporary)={
data = data.unionAll(dataTemporary)
setTemporaryBasis(data)
}
def ...
1
voto
1
respuesta
46
vistas
¿Se puede hacer un count() selectivo?
Tengo una pregunta con relación al count() en PySpark. Me gustaría saber si el count() permite hacer un conteo de registros de forma selectiva. Por ejemplo: quiero contar dentro de un campo del df los ...
0
votos
0
respuestas
38
vistas
Convertir un pyspark.streaming.dstream a spark sql
Buenas he de decir que soy un poco novato a la hora de utilizar spark...
Actualmente estoy realizando un trabajo con spark streaming con el lenguaje python.
Basicamente necesito realizar un analisis ...
0
votos
0
respuestas
617
vistas
¿Cómo guardar un DataFrame de Spark en memoria externe en formato CSV utilizando PySpark?
Después de leer un CSV y cargarlo en un DataFrame de Spark, le he hecho algunas modificaciones. Ahora quiero guardar ese DataFrame modificado en la memoria de la pc en formato CSV. ¿Cómo lo puedo ...
0
votos
1
respuesta
241
vistas
¿Como puedo cambiar el tipo de dato de un csv de String a Double en PySpark?
Tengo un csv donde el tipo de dato de todas las columnas es String y quiero convertirlas a Double. El csv lo cargo en un DataFrame de Saprk utilizado PySpark. Yo se que con withColumn puedo cambiar el ...
2
votos
1
respuesta
364
vistas
¿Como leer un csv grande en PySpark?
Estoy intentando leer un fichero csv en un dataframe utilizando PySpark. El problema es que el csv tiene 6596 filas x 98942 columnas y me sale un error que dice:
Py4JJavaError: An error occurred ...
0
votos
1
respuesta
192
vistas
ERROR SparkContext: Error initializing SparkContext. con spark-3.2.1-bin-hadoop3.2-scala2.13
Estoy aprovisionando, spark-3.2.1-bin-hadoop3.2-scala2.13.
Se instala Java 11 y python 3.10.
Pero cuando se ejecuta spark-shell, sale el error "ERROR SparkContext: Error initializing SparkContext&...
0
votos
0
respuestas
112
vistas
Obtener valor simple de un dataframe con select
Buenas estoy intentando extraer el valor de una select sobre un dataframe df.select("ejemplo.ejemplo")
cuyo resultado es [ejemplo:String]. He intentado extraer el valor con .head().getString(...
0
votos
2
respuestas
649
vistas
Al instalar Spark y Hadoop en google colaboratory no se puede encontrar py4j, a causa de SPARK_HOME?
Quiero utilisar PySpark en Google Colab. Entonces sigué este tutorial. Utilicé la versiones de spark y hadoop las mas recientes:
!apt-get install openjdk-8-jdk-headless -qq > /dev/null
!wget -q ...
1
voto
0
respuestas
70
vistas
¿Cómo usar "Create table" sin Hive usando SparkSQL?
Estoy intentando hacer spark.sql("CREATE TABLE nombreTabla");
Primero he creado la base de datos, y después he intentado hacer eso. Mi objetivo es crear una tabla sencilla y hacer ...
2
votos
1
respuesta
162
vistas
Uso de For para modificar tablas
Tengo el siguiente código en Pyspark:
%%time
lst_tablas = [tabla_pivote_0_15, tabla_pivote_15_30, tabla_pivote_30_60, tabla_pivote_60_90, tabla_pivote_90_120,
tabla_pivote_120_150, ...
0
votos
1
respuesta
70
vistas
Plot de un Clustering
Tengo un vector llamado pca, del cual descompongo sus valores los cuales llame x y y de la siguiente manera:
from pyspark.ml.linalg import Vectors
var = transformed.select('customer_id','pca')
def ...
2
votos
1
respuesta
81
vistas
Librería Clustering Evaluator desactualizada
Estoy intentando realizar un algoritmo de ML no supervisado, para ello estoy probando con el algoritmo de K-Means en pyspark. Sin embargo al correr el código de la documentación que es el siguiente:
...
1
voto
1
respuesta
460
vistas
Lambda cannot contain assignment
Tengo un texto y he extraído las palabras contenidas en él como sigue:
loremWordsRDD = loremRDD.flatMap(lambda x: x.split(' '))
Ahora, estoy intentando responder a la siguiente pregunta:
Cuál es la ...
1
voto
0
respuestas
423
vistas
Obtener el número recomendado de topics de un modelo LDA usando pyspark.ml
He entrenado un modelo LDA usando pyspark para clasificar textos por temas, probando diferentes valores para K. Sin embargo, para validar que el K seleccionado es correcto quisiera obtener el ...
1
voto
1
respuesta
1k
vistas
Como leer con pyspark ficheros en databricks desde DBFS que han sido dejado como resultado de una ejecución anterior
Tengo un par de notebooks en databricks el notebook1 para el tratamiento de textos (tokenizar, borrar stopwords...) que da como salida un fichero de texto limpio. El notebook2, lee el texto limpio y ...
0
votos
1
respuesta
1k
vistas
Reemplazar diferentes textos muy similares, por un valor fijo usando pyspark
Estoy haciendo nlp con pyspark sobre unas opiniones de clientes y quiero ocultar el nombre de la marca de la empresa, reemplazando todas las coincidencias en el texto, por un valor fijo (p.e. "...
0
votos
2
respuestas
922
vistas
No me muestra la opción de Crear Clase Scala en IDE IntelliJ Idea
Buen dia Comunidad.
soy nuevo en el mundo de Scala, pero estoy instalando mi IDE de IntelliJ, cuando creo el nuevo proyecto ya de Scala y me voy a Proyecto/src/scala cuando le doy click derecho ...
0
votos
1
respuesta
2k
vistas
PySpark - Como extraer información de una columna de un DataFrame de Spark en formato JSON pero del tipo String
Me encuentro trabajando con PySpark y usando los DataFrame de Spark en el que cada row del DataFrame contiene esta información (que va a ser siempre la misma), aunque puedan variar los valores que hay ...
1
voto
1
respuesta
2k
vistas
Calcular nueva columna en spark df, cruzando columna de tipo lista en df1 y columna de texto en df2 con pyspark
Estoy usando spark 2.4.5 y necesito calcular el score de sentimientos de la lista de tokens (columna MeaningfulWords) del df1, según las palabras y scores del df2 (diccionario de sentimientos). En Df1 ...
0
votos
1
respuesta
164
vistas
Como consumir un csv e incluirla en una consulta where con Spark Scala
Estoy armando una consulta a una tabla .parquet con spark scala donde tengo una condicion (where) para obtener los registros que tengan el pais = peru o colombia. Por ejemplo:
val transform = path....
0
votos
0
respuestas
70
vistas
Set key in a spark dataframe
Tengo un dataframe de spark (no es un rdd) en el que una de las columnas se sabe que tiene valores únicos. Me parece que tiene sentido pensar que algunas operaciones que se puedan ejecutar sobre el ...
0
votos
1
respuesta
163
vistas
Spark Delta Lake crea muchos archivos .parquet
Estoy intentando hacer un upsert endeltalake
val updatesDF = ... // define the updates DataFrame[date, eventId, data]
DeltaTable.forPath(spark, "/data/events/")
.as("events")
.merge(
...
1
voto
1
respuesta
184
vistas
Scala split por llave y coma falla
Como ya indico en el titulo, tengo un problema al hacer un split de un string en scala.
Mi string contiene un JsonList. Por tanto primero borro los corchetes [ ] de inicio y de fin, y despues quiero ...
0
votos
0
respuestas
98
vistas
Algoritmo de recomendación ALS de Spark ML retorna items ya vistos
La implementación de Spark ML del algoritmo Alternate Least Squares para recomendaciones, produce un modelo que puede aplicarse a los artículos ya vistos (training.itemCol, para películas vistas, en ...
0
votos
1
respuesta
2k
vistas
Realizar el Join de un par de tablas, resultado en DataFrame y Spark sql
¿Cómo puedo realizar el Join de una tabla llamada "TABLA_X" con "TABLA_Y" a través del campo col_A_id?
Teniendo en cuenta los siguientes puntos:
-Considerar rendimiento
-TABLA_X:30GB
-TABLA_Y:15MB
-...
0
votos
1
respuesta
297
vistas
Heredar una función en Spark
estoy aprendiendo a utilizar Spark y quiero poner a parte en una función la sección de acomoda campos para que desde esta clase solo mande a llamar dicha función
alguien tiene idea de como ?
de ...
1
voto
0
respuestas
63
vistas
ERROR TwitterReceiver Spark Streaming Scala
Estoy intentando con IntelliJ y Spark Streaming conectar con la API de Twitter para poder acceder a los tweets. Por el momento lo único que quiero que haga es que imprima cada tweet por la consola.
...
1
voto
0
respuestas
163
vistas
Como calcular columna fecha de nacimiento
Hola estoy empezando en este mundo de scala y spark, estoy haciendo un ejercicio en el que extraigo 2 tablas(A y B) y hago join, pero en ese join tengo que calcular una columna llamada "bith_date" a ...
0
votos
1
respuesta
249
vistas
usar withcolumn o un simple select con alias(Scala) [cerrada]
Estoy empezando a trabajar con Dataset,y en algunos compañeros comentan que para el performance de una operación es mejor utilizar un select con una subconsulta y agregar un alias, que utilizar un ...
1
voto
1
respuesta
313
vistas
Obtener palabra mas frecuente y numero de veces que se repite en un archivo
Estoy leyendo un archivo y contando las palabras para mostrar cuantas veces se repite cada una.
readme = sc.textFile("README.md")
wordCounts = readme.flatMap(lambda line: line.split()).map(...
0
votos
1
respuesta
246
vistas
No puedo iniciar comandos en spark-shell con scala
Uso cmd de win 10, llamo a spark-shell, se ejecuta spark y estoy en la linea de comandos bajo scala. Despues, al tratar de ejecutar cualquier comando que sea, me aparece esto:
Exception in thread "...
0
votos
2
respuestas
282
vistas
¿Porque al cargar un dataframe en spark me aparece toda la tabla en null?
Estoy utilizando Apache Spark 2.3.0 pero al querer cargar el csv y luego mostrar sus datos con df.show aparece toda la table en null y no entiendo porque si el archivo si contiene los datos
val ...
1
voto
1
respuesta
300
vistas
Cargar archivo csv spark 2.3.0 para analizarlo con k-means
Soy nuevo utilizando Apache Spark, version 2.3.0. Me estoy basando en el código de ejemplo que viene en la página de Spark para poder utilizar el algoritmo k-means. Realizo el ejemplo que se muestra a ...
0
votos
1
respuesta
107
vistas
RDDs auxiliares dentro de funcion map
Soy Nuevo en Apache Spark. Tengo una consulta con respecto a los RDD y las transformaciones. Tengo un PairRDD con datos cargados ya. Y ahora lo que necesito, es: a través de una transformacion (...
1
voto
0
respuestas
24
vistas
Instalar Sparkling Water versión Nightly Bleeding Edge
Estoy intentando instalar Sparklin Water version Nightly Bleeding Edge, la página de H2O, ofrece una sencilla guia de 8 pasos. Pero solo algunos pasos funcionan correctamente. rsparkling
El primer ...
0
votos
0
respuestas
645
vistas
java.lang.NoClassDefFoundError: Could not initialize class mainPrincipal$ en Apace Spark
Hola ante todo gracias.
Presento problemas al ejecutar el siguiente código en un cluster con Spark,
si lo ejecuto como master("local[*]") no da problemas todo perfecto, pero una vez que lo ...
1
voto
1
respuesta
41
vistas
Como configurar spark cluster en ecs?
Tengo una configuración de spark multimaster con zookeeper asi:
2 spark-master registrados en zookeeper y dos workers que se registran con el líder de los spark master, ademas los jobs se envían a ...
0
votos
1
respuesta
54
vistas
convertir JavaPairRDD<String, Integer> a Json
Tengo el siguiente ejemplo de WordCount y me gustaría sacar el resultado a JSONObject:
JavaPairRDD<String, Integer> counts = words.mapToPair(new PairFunction<String, String, Integer>() {
...
0
votos
1
respuesta
161
vistas
Ayuda con el siguiente problema
Buenas,
Estoy tratando de resolver el siguiente problemas: "Contar cantidad de vocales y consonantes" utilizando la plataforma hadoop, técnica MapReduce.
La cuestión que me sucede es la siguiente: Al ...
1
voto
1
respuesta
6k
vistas
¿Cómo puedo reemplazar los valores nulos de una columna específica en un dataframe?
Tengo un DataFrame con algunas columnas que tienen valores nulos, y para cada columna quiero sustituirlos con valores específicos. He usado:
df['variable1'].fillna('sustituto', inplace = True)
pero ...
0
votos
1
respuesta
732
vistas
Cambiar valores de un RDD
cómo puedo cambiar todas las letras A por un 9 y todas las letras B por un 8 en un RDD con una función lambda.
He intentado esto pero no funciona:
rdd.map(lambda a: 9 if a == "A" else a == a)
rdd.map(...
3
votos
2
respuestas
1k
vistas
Borrar un string en base a condiciones con python
Quiero hacer lo siguiente en python(pyspark)
Tengo un RDD y necesito crear una función que borre un string en base a unas condiciones para después aplicar esa función al RDD completo.
Debo conseguir ...
3
votos
1
respuesta
681
vistas
Cómo convertir lista de listas en lista de strings en Spark
Imaginen que después de realizar la lectura de un fichero les queda una lista de esta forma:
>>> lista.take(2)
[['Hola ', 'qué ', 'tal'], ['muy ', 'bien']]
sin embargo, lo que quieren es ...
0
votos
1
respuesta
69
vistas
anonymous class implements interface; cannot have arguments
Estoy probando spark en maven pero me da este problema quiero que me muestre el puerto pero el runable me muestra este error
"anonymous class implements interface; cannot have arguments"
Código
...