Preguntas con la etiqueta [spark]
La etiqueta spark no tiene orientación de uso.
17
preguntas
1
voto
1
respuesta
29
vistas
Exportar tabla de databricks hacia sql server en azure
Estoy intentando LLevar la tabla "tabla_DB" que esta dentro de Databricks hacia SQL server dentro del entorno de AZURE, pero al parecer no reconoce mis comandos, he ido probando con estos ...
1
voto
1
respuesta
68
vistas
¿Cómo crear un RDD a partir de otro pero con una lista como si fueran columnas? Scala
Estoy trabajando con Spark en Scala.
Mi objetivo es almacenar un RDD en un fichero CSV.
El RDD lo construí a partir de una clase que me creé:
case class SensorAverage(
sensor: String,
date: ...
1
voto
2
respuestas
299
vistas
PySpark: Una función que devuelva los registros en los que hay algún not null de los campos insertados por parámetros
Mi idea es parametrizar lo siguiente:
df.where(col("a").isNotNull() | col("b").isNotNull() | col("c").isNotNull() | col("d").isNotNull())
Esto devuelve los ...
1
voto
0
respuestas
17
vistas
Py4JJavaError: PythonRDD.collectAndServe when using action command in Spark
Estoy empezando con Python Spark intentando hacer este ejercicio en el que hay que calcular la media de amigos por edades de una red social. Este es el código que hice:
def preprocesamiento_datos(line)...
0
votos
0
respuestas
38
vistas
Convertir un pyspark.streaming.dstream a spark sql
Buenas he de decir que soy un poco novato a la hora de utilizar spark...
Actualmente estoy realizando un trabajo con spark streaming con el lenguaje python.
Basicamente necesito realizar un analisis ...
0
votos
0
respuestas
39
vistas
SPARK: Cast error usando insert: Java.lang.String cannot be cast to org.apache.spark.unsafe.types.UTF8String
He estado luchando por un tiempo con este maldito error que surge al intentar insertar en una tabla de Hive con Spark (versión 1.6.0):
-java.lang.String no se puede convertir a org.apache.spark.unsafe....
0
votos
1
respuesta
191
vistas
ERROR SparkContext: Error initializing SparkContext. con spark-3.2.1-bin-hadoop3.2-scala2.13
Estoy aprovisionando, spark-3.2.1-bin-hadoop3.2-scala2.13.
Se instala Java 11 y python 3.10.
Pero cuando se ejecuta spark-shell, sale el error "ERROR SparkContext: Error initializing SparkContext&...
0
votos
1
respuesta
567
vistas
Obtener el porcentaje de una columna en Spark
Estoy intentado obtener el porcentaje sobre el total en pyspark del campo "item_type". Tengo el siguiente código:
import pyspark.sql.functions as f
from pyspark.sql.window import Window
df2....
1
voto
0
respuestas
164
vistas
Error mientras intento recorrer cada fila de un dataframe usando Java Spark foreach
editado
Estoy intentando iterar un dataframe fila por fila para coger valores y crear otro dataframe mas grande. En este ejemplo no uso datos del primero es solo para mostrar lo que estoy probando.
...
0
votos
0
respuestas
44
vistas
Extraer posiciones de un campo
Hola alguien sabe como puedo extraer una posición de un un campo usando un lambda
ejemplo:
'05/31/2011 12:00:00 AM' Necesito extraer solo el año esta desde la posición [6:10]
1
voto
0
respuestas
31
vistas
Spark se queda sin memoria leyendo desde JDBC (MySQL)
Estoy ejecutando un job de Spark dentro de AWS Glue, usando multi threading y leyendo una tabla de MySql (particionada). Básicamente, tengo un thread por día de un mes específico, y cada día es una ...
0
votos
1
respuesta
603
vistas
Sumar una columna de años a una columna de fecha en scala spark
Mi problema es el siguiente
tengo dos campos uno de formato fecha y uno de valor entero (fecha y anio)
en este caso lo que quiero hacer es que a mi campo de fecha le sume los años que tiene mi campo ...
0
votos
1
respuesta
490
vistas
¿Cómo hacer un Insert masivo de datos a alta velocidad en una base de datos SQL?
Estoy trabajando con un dataset de aproximadamente 1.000.000 de registro, con algunas trasformaciones básicas en panda con python, para luego cargarlas a una base de datos sql(mysql y postgresql).
Las ...
0
votos
1
respuesta
136
vistas
¿Cómo mejorar el rendimiento de una operación merge con una tabla DeltaLake incremental?
Puntualmente estoy buscando optimizar el rendimiento al actualizar e insertar datos a una tabla base DeltaLake, con cerca de 4 billones de registros.
Entorno :
Spark 3.0.0
DeltaLake 0.7.0
En contexto ...
1
voto
1
respuesta
1k
vistas
Como leer con pyspark ficheros en databricks desde DBFS que han sido dejado como resultado de una ejecución anterior
Tengo un par de notebooks en databricks el notebook1 para el tratamiento de textos (tokenizar, borrar stopwords...) que da como salida un fichero de texto limpio. El notebook2, lee el texto limpio y ...
0
votos
1
respuesta
1k
vistas
Reemplazar diferentes textos muy similares, por un valor fijo usando pyspark
Estoy haciendo nlp con pyspark sobre unas opiniones de clientes y quiero ocultar el nombre de la marca de la empresa, reemplazando todas las coincidencias en el texto, por un valor fijo (p.e. "...
1
voto
1
respuesta
78
vistas
Conocer ultimo offset leído Kafka - Spark Streaming
Buen día,
Me encuentro aprendiendo Spark y Kafka, tengo una aplicación streaming usando el API para java de spark. Mi problema radica en ¿cómo poder conocer cual fue el último offset leído? Por ...