Preguntas con la etiqueta [pyspark]
PySpark es la API en Python de Apache-Spark que expone los recursos del framework de computación distribuida para análisis de datos en Python.
65
preguntas
0
votos
0
respuestas
18
vistas
import databricks.koalas as ks :
Hola gente;
Tengo este problema; al momento de importar databricks.koalas me sale este error: Estoy intentando importar la librería de databricks.koalas para hacer transformaciones de pandas a spark; ...
0
votos
0
respuestas
23
vistas
Generar fecha de manera consecutiva, copiar valor en fechas con Pyspark
Tengo una dificultad de como plantear mi código para este escenario, por tal motivo recurro a su ayuda, por favor podrían orientarme como podría resolverlo.
El cuadro mas grande es como lo tengo en mi ...
0
votos
1
respuesta
53
vistas
Asignar valor de DF en cadena texto en Pyspark
Tengo el siguiente problema:
Como puedo asignar el valor de un dataframe a una cadena texto, ya al momento de concatenar la variable, no reconoce el valor, sino el nombre.
Ejemplo:
He creado unas ...
2
votos
0
respuestas
231
vistas
como sacar el año de un campo tipo fecha en spark
¿Qué semana del año 2018 tuvo el mayor número de llamadas?**
final_df.withColumn("IncidentDate",to_timestamp(col("IncidentDate"))).withColumn("year", date_format(col(&...
1
voto
1
respuesta
29
vistas
Crear una partición en PostgreSQL usando el conector JDBC de spark
Necesito automatizar la creación de una partición en PostgreSQL pero utilizando un job de spark.
Si corro la siguiente consulta en la consola de postgresql, jala bien:
CREATE TABLE IF NOT EXISTS ...
0
votos
0
respuestas
56
vistas
Problema al unir dos csv en pyspark dataframes
Necesito unir 3 csv en pyspark por medio de dataframes en google colab, al unir los dos primeros csv me salta un error, dejo el código en la siguiente linea:
onf = SparkConf().setMaster('local')....
0
votos
1
respuesta
172
vistas
Condicionales dentro de when en pyspark
Estoy escribiendo un código para construir una columna de un dataframe a partir de otras columnas en pyspark. El código sería el siguiente:
sdf = sdf.withColumn('nueva_variable', when(sdf['variable2']&...
0
votos
0
respuestas
63
vistas
Error: Column is not iterable
Me gustaría añadir una columna de tipo Integer con el número total de filas de cada tabla.
Tengo esto:
Database
Tabla
Columna
default
tabla1
columna1
default
tabla1
columna2
default
tabla2
...
0
votos
0
respuestas
47
vistas
¿Cómo guardar un modelo DecisionTreeClassifier MLlib de Spark en formato ONNX?
En el siguiente código de python:
#Entrenamiento del modelo:
*model_clas=DecisionTreeClassifier(labelCol='Clasificacion_OBJ',maxDepth=5,maxBins=20,minInstancesPerNode=1,impurity = impurity,seed=25)....
0
votos
1
respuesta
102
vistas
Como copiar la estructura de un DF para leer otro DF con esa estructura - PYSPARK
estoy intentando certificar dos DF de diferentes ambientes. El primero se encuentra cargado en HUE y el segundo en un servidor SQL.
Para la certificación he creado una llave concatenando todas las ...
1
voto
0
respuestas
26
vistas
¿Cómo sincronizar los lotes(batches) en petastorm?
Soy nuevo usando petastorm y estoy enfrentando algunos problmas. Necesito recorrer un dataset obteniendo 3 batches(lotes) con los mismos valores para aplicar una transformacion sobre 2 de ellos. El ...
0
votos
0
respuestas
49
vistas
Función para dar como resultado combinaciones de los valores de un array en Python
Estimada comunidad tengo una duda, deseo una funcion en python que pueda realizar lo siguiente:
dar como input una cadena: valor='ABCD'
y que la función me de como resultado las posibles combinaciones ...
1
voto
2
respuestas
1k
vistas
PySpark: Una función que devuelva los registros en los que hay algún not null de los campos insertados por parámetros
Mi idea es parametrizar lo siguiente:
df.where(col("a").isNotNull() | col("b").isNotNull() | col("c").isNotNull() | col("d").isNotNull())
Esto devuelve los ...
1
voto
0
respuestas
31
vistas
Py4JJavaError: PythonRDD.collectAndServe when using action command in Spark
Estoy empezando con Python Spark intentando hacer este ejercicio en el que hay que calcular la media de amigos por edades de una red social. Este es el código que hice:
def preprocesamiento_datos(line)...
0
votos
1
respuesta
114
vistas
Bucle con fechas
Estoy intentando crear un bucle que se encargue de leer un df particionado por fecha. Este df solo está particionado por los días hábiles del mes, por lo que si yo intento leer la tabla un 30 o 31 del ...
0
votos
2
respuestas
1k
vistas
Dividir registros en bloques dataframe
intento dividir un dataframe de 10000 registros en bloques de 200 de manera óptima en python. uso un monotonically_increasing_id y luego los divido por rangos, pero es muy lento. ¿existe otro método?
...
0
votos
2
respuestas
164
vistas
Error al convertir String a datetime Python
Hola quiero convertir la columna "Date" de mi dataset en Datetime
covid.show(5)
+--------+
| Date|
+--------+
|3-1-2020|
|3-2-2020|
|3-2-2020|
|3-2-2020|
|3-3-2020|
+--------+
covid....
0
votos
1
respuesta
324
vistas
¿Como puedo rellenar con ceros mi fecha python?
Buenas noches quiero convertir el formato de mi fecha y que se rellene con ceros de esta forma 00-00-0000
este es mi codigo
covid=covid.select('Date')
covid.show(5)
+--------+
| Date|
+--------+
|...
1
voto
1
respuesta
239
vistas
¿Se puede hacer un count() selectivo?
Tengo una pregunta con relación al count() en PySpark. Me gustaría saber si el count() permite hacer un conteo de registros de forma selectiva. Por ejemplo: quiero contar dentro de un campo del df los ...
0
votos
0
respuestas
1k
vistas
¿Cómo guardar un DataFrame de Spark en memoria externe en formato CSV utilizando PySpark?
Después de leer un CSV y cargarlo en un DataFrame de Spark, le he hecho algunas modificaciones. Ahora quiero guardar ese DataFrame modificado en la memoria de la pc en formato CSV. ¿Cómo lo puedo ...
0
votos
1
respuesta
459
vistas
¿Como puedo cambiar el tipo de dato de un csv de String a Double en PySpark?
Tengo un csv donde el tipo de dato de todas las columnas es String y quiero convertirlas a Double. El csv lo cargo en un DataFrame de Saprk utilizado PySpark. Yo se que con withColumn puedo cambiar el ...
2
votos
1
respuesta
746
vistas
¿Como leer un csv grande en PySpark?
Estoy intentando leer un fichero csv en un dataframe utilizando PySpark. El problema es que el csv tiene 6596 filas x 98942 columnas y me sale un error que dice:
Py4JJavaError: An error occurred ...
0
votos
1
respuesta
281
vistas
ERROR SparkContext: Error initializing SparkContext. con spark-3.2.1-bin-hadoop3.2-scala2.13
Estoy aprovisionando, spark-3.2.1-bin-hadoop3.2-scala2.13.
Se instala Java 11 y python 3.10.
Pero cuando se ejecuta spark-shell, sale el error "ERROR SparkContext: Error initializing SparkContext&...
0
votos
1
respuesta
470
vistas
añadir columna "grupo" a un dataframe pyspark
Necesito añadir una nueva columna al suigiente datafrtame en pyspark de manera que aquellas filas que tengan el mismo valor en la columna "column_1" deberán tener el mismo valor númerico, ...
0
votos
1
respuesta
952
vistas
Obtener el porcentaje de una columna en Spark
Estoy intentado obtener el porcentaje sobre el total en pyspark del campo "item_type". Tengo el siguiente código:
import pyspark.sql.functions as f
from pyspark.sql.window import Window
df2....
0
votos
0
respuestas
113
vistas
Descargar archivo generado con PySpark
estoy ocupando pyspark con google colab y estoy trabajando con un .csv y le aplico varios filtros, y quiero descargar ese conjunto de datos como un nuevo csv.
¿Eso es posible?
Aqui mi codigo:
from ...
0
votos
1
respuesta
1k
vistas
Paso de variable a una sentencia SQL usando Spark, usando Python
Tengo un problema al querer pasar mi variable a una sentencia SQL usando spark.sql, en python.
mi intencion es la siguiente:
tengo mi variable asi, por ejemplo:
mi_variable = "mi_set_name"
...
1
voto
0
respuestas
43
vistas
Spark se queda sin memoria leyendo desde JDBC (MySQL)
Estoy ejecutando un job de Spark dentro de AWS Glue, usando multi threading y leyendo una tabla de MySql (particionada). Básicamente, tengo un thread por día de un mes específico, y cada día es una ...
0
votos
0
respuestas
117
vistas
¿cómo puedo comparar una lista de fechas para traer la más reciente?
s3 = boto3.client('s3')
archivos = s3.list_objects_v2(
Bucket= "xxxxxxxxxxxxxx",
Prefix= "xxxxxxxxxxxxx"
)
if archivos.get('Contents') != None:
for archivo in archivos['...
1
voto
2
respuestas
2k
vistas
Unir DataFrame pyspark [cerrada]
Muy buenas, estoy utilizando pyspark y quiero unir 2 pyspark.sql.dataframe.DataFrame, mis Dataframe tienen de nombre:
maxDF y minDF.
Estos son mis DF:
¿Alguna idea de como puedo hacerlo?
1
voto
1
respuesta
44
vistas
Sobreescritura en for anidados
Estoy tratando de realizar, una asignación de una lista con fechas a otra lista, estas fechas, están en formato string. El código es el siguiente:
lista_fechas = ['2021-03-23',
'2021-03-24',
'2021-...
0
votos
2
respuestas
840
vistas
Al instalar Spark y Hadoop en google colaboratory no se puede encontrar py4j, a causa de SPARK_HOME?
Quiero utilisar PySpark en Google Colab. Entonces sigué este tutorial. Utilicé la versiones de spark y hadoop las mas recientes:
!apt-get install openjdk-8-jdk-headless -qq > /dev/null
!wget -q ...
2
votos
1
respuesta
196
vistas
Uso de For para modificar tablas
Tengo el siguiente código en Pyspark:
%%time
lst_tablas = [tabla_pivote_0_15, tabla_pivote_15_30, tabla_pivote_30_60, tabla_pivote_60_90, tabla_pivote_90_120,
tabla_pivote_120_150, ...
1
voto
2
respuestas
108
vistas
Uso de función Lambda en Python
Tengo la siguiente función en Python:
def carta(lista):
a = ''
for i in lista:
if(i[:2] == 'CC') & ((i[-3:] != 'CC/')):
a = i
return a
El cual me regresaba el ...
2
votos
1
respuesta
396
vistas
Uso de "IF" con Comprension de Listas
Tengo el siguiente DataFrame:
Como podrán observar la columna hist_sol_folio tiene un arreglo con varios elementos separado por comas. Lo que necesito hacer es lograr iterar sobre esa columna y si en ...
1
voto
1
respuesta
335
vistas
Crear variable agregada en SQL Query - PySpark
Soy bastante nuevo en SQL y estoy analizando los tweets contenidos en un fichero .json en el entorno de ApacheSpark. Tras haber leído el fichero, esta es su estructura:
tweets_sample.show()
+---------...
0
votos
1
respuesta
79
vistas
Plot de un Clustering
Tengo un vector llamado pca, del cual descompongo sus valores los cuales llame x y y de la siguiente manera:
from pyspark.ml.linalg import Vectors
var = transformed.select('customer_id','pca')
def ...
2
votos
1
respuesta
88
vistas
Librería Clustering Evaluator desactualizada
Estoy intentando realizar un algoritmo de ML no supervisado, para ello estoy probando con el algoritmo de K-Means en pyspark. Sin embargo al correr el código de la documentación que es el siguiente:
...
1
voto
1
respuesta
419
vistas
Problema al Realizar Correlación ente Variables
Estoy intentando realizar un análisis de correlación de variables. Para lo cual tengo la información en un RDD, lo convierto a DataFrame con Pandas. Me aseguro que todos los datos sean numéricos y ...
0
votos
1
respuesta
3k
vistas
Agregar una columna nueva a partir de otra en Pyspark
Muy buenas, (empezando con spark).
estoy intentando una columna nueva a partir de otro tipo integer para que con valores inferiores a 10, me indique 0 en la columna nueva o sino crear 1.
Pero debo ...
1
voto
0
respuestas
492
vistas
Obtener el número recomendado de topics de un modelo LDA usando pyspark.ml
He entrenado un modelo LDA usando pyspark para clasificar textos por temas, probando diferentes valores para K. Sin embargo, para validar que el K seleccionado es correcto quisiera obtener el ...
1
voto
1
respuesta
1k
vistas
Como leer con pyspark ficheros en databricks desde DBFS que han sido dejado como resultado de una ejecución anterior
Tengo un par de notebooks en databricks el notebook1 para el tratamiento de textos (tokenizar, borrar stopwords...) que da como salida un fichero de texto limpio. El notebook2, lee el texto limpio y ...
0
votos
1
respuesta
2k
vistas
Reemplazar diferentes textos muy similares, por un valor fijo usando pyspark
Estoy haciendo nlp con pyspark sobre unas opiniones de clientes y quiero ocultar el nombre de la marca de la empresa, reemplazando todas las coincidencias en el texto, por un valor fijo (p.e. "...
0
votos
1
respuesta
4k
vistas
PySpark - Como extraer información de una columna de un DataFrame de Spark en formato JSON pero del tipo String
Me encuentro trabajando con PySpark y usando los DataFrame de Spark en el que cada row del DataFrame contiene esta información (que va a ser siempre la misma), aunque puedan variar los valores que hay ...
1
voto
1
respuesta
3k
vistas
Calcular nueva columna en spark df, cruzando columna de tipo lista en df1 y columna de texto en df2 con pyspark
Estoy usando spark 2.4.5 y necesito calcular el score de sentimientos de la lista de tokens (columna MeaningfulWords) del df1, según las palabras y scores del df2 (diccionario de sentimientos). En Df1 ...
0
votos
0
respuestas
195
vistas
¿Cómo crear todas las combinaciones posibles de múltiples datraframe en Pyspark?
Tengo 3 dataframe en pyspark, y quiero obtener un nuevo dataframe con todas las combinaciones posibles de estos dataframe. Los estoy haciendo (no se si sea la mejor manera) pero cuando lo escalo a mi ...
0
votos
0
respuestas
105
vistas
Set key in a spark dataframe
Tengo un dataframe de spark (no es un rdd) en el que una de las columnas se sabe que tiene valores únicos. Me parece que tiene sentido pensar que algunas operaciones que se puedan ejecutar sobre el ...
0
votos
1
respuesta
823
vistas
No consigo que funcione pyspark en windows 10
Estoy intentando instalar pyspark en mi ordenador. Primero lo intenté con Anaconda, después eliminé Anaconda e instalé Python en el ordenador, pero me aparece siempre el mismo fallo y no encuentro una ...
0
votos
0
respuestas
116
vistas
Algoritmo de recomendación ALS de Spark ML retorna items ya vistos
La implementación de Spark ML del algoritmo Alternate Least Squares para recomendaciones, produce un modelo que puede aplicarse a los artículos ya vistos (training.itemCol, para películas vistas, en ...
0
votos
2
respuestas
560
vistas
Como puedo ver un RDD en Spark.python
tengo el siguiente código, necesito eliminar la puntuación de la información obtenida en un archivo, aplico una formula para hacer el ejercicio, no me genera error, pero no he podido ver la ...