Preguntas con la etiqueta [pyspark]

PySpark es la API en Python de Apache-Spark que expone los recursos del framework de computación distribuida para análisis de datos en Python.

Filtrar por
Ordenado por
Etiquetadas con
0 votos
0 respuestas
18 vistas

import databricks.koalas as ks :

Hola gente; Tengo este problema; al momento de importar databricks.koalas me sale este error: Estoy intentando importar la librería de databricks.koalas para hacer transformaciones de pandas a spark; ...
Francisco Peña's user avatar
0 votos
0 respuestas
23 vistas

Generar fecha de manera consecutiva, copiar valor en fechas con Pyspark

Tengo una dificultad de como plantear mi código para este escenario, por tal motivo recurro a su ayuda, por favor podrían orientarme como podría resolverlo. El cuadro mas grande es como lo tengo en mi ...
Carlos's user avatar
  • 3
0 votos
1 respuesta
53 vistas

Asignar valor de DF en cadena texto en Pyspark

Tengo el siguiente problema: Como puedo asignar el valor de un dataframe a una cadena texto, ya al momento de concatenar la variable, no reconoce el valor, sino el nombre. Ejemplo: He creado unas ...
Carlos's user avatar
  • 3
2 votos
0 respuestas
231 vistas

como sacar el año de un campo tipo fecha en spark

¿Qué semana del año 2018 tuvo el mayor número de llamadas?** final_df.withColumn("IncidentDate",to_timestamp(col("IncidentDate"))).withColumn("year", date_format(col(&...
Alberto Blanco's user avatar
1 voto
1 respuesta
29 vistas

Crear una partición en PostgreSQL usando el conector JDBC de spark

Necesito automatizar la creación de una partición en PostgreSQL pero utilizando un job de spark. Si corro la siguiente consulta en la consola de postgresql, jala bien: CREATE TABLE IF NOT EXISTS ...
Cuauhtli's user avatar
  • 8,204
0 votos
0 respuestas
56 vistas

Problema al unir dos csv en pyspark dataframes

Necesito unir 3 csv en pyspark por medio de dataframes en google colab, al unir los dos primeros csv me salta un error, dejo el código en la siguiente linea: onf = SparkConf().setMaster('local')....
akaligod's user avatar
0 votos
1 respuesta
172 vistas

Condicionales dentro de when en pyspark

Estoy escribiendo un código para construir una columna de un dataframe a partir de otras columnas en pyspark. El código sería el siguiente: sdf = sdf.withColumn('nueva_variable', when(sdf['variable2']&...
Daniel's user avatar
  • 1
0 votos
0 respuestas
63 vistas

Error: Column is not iterable

Me gustaría añadir una columna de tipo Integer con el número total de filas de cada tabla. Tengo esto: Database Tabla Columna default tabla1 columna1 default tabla1 columna2 default tabla2 ...
Guillermo Colom's user avatar
0 votos
0 respuestas
47 vistas

¿Cómo guardar un modelo DecisionTreeClassifier MLlib de Spark en formato ONNX?

En el siguiente código de python: #Entrenamiento del modelo: *model_clas=DecisionTreeClassifier(labelCol='Clasificacion_OBJ',maxDepth=5,maxBins=20,minInstancesPerNode=1,impurity = impurity,seed=25)....
Daniel's user avatar
  • 1
0 votos
1 respuesta
102 vistas

Como copiar la estructura de un DF para leer otro DF con esa estructura - PYSPARK

estoy intentando certificar dos DF de diferentes ambientes. El primero se encuentra cargado en HUE y el segundo en un servidor SQL. Para la certificación he creado una llave concatenando todas las ...
FEQR's user avatar
  • 1
1 voto
0 respuestas
26 vistas

¿Cómo sincronizar los lotes(batches) en petastorm?

Soy nuevo usando petastorm y estoy enfrentando algunos problmas. Necesito recorrer un dataset obteniendo 3 batches(lotes) con los mismos valores para aplicar una transformacion sobre 2 de ellos. El ...
Omar Puentes's user avatar
0 votos
0 respuestas
49 vistas

Función para dar como resultado combinaciones de los valores de un array en Python

Estimada comunidad tengo una duda, deseo una funcion en python que pueda realizar lo siguiente: dar como input una cadena: valor='ABCD' y que la función me de como resultado las posibles combinaciones ...
Cesar Olivera's user avatar
1 voto
2 respuestas
1k vistas

PySpark: Una función que devuelva los registros en los que hay algún not null de los campos insertados por parámetros

Mi idea es parametrizar lo siguiente: df.where(col("a").isNotNull() | col("b").isNotNull() | col("c").isNotNull() | col("d").isNotNull()) Esto devuelve los ...
javiertxu18's user avatar
1 voto
0 respuestas
31 vistas

Py4JJavaError: PythonRDD.collectAndServe when using action command in Spark

Estoy empezando con Python Spark intentando hacer este ejercicio en el que hay que calcular la media de amigos por edades de una red social. Este es el código que hice: def preprocesamiento_datos(line)...
vbcod's user avatar
  • 11
0 votos
1 respuesta
114 vistas

Bucle con fechas

Estoy intentando crear un bucle que se encargue de leer un df particionado por fecha. Este df solo está particionado por los días hábiles del mes, por lo que si yo intento leer la tabla un 30 o 31 del ...
Py_spartan's user avatar
0 votos
2 respuestas
1k vistas

Dividir registros en bloques dataframe

intento dividir un dataframe de 10000 registros en bloques de 200 de manera óptima en python. uso un monotonically_increasing_id y luego los divido por rangos, pero es muy lento. ¿existe otro método? ...
Loco de la memoriae's user avatar
0 votos
2 respuestas
164 vistas

Error al convertir String a datetime Python

Hola quiero convertir la columna "Date" de mi dataset en Datetime covid.show(5) +--------+ | Date| +--------+ |3-1-2020| |3-2-2020| |3-2-2020| |3-2-2020| |3-3-2020| +--------+ covid....
Cris AC's user avatar
  • 11
0 votos
1 respuesta
324 vistas

¿Como puedo rellenar con ceros mi fecha python?

Buenas noches quiero convertir el formato de mi fecha y que se rellene con ceros de esta forma 00-00-0000 este es mi codigo covid=covid.select('Date') covid.show(5) +--------+ | Date| +--------+ |...
Cris AC's user avatar
  • 11
1 voto
1 respuesta
239 vistas

¿Se puede hacer un count() selectivo?

Tengo una pregunta con relación al count() en PySpark. Me gustaría saber si el count() permite hacer un conteo de registros de forma selectiva. Por ejemplo: quiero contar dentro de un campo del df los ...
Py_spartan's user avatar
0 votos
0 respuestas
1k vistas

¿Cómo guardar un DataFrame de Spark en memoria externe en formato CSV utilizando PySpark?

Después de leer un CSV y cargarlo en un DataFrame de Spark, le he hecho algunas modificaciones. Ahora quiero guardar ese DataFrame modificado en la memoria de la pc en formato CSV. ¿Cómo lo puedo ...
Rirro Romeu's user avatar
0 votos
1 respuesta
459 vistas

¿Como puedo cambiar el tipo de dato de un csv de String a Double en PySpark?

Tengo un csv donde el tipo de dato de todas las columnas es String y quiero convertirlas a Double. El csv lo cargo en un DataFrame de Saprk utilizado PySpark. Yo se que con withColumn puedo cambiar el ...
Rirro Romeu's user avatar
2 votos
1 respuesta
746 vistas

¿Como leer un csv grande en PySpark?

Estoy intentando leer un fichero csv en un dataframe utilizando PySpark. El problema es que el csv tiene 6596 filas x 98942 columnas y me sale un error que dice: Py4JJavaError: An error occurred ...
Rirro Romeu's user avatar
0 votos
1 respuesta
281 vistas

ERROR SparkContext: Error initializing SparkContext. con spark-3.2.1-bin-hadoop3.2-scala2.13

Estoy aprovisionando, spark-3.2.1-bin-hadoop3.2-scala2.13. Se instala Java 11 y python 3.10. Pero cuando se ejecuta spark-shell, sale el error "ERROR SparkContext: Error initializing SparkContext&...
R. Acosta's user avatar
0 votos
1 respuesta
470 vistas

añadir columna "grupo" a un dataframe pyspark

Necesito añadir una nueva columna al suigiente datafrtame en pyspark de manera que aquellas filas que tengan el mismo valor en la columna "column_1" deberán tener el mismo valor númerico, ...
alfonsomore's user avatar
0 votos
1 respuesta
952 vistas

Obtener el porcentaje de una columna en Spark

Estoy intentado obtener el porcentaje sobre el total en pyspark del campo "item_type". Tengo el siguiente código: import pyspark.sql.functions as f from pyspark.sql.window import Window df2....
Sergi Solé's user avatar
0 votos
0 respuestas
113 vistas

Descargar archivo generado con PySpark

estoy ocupando pyspark con google colab y estoy trabajando con un .csv y le aplico varios filtros, y quiero descargar ese conjunto de datos como un nuevo csv. ¿Eso es posible? Aqui mi codigo: from ...
Jose Colin's user avatar
0 votos
1 respuesta
1k vistas

Paso de variable a una sentencia SQL usando Spark, usando Python

Tengo un problema al querer pasar mi variable a una sentencia SQL usando spark.sql, en python. mi intencion es la siguiente: tengo mi variable asi, por ejemplo: mi_variable = "mi_set_name" ...
Edgar Rojas's user avatar
1 voto
0 respuestas
43 vistas

Spark se queda sin memoria leyendo desde JDBC (MySQL)

Estoy ejecutando un job de Spark dentro de AWS Glue, usando multi threading y leyendo una tabla de MySql (particionada). Básicamente, tengo un thread por día de un mes específico, y cada día es una ...
Ema's user avatar
  • 11
0 votos
0 respuestas
117 vistas

¿cómo puedo comparar una lista de fechas para traer la más reciente?

s3 = boto3.client('s3') archivos = s3.list_objects_v2( Bucket= "xxxxxxxxxxxxxx", Prefix= "xxxxxxxxxxxxx" ) if archivos.get('Contents') != None: for archivo in archivos['...
Kenita Escobar's user avatar
1 voto
2 respuestas
2k vistas

Unir DataFrame pyspark [cerrada]

Muy buenas, estoy utilizando pyspark y quiero unir 2 pyspark.sql.dataframe.DataFrame, mis Dataframe tienen de nombre: maxDF y minDF. Estos son mis DF: ¿Alguna idea de como puedo hacerlo?
Jose Colin's user avatar
1 voto
1 respuesta
44 vistas

Sobreescritura en for anidados

Estoy tratando de realizar, una asignación de una lista con fechas a otra lista, estas fechas, están en formato string. El código es el siguiente: lista_fechas = ['2021-03-23', '2021-03-24', '2021-...
Luis Manuel Juárez Palazuelos's user avatar
0 votos
2 respuestas
840 vistas

Al instalar Spark y Hadoop en google colaboratory no se puede encontrar py4j, a causa de SPARK_HOME?

Quiero utilisar PySpark en Google Colab. Entonces sigué este tutorial. Utilicé la versiones de spark y hadoop las mas recientes: !apt-get install openjdk-8-jdk-headless -qq > /dev/null !wget -q ...
Revolucion for Monica's user avatar
2 votos
1 respuesta
196 vistas

Uso de For para modificar tablas

Tengo el siguiente código en Pyspark: %%time lst_tablas = [tabla_pivote_0_15, tabla_pivote_15_30, tabla_pivote_30_60, tabla_pivote_60_90, tabla_pivote_90_120, tabla_pivote_120_150, ...
Ricardo J. Martínez Suástegui's user avatar
1 voto
2 respuestas
108 vistas

Uso de función Lambda en Python

Tengo la siguiente función en Python: def carta(lista): a = '' for i in lista: if(i[:2] == 'CC') & ((i[-3:] != 'CC/')): a = i return a El cual me regresaba el ...
Ricardo J. Martínez Suástegui's user avatar
2 votos
1 respuesta
396 vistas

Uso de "IF" con Comprension de Listas

Tengo el siguiente DataFrame: Como podrán observar la columna hist_sol_folio tiene un arreglo con varios elementos separado por comas. Lo que necesito hacer es lograr iterar sobre esa columna y si en ...
Ricardo J. Martínez Suástegui's user avatar
1 voto
1 respuesta
335 vistas

Crear variable agregada en SQL Query - PySpark

Soy bastante nuevo en SQL y estoy analizando los tweets contenidos en un fichero .json en el entorno de ApacheSpark. Tras haber leído el fichero, esta es su estructura: tweets_sample.show() +---------...
Panri93's user avatar
  • 695
0 votos
1 respuesta
79 vistas

Plot de un Clustering

Tengo un vector llamado pca, del cual descompongo sus valores los cuales llame x y y de la siguiente manera: from pyspark.ml.linalg import Vectors var = transformed.select('customer_id','pca') def ...
Ricardo J. Martínez Suástegui's user avatar
2 votos
1 respuesta
88 vistas

Librería Clustering Evaluator desactualizada

Estoy intentando realizar un algoritmo de ML no supervisado, para ello estoy probando con el algoritmo de K-Means en pyspark. Sin embargo al correr el código de la documentación que es el siguiente: ...
Ricardo J. Martínez Suástegui's user avatar
1 voto
1 respuesta
419 vistas

Problema al Realizar Correlación ente Variables

Estoy intentando realizar un análisis de correlación de variables. Para lo cual tengo la información en un RDD, lo convierto a DataFrame con Pandas. Me aseguro que todos los datos sean numéricos y ...
Ricardo J. Martínez Suástegui's user avatar
0 votos
1 respuesta
3k vistas

Agregar una columna nueva a partir de otra en Pyspark

Muy buenas, (empezando con spark). estoy intentando una columna nueva a partir de otro tipo integer para que con valores inferiores a 10, me indique 0 en la columna nueva o sino crear 1. Pero debo ...
Cafepoetica's user avatar
1 voto
0 respuestas
492 vistas

Obtener el número recomendado de topics de un modelo LDA usando pyspark.ml

He entrenado un modelo LDA usando pyspark para clasificar textos por temas, probando diferentes valores para K. Sin embargo, para validar que el K seleccionado es correcto quisiera obtener el ...
EJS's user avatar
  • 621
1 voto
1 respuesta
1k vistas

Como leer con pyspark ficheros en databricks desde DBFS que han sido dejado como resultado de una ejecución anterior

Tengo un par de notebooks en databricks el notebook1 para el tratamiento de textos (tokenizar, borrar stopwords...) que da como salida un fichero de texto limpio. El notebook2, lee el texto limpio y ...
EJS's user avatar
  • 621
0 votos
1 respuesta
2k vistas

Reemplazar diferentes textos muy similares, por un valor fijo usando pyspark

Estoy haciendo nlp con pyspark sobre unas opiniones de clientes y quiero ocultar el nombre de la marca de la empresa, reemplazando todas las coincidencias en el texto, por un valor fijo (p.e. "...
EJS's user avatar
  • 621
0 votos
1 respuesta
4k vistas

PySpark - Como extraer información de una columna de un DataFrame de Spark en formato JSON pero del tipo String

Me encuentro trabajando con PySpark y usando los DataFrame de Spark en el que cada row del DataFrame contiene esta información (que va a ser siempre la misma), aunque puedan variar los valores que hay ...
Ares777's user avatar
  • 27
1 voto
1 respuesta
3k vistas

Calcular nueva columna en spark df, cruzando columna de tipo lista en df1 y columna de texto en df2 con pyspark

Estoy usando spark 2.4.5 y necesito calcular el score de sentimientos de la lista de tokens (columna MeaningfulWords) del df1, según las palabras y scores del df2 (diccionario de sentimientos). En Df1 ...
EJS's user avatar
  • 621
0 votos
0 respuestas
195 vistas

¿Cómo crear todas las combinaciones posibles de múltiples datraframe en Pyspark?

Tengo 3 dataframe en pyspark, y quiero obtener un nuevo dataframe con todas las combinaciones posibles de estos dataframe. Los estoy haciendo (no se si sea la mejor manera) pero cuando lo escalo a mi ...
Enrique Santibáñez's user avatar
0 votos
0 respuestas
105 vistas

Set key in a spark dataframe

Tengo un dataframe de spark (no es un rdd) en el que una de las columnas se sabe que tiene valores únicos. Me parece que tiene sentido pensar que algunas operaciones que se puedan ejecutar sobre el ...
Rodrigo Serna Pérez's user avatar
0 votos
1 respuesta
823 vistas

No consigo que funcione pyspark en windows 10

Estoy intentando instalar pyspark en mi ordenador. Primero lo intenté con Anaconda, después eliminé Anaconda e instalé Python en el ordenador, pero me aparece siempre el mismo fallo y no encuentro una ...
Ernesto Rogado's user avatar
0 votos
0 respuestas
116 vistas

Algoritmo de recomendación ALS de Spark ML retorna items ya vistos

La implementación de Spark ML del algoritmo Alternate Least Squares para recomendaciones, produce un modelo que puede aplicarse a los artículos ya vistos (training.itemCol, para películas vistas, en ...
peleitor's user avatar
  • 101
0 votos
2 respuestas
560 vistas

Como puedo ver un RDD en Spark.python

tengo el siguiente código, necesito eliminar la puntuación de la información obtenida en un archivo, aplico una formula para hacer el ejercicio, no me genera error, pero no he podido ver la ...
Andres Orjuela's user avatar