Preguntas con la etiqueta [pyspark]
PySpark es la API en Python de Apache-Spark que expone los recursos del framework de computación distribuida para análisis de datos en Python.
44
preguntas
0
votos
0respuestas
7 vistas
¿Cómo especificar los nodos que voy a utilizar en PySpark?
Estoy aprendiendo a usar Spark, pero hay cosas que todavía no entiendo. Tengo el siguiente código
import urllib
import urllib.request
f = urllib.request.urlretrieve("http://kdd.ics.uci.edu/...
-3
votos
0respuestas
33 vistas
PySpark problemas de comprensión de código
tengo un problema a la hora de utilizar PySpark. Entiendo en concepto de que trabaja en clusteres y que puede hacer peticiones a base de datos tipo Hadoop. Estas acciones funcionan en paralelo y esta ...
0
votos
0respuestas
27 vistas
Como puedo calcular la velocidad instantánea de este dataframe?
Tengo el siguiente DataFrame
df2= vehicleDF.select('Vehicle Front.Longitude','Vehicle Front.Latitude', 'Vehicle Id', 'Step').sort('Vehicle Id','Step')
en esta imagen se ve mejor los datos
y lo que ...
2
votos
1respuesta
91 vistas
Uso de For para modificar tablas
Tengo el siguiente código en Pyspark:
%%time
lst_tablas = [tabla_pivote_0_15, tabla_pivote_15_30, tabla_pivote_30_60, tabla_pivote_60_90, tabla_pivote_90_120,
tabla_pivote_120_150, ...
1
voto
2respuestas
33 vistas
Uso de función Lambda en Python
Tengo la siguiente función en Python:
def carta(lista):
a = ''
for i in lista:
if(i[:2] == 'CC') & ((i[-3:] != 'CC/')):
a = i
return a
El cual me regresaba el ...
2
votos
1respuesta
34 vistas
Uso de “IF” con Comprension de Listas
Tengo el siguiente DataFrame:
Como podrán observar la columna hist_sol_folio tiene un arreglo con varios elementos separado por comas. Lo que necesito hacer es lograr iterar sobre esa columna y si en ...
1
voto
1respuesta
70 vistas
Crear variable agregada en SQL Query - PySpark
Soy bastante nuevo en SQL y estoy analizando los tweets contenidos en un fichero .json en el entorno de ApacheSpark. Tras haber leído el fichero, esta es su estructura:
tweets_sample.show()
+---------...
0
votos
1respuesta
45 vistas
Plot de un Clustering
Tengo un vector llamado pca, del cual descompongo sus valores los cuales llame x y y de la siguiente manera:
from pyspark.ml.linalg import Vectors
var = transformed.select('customer_id','pca')
def ...
2
votos
1respuesta
37 vistas
Librería Clustering Evaluator desactualizada
Estoy intentando realizar un algoritmo de ML no supervisado, para ello estoy probando con el algoritmo de K-Means en pyspark. Sin embargo al correr el código de la documentación que es el siguiente:
...
0
votos
0respuestas
98 vistas
Error con modelo LDA al predecir nuevas entradas usando pyspark.ml.clustering en databricks
He entrenado y guardado un modelo LDA para clasificación de temas usando pyspark.ml.clustering en databricks, pero cuando intento predecir temas a nuevas entradas de texto obtengo un error.
Este es el ...
0
votos
0respuestas
6 vistas
leer información de sql server usando aws glue con python
estoy creando un ETL en AWS GLUE, necesito poder leer información de sqlserver usando python, alguna idea de como puedo hacer esto?, trate usando la librería pymssql, pero AWS GLUE no la soporta.
1
voto
1respuesta
56 vistas
Problema al Realizar Correlación ente Variables
Estoy intentando realizar un análisis de correlación de variables. Para lo cual tengo la información en un RDD, lo convierto a DataFrame con Pandas. Me aseguro que todos los datos sean numéricos y ...
0
votos
0respuestas
15 vistas
Agregar una columna nueva a partir de otra en Pyspark
Muy buenas, (empezando con spark).
estoy intentando una columna nueva a partir de otro tipo integer para que con valores inferiores a 10, me indique 0 en la columna nueva o sino crear 1.
Pero debo ...
1
voto
0respuestas
103 vistas
Obtener el número recomendado de topics de un modelo LDA usando pyspark.ml
He entrenado un modelo LDA usando pyspark para clasificar textos por temas, probando diferentes valores para K. Sin embargo, para validar que el K seleccionado es correcto quisiera obtener el ...
0
votos
0respuestas
15 vistas
between dataframe catalog glue
como puedo hacer un between para que me filtre entre la fecha actual a 60 días atrás?
DyF = glueContext.create_dynamic_frame.from_catalog(database = "se_gas_gold", table_name = "...
0
votos
0respuestas
13 vistas
Como genero estadística agrupada sobre un RDD en SPARK
Necesito una buena estrategia par poder resolver lo siguiente. En un RDD tengo la siguiente información,
clave,fecha, num_1, num_2, num_3
1,202001, 1,2,3
1,202002, 2,3,4
1,202003, 3,4,5
2,202001, 9,8,...
1
voto
1respuesta
180 vistas
Como leer con pyspark ficheros en databricks desde DBFS que han sido dejado como resultado de una ejecución anterior
Tengo un par de notebooks en databricks el notebook1 para el tratamiento de textos (tokenizar, borrar stopwords...) que da como salida un fichero de texto limpio. El notebook2, lee el texto limpio y ...
0
votos
1respuesta
272 vistas
Reemplazar diferentes textos muy similares, por un valor fijo usando pyspark
Estoy haciendo nlp con pyspark sobre unas opiniones de clientes y quiero ocultar el nombre de la marca de la empresa, reemplazando todas las coincidencias en el texto, por un valor fijo (p.e. "...
0
votos
1respuesta
235 vistas
PySpark - Como extraer información de una columna de un DataFrame de Spark en formato JSON pero del tipo String
Me encuentro trabajando con PySpark y usando los DataFrame de Spark en el que cada row del DataFrame contiene esta información (que va a ser siempre la misma), aunque puedan variar los valores que hay ...
1
voto
1respuesta
583 vistas
Calcular nueva columna en spark df, cruzando columna de tipo lista en df1 y columna de texto en df2 con pyspark
Estoy usando spark 2.4.5 y necesito calcular el score de sentimientos de la lista de tokens (columna MeaningfulWords) del df1, según las palabras y scores del df2 (diccionario de sentimientos). En Df1 ...
0
votos
0respuestas
29 vistas
¿Cómo crear todas las combinaciones posibles de múltiples datraframe en Pyspark?
Tengo 3 dataframe en pyspark, y quiero obtener un nuevo dataframe con todas las combinaciones posibles de estos dataframe. Los estoy haciendo (no se si sea la mejor manera) pero cuando lo escalo a mi ...
0
votos
0respuestas
23 vistas
Set key in a spark dataframe
Tengo un dataframe de spark (no es un rdd) en el que una de las columnas se sabe que tiene valores únicos. Me parece que tiene sentido pensar que algunas operaciones que se puedan ejecutar sobre el ...
0
votos
0respuestas
11 vistas
Como puedo identificar los nodos en arboles en pyspark
¿Cómo puedo ver los nodos correspondientes a cada fila de una base de datos en un árbol de decisión en pyspark?, espero su apoyo.
Saludos.
0
votos
0respuestas
16 vistas
¿Cómo puedo hacer una udf en pyspark para separar una columna de tipo StringType en el número máximo de substrings que posea?
column
+----+----------------------+
||val1, val2, val3, val4|
||val1, val2, val3, val4|
|val1, val2, val3|
|val1, val2, val3|
Tengo una columna con valores separados por , y quiero hacer una udf ...
0
votos
1respuesta
69 vistas
No consigo que funcione pyspark en windows 10
Estoy intentando instalar pyspark en mi ordenador. Primero lo intenté con Anaconda, después eliminé Anaconda e instalé Python en el ordenador, pero me aparece siempre el mismo fallo y no encuentro una ...
0
votos
0respuestas
34 vistas
Algoritmo de recomendación ALS de Spark ML retorna items ya vistos
La implementación de Spark ML del algoritmo Alternate Least Squares para recomendaciones, produce un modelo que puede aplicarse a los artículos ya vistos (training.itemCol, para películas vistas, en ...
0
votos
2respuestas
109 vistas
Como puedo ver un RDD en Spark.python
tengo el siguiente código, necesito eliminar la puntuación de la información obtenida en un archivo, aplico una formula para hacer el ejercicio, no me genera error, pero no he podido ver la ...
0
votos
0respuestas
57 vistas
suma acumulada pyspark
datos3=datos2.withColumn("cumulativeSum",sum(col("count")).over(Window.partitionBy("count").orderBy("count")))
datos3.select('count','cumulativeSum').show(25)
...
2
votos
0respuestas
47 vistas
Guardar fichero por cada ejecución del notebook
Necesito guardar cada ejecución de un notebook de PySpark en un path que tengo.
Solo necesito que se guarde el nombre del fichero con el tiempo que ha tardado cada ejecución del notebook. No necesito ...
0
votos
1respuesta
338 vistas
Realizar el Join de un par de tablas, resultado en DataFrame y Spark sql
¿Cómo puedo realizar el Join de una tabla llamada "TABLA_X" con "TABLA_Y" a través del campo col_A_id?
Teniendo en cuenta los siguientes puntos:
-Considerar rendimiento
-TABLA_X:30GB
-TABLA_Y:15MB
-...
1
voto
1respuesta
143 vistas
Join de 3 Dataframes
necesito un poco de ayuda, necesito unir 3 dataframes en un dataframe nuevo. son dataframes sencillos, donde tienen una columna en comun con el mismo nombre, pero no consigo unir los 3 en un dataframe ...
2
votos
0respuestas
94 vistas
Comparar valores de una celda de distintas filas para un id especifico con pyspark
Como puedo cambiar el valor de una columna dependiendo cierta validación entre algunas celdas.
En este ejemplo para cada id tengo q validar si el kilometraje en la fila es mayor o igual que el ...
0
votos
0respuestas
30 vistas
Matrix de conexión de usuarios en Python/Spark
Tengo un fichero donde se muestra las relaciones entre los ids de usuarios.
El fichero es de esta forma:
1 1
1 2
1 3
2 1
2 3
Quiero a través de python y spark conseguir una matrix de tamaño ...
1
voto
1respuesta
81 vistas
Error en Jupyter con SPARK (Pyhton)
Python, Spark, Jupyter en mi notebook y me aparece una falla cuando intento correr el siguiente código, pongo este ejemplo (análisis de texto), pero salta en muchos otros programas, ya probé de todo, ...
0
votos
1respuesta
56 vistas
RDDs auxiliares dentro de funcion map
Soy Nuevo en Apache Spark. Tengo una consulta con respecto a los RDD y las transformaciones. Tengo un PairRDD con datos cargados ya. Y ahora lo que necesito, es: a través de una transformacion (...
0
votos
1respuesta
24 vistas
Elimina las líneas no válidas contenidas en un RDD (pyspark)
Me están solicitando Eliminar las líneas no válidas contenidas en un RDD, pero no encuentro el comando que me lo permita.
Soy nueva en pyspark y no tengo conocimientos y por internet no encuentro lo ...
0
votos
1respuesta
59 vistas
orderBy múltiple usando pyspark python 3.x
Hacer orderBy para 3 columnas, de la siguiente forma:
col1 Ascendente
col2 Ascendente
col3 Descendente
Intente de la siguiente forma, pero lo deja todo ascendente:
training=training.orderBy(['...
1
voto
0respuestas
159 vistas
Agrupar fechas en base a diferencia de más de 30 días entre dos consecutivas PySpark en Python 3.x
Tenemos un sistema el cual trabaja mejor con la librería pySpark que Pandas, en relación a trabajar con grandes volúmenes de información.
Quiero realizar una consulta y quiero tener una agrupación la ...
1
voto
1respuesta
458 vistas
Obtener nueva columna con el nombre de la columna que cumple cierta condición
A partir de un DataFrame de la forma:
+--------+-------+--------------+-----+
|tag_html|tag_css|tag_javascript|count|
+--------+-------+--------------+-----+
| 0.0| 0.0| 0.0| 8655|
| ...
1
voto
1respuesta
624 vistas
¿Cómo filtrar filas que solo contienen un valor igual a 1?
Tengo un DataFrame con los siguientes valores:
+--------+-------+--------------+-----+
|tag_html|tag_css|tag_javascript|count|
+--------+-------+--------------+-----+
| 0.0| 0.0| 0.0|...
1
voto
1respuesta
3k vistas
¿Cómo puedo reemplazar los valores nulos de una columna específica en un dataframe?
Tengo un DataFrame con algunas columnas que tienen valores nulos, y para cada columna quiero sustituirlos con valores específicos. He usado:
df['variable1'].fillna('sustituto', inplace = True)
pero ...
0
votos
1respuesta
540 vistas
Cambiar valores de un RDD
cómo puedo cambiar todas las letras A por un 9 y todas las letras B por un 8 en un RDD con una función lambda.
He intentado esto pero no funciona:
rdd.map(lambda a: 9 if a == "A" else a == a)
rdd.map(...
3
votos
2respuestas
551 vistas
Borrar un string en base a condiciones con python
Quiero hacer lo siguiente en python(pyspark)
Tengo un RDD y necesito crear una función que borre un string en base a unas condiciones para después aplicar esa función al RDD completo.
Debo conseguir ...
3
votos
1respuesta
517 vistas
Cómo convertir lista de listas en lista de strings en Spark
Imaginen que después de realizar la lectura de un fichero les queda una lista de esta forma:
>>> lista.take(2)
[['Hola ', 'qué ', 'tal'], ['muy ', 'bien']]
sin embargo, lo que quieren es ...