4
votos
Aceptado
Uso de For para modificar tablas
Tu fallo NO tiene que ver con pyspark, tiene que ver con el funcionamiento de Python
Para ello, primero te lo voy a explicar con Python puro, sin utilizar pyspark.
Explicación
En Python el operador = ...
3
votos
Cómo convertir lista de listas en lista de strings en Spark
Basta con realizar un mapeo con lambda sobre la lista en cuestión y operar con join en cada lista interior.
>>> lista = lista.map(lambda x : ''.join(x))
>>> lista.take(2)
['Hola qué ...
3
votos
Aceptado
Realizar el Join de un par de tablas, resultado en DataFrame y Spark sql
He realizado varios join de tablas que pueden ser muy pesadas, mi recomendacion es que realices el join, una vez con el dataframe que resulta podras realizar los select de la columnas, groupBY, sort y ...
3
votos
Aceptado
orderBy múltiple usando pyspark python 3.x
Según la documentación:
orderBy(*cols, **kwargs) Returns a new DataFrame sorted by the
specified column(s).
Parameters:
cols – list of Column or column names to sort by.
...
3
votos
Aceptado
Sobreescritura en for anidados
El error no está en el código que estás compartiendo, sino que es visible en la captura de pantalla donde muestras el código real.
Específicamente el problema es (como bien te indica IPython):
...
2
votos
Aceptado
Uso de función Lambda en Python
Este lambda te retorna una arreglo con los elementos que cumplen la condición:
f = lambda lista : [x for x in lista if x[:2] == "CC" and x[3] != "/"]
La parte x for x in lista ...
2
votos
Aceptado
Uso de "IF" con Comprension de Listas
En el fondo lo que quieres saber es simplemente si 'Q0' está o no está en la lista, y esa información te la da el operador in:
'Q0' in lista
que te devolverá True si está, o False si no.
Si quieres ...
2
votos
Aceptado
Paso de variable a una sentencia SQL usando Spark, usando Python
Puedes usar f-string para formar el string.
Un f-string es un string donde hay expresiones encerradas entre {}:
pag = 1
linea = f"Pagina {pag}"
Esto, por ejemplo, dejaría en "Pagina 1&...
2
votos
Unir DataFrame pyspark
Podrías utilizar el método union:
df = df1.withColumnRenamed('Mínimo', 'num') \
.union(df2.withColumnRenamed('Máximo', 'num'))
1
voto
Aceptado
¿Se puede hacer un count() selectivo?
validando la pregunta que formulas podrías realizarlo a través de una agrupación si es lo que requieres (contará todos los posibles valores de la columna), algo similar a esto:
from pyspark.sql import ...
1
voto
Al instalar Spark y Hadoop en google colaboratory no se puede encontrar py4j, a causa de SPARK_HOME?
Analizando el error veo el problema esta en la variableos.environ["SPARK_HOME"] = "/content/spark-3.1.1-bin-hadoop3.2.tgz" estas apuntando al paquete .tgz cuando tienes que apuntas ...
1
voto
Uso de función Lambda en Python
carta tambien se puede convertir a un lambda usando filter y next
carta2 = lambda lista: next(filter(lambda cod: cod[:2] == 'CC'
and cod[-3:] != 'CC/', ...
1
voto
Borrar un string en base a condiciones con python
Si te entendido bién lo que necesitas es una función que retorne True si una cadena solo contiene '9', '1', '%' y 'A' y False si contiene cualquier carácter diferente.
Para ello lo más simple es ...
1
voto
Aceptado
Crear variable agregada en SQL Query - PySpark
Buenas creo que te falta en select el campo de la salida
***COUNT(*) AS tweets***
users_agg = sqlContext.sql
("SELECT user.screen_name,
user.friends_count,
user....
1
voto
Aceptado
Plot de un Clustering
Finalmente lo pude resolver. Lo que me faltaba era un collect y castear las variables a lista de la siguiente forma:
x = list(var_a.select('x').collect())
y = list(var_a.select('y').collect())
Con ...
1
voto
Aceptado
Librería Clustering Evaluator desactualizada
Si quieres usar ClusteringEvaluator() necesitas tener una versión igual o mayor a la 2.3 Ya que es la versión en la que salió.
Documentación pyspark 2.2 puedes ver que NO se encuentra.
Documentación ...
1
voto
Aceptado
Como leer con pyspark ficheros en databricks desde DBFS que han sido dejado como resultado de una ejecución anterior
Yo probaría quitando el index. Porque se me hace que es un error en la definción del schema. Me parece que vos tenés el mismo problema que se ve en esta pregunta: NULL values when trying to import CSV ...
1
voto
Aceptado
Reemplazar diferentes textos muy similares, por un valor fijo usando pyspark
Para lo que vos estás pidiendo creo que antes de tratar de hacer que todos las palabras coincidan trataría de evaluar la similitud entre las dos cadenas de string y en base a eso filtrarlo. Me voy a ...
1
voto
Aceptado
Calcular nueva columna en spark df, cruzando columna de tipo lista en df1 y columna de texto en df2 con pyspark
Han resuelto mi problema en https://stackoverflow.com/questions/61687997/calculate-new-column-in-spark-dataframe-crossing-a-tokens-list-column-in-df1-wi:
Puede hacer esto primero con un join usando ...
1
voto
No consigo que funcione pyspark en windows 10
Configuré hace un año en windows, con anaconda, siguiendo estos pasos:
Instalar Java JDK 8.
Descargar el paquete Spark de la página oficial: http://spark.apache.org/downloads.
Programación con ...
Only top scored, non community-wiki answers of a minimum length are eligible
Etiquetas relacionadas
pyspark × 65python × 40
apache-spark × 26
spark × 11
python-3.x × 10
dataframe × 10
pandas × 5
databricks × 5
jupyter × 4
nlp × 4
sql × 3
csv × 3
machine-learning × 3
java × 2
mysql × 2
date × 2
dataset × 2
google-colab × 2
hadoop × 2
postgresql × 1
api × 1
lista × 1
datetime × 1
join × 1
aws × 1