Información de etiqueta

Respuestas populares con la etiqueta

4 votos
Aceptado

Uso de For para modificar tablas

Tu fallo NO tiene que ver con pyspark, tiene que ver con el funcionamiento de Python Para ello, primero te lo voy a explicar con Python puro, sin utilizar pyspark. Explicación En Python el operador = ...
Rubiales Alberto's user avatar
3 votos

Cómo convertir lista de listas en lista de strings en Spark

Basta con realizar un mapeo con lambda sobre la lista en cuestión y operar con join en cada lista interior. >>> lista = lista.map(lambda x : ''.join(x)) >>> lista.take(2) ['Hola qué ...
Mario Rodríguez's user avatar
3 votos
Aceptado

Realizar el Join de un par de tablas, resultado en DataFrame y Spark sql

He realizado varios join de tablas que pueden ser muy pesadas, mi recomendacion es que realices el join, una vez con el dataframe que resulta podras realizar los select de la columnas, groupBY, sort y ...
Mariano Moyano's user avatar
3 votos
Aceptado

orderBy múltiple usando pyspark python 3.x

Según la documentación: orderBy(*cols, **kwargs) Returns a new DataFrame sorted by the specified column(s). Parameters: cols – list of Column or column names to sort by. ...
Patricio Moracho's user avatar
3 votos
Aceptado

Sobreescritura en for anidados

El error no está en el código que estás compartiendo, sino que es visible en la captura de pantalla donde muestras el código real. Específicamente el problema es (como bien te indica IPython): ...
revliscano's user avatar
  • 1,829
2 votos
Aceptado

Uso de función Lambda en Python

Este lambda te retorna una arreglo con los elementos que cumplen la condición: f = lambda lista : [x for x in lista if x[:2] == "CC" and x[3] != "/"] La parte x for x in lista ...
Candid Moe's user avatar
  • 25.7k
2 votos
Aceptado

Uso de "IF" con Comprension de Listas

En el fondo lo que quieres saber es simplemente si 'Q0' está o no está en la lista, y esa información te la da el operador in: 'Q0' in lista que te devolverá True si está, o False si no. Si quieres ...
abulafia's user avatar
  • 58.4k
2 votos
Aceptado

Paso de variable a una sentencia SQL usando Spark, usando Python

Puedes usar f-string para formar el string. Un f-string es un string donde hay expresiones encerradas entre {}: pag = 1 linea = f"Pagina {pag}" Esto, por ejemplo, dejaría en "Pagina 1&...
Candid Moe's user avatar
  • 25.7k
2 votos

Unir DataFrame pyspark

Podrías utilizar el método union: df = df1.withColumnRenamed('Mínimo', 'num') \ .union(df2.withColumnRenamed('Máximo', 'num'))
Felip Pellicer's user avatar
1 voto
Aceptado

¿Se puede hacer un count() selectivo?

validando la pregunta que formulas podrías realizarlo a través de una agrupación si es lo que requieres (contará todos los posibles valores de la columna), algo similar a esto: from pyspark.sql import ...
CamiloMontoyaAdc's user avatar
1 voto

Al instalar Spark y Hadoop en google colaboratory no se puede encontrar py4j, a causa de SPARK_HOME?

Analizando el error veo el problema esta en la variableos.environ["SPARK_HOME"] = "/content/spark-3.1.1-bin-hadoop3.2.tgz" estas apuntando al paquete .tgz cuando tienes que apuntas ...
Roberto E Moran's user avatar
1 voto

Uso de función Lambda en Python

carta tambien se puede convertir a un lambda usando filter y next carta2 = lambda lista: next(filter(lambda cod: cod[:2] == 'CC' and cod[-3:] != 'CC/', ...
braver's user avatar
  • 926
1 voto

Borrar un string en base a condiciones con python

Si te entendido bién lo que necesitas es una función que retorne True si una cadena solo contiene '9', '1', '%' y 'A' y False si contiene cualquier carácter diferente. Para ello lo más simple es ...
FJSevilla's user avatar
  • 57.5k
1 voto
Aceptado

Crear variable agregada en SQL Query - PySpark

Buenas creo que te falta en select el campo de la salida ***COUNT(*) AS tweets*** users_agg = sqlContext.sql ("SELECT user.screen_name, user.friends_count, user....
maria_jose's user avatar
1 voto
Aceptado

Plot de un Clustering

Finalmente lo pude resolver. Lo que me faltaba era un collect y castear las variables a lista de la siguiente forma: x = list(var_a.select('x').collect()) y = list(var_a.select('y').collect()) Con ...
Ricardo J. Martínez Suástegui's user avatar
1 voto
Aceptado

Librería Clustering Evaluator desactualizada

Si quieres usar ClusteringEvaluator() necesitas tener una versión igual o mayor a la 2.3 Ya que es la versión en la que salió. Documentación pyspark 2.2 puedes ver que NO se encuentra. Documentación ...
Rubiales Alberto's user avatar
1 voto
Aceptado

Como leer con pyspark ficheros en databricks desde DBFS que han sido dejado como resultado de una ejecución anterior

Yo probaría quitando el index. Porque se me hace que es un error en la definción del schema. Me parece que vos tenés el mismo problema que se ve en esta pregunta: NULL values when trying to import CSV ...
Joaquin chemile's user avatar
1 voto
Aceptado

Reemplazar diferentes textos muy similares, por un valor fijo usando pyspark

Para lo que vos estás pidiendo creo que antes de tratar de hacer que todos las palabras coincidan trataría de evaluar la similitud entre las dos cadenas de string y en base a eso filtrarlo. Me voy a ...
Joaquin chemile's user avatar
1 voto
Aceptado

Calcular nueva columna en spark df, cruzando columna de tipo lista en df1 y columna de texto en df2 con pyspark

Han resuelto mi problema en https://stackoverflow.com/questions/61687997/calculate-new-column-in-spark-dataframe-crossing-a-tokens-list-column-in-df1-wi: Puede hacer esto primero con un join usando ...
EJS's user avatar
  • 621
1 voto

No consigo que funcione pyspark en windows 10

Configuré hace un año en windows, con anaconda, siguiendo estos pasos: Instalar Java JDK 8. Descargar el paquete Spark de la página oficial: http://spark.apache.org/downloads. Programación con ...
EJS's user avatar
  • 621

Only top scored, non community-wiki answers of a minimum length are eligible