0

Tengo un vector llamado pca, del cual descompongo sus valores los cuales llame x y y de la siguiente manera:

from pyspark.ml.linalg import Vectors
var = transformed.select('customer_id','pca')
def extract(row):
    return (row.customer_id, ) + tuple(row.pca.toArray().tolist())
var_a = var.rdd.map(extract).toDF(["customer_id"]) 
var_a = var_a.withColumnRenamed("_2","x")
var_a = var_a.withColumnRenamed("_3","y")
var_a.show()

Dándome como resultado:

introducir la descripción de la imagen aquí

Luego separo x y y de la siguiente forma:

x = var_a.select("x")
y = var_a.select("y")

Esto con el fin de poder hacer un ScatterPlot de las dos varibles, mi intento fue como se muestra en el siguiente código. Cabe mencionar que la columna prediction a la que hago referencia lo único que me trae son valores del 0 al 6, por ende los siete colores de asignación para diferenciar los clusters.

df = predictions_pca.select('prediction').toPandas()
colores=['red','green','blue','yellow','fuchsia','black','purple']
asignar=[]
for row in df:
    asignar.append(colores[int(row)])
        
plt.scatter(x, y, c=asignar, s=1)
plt.xlabel('Var_1')
plt.ylabel('Var_2')
plt.title('K-Means Clustering')
plt.show()

Si embargo, a pesar de esto me marca in error en el código. Alguien podría orientarme o decirme que estoy haciendo mal.

Adjunto la traza del error que me marca:

introducir la descripción de la imagen aquí

2

1 respuesta 1

1

Finalmente lo pude resolver. Lo que me faltaba era un collect y castear las variables a lista de la siguiente forma:

x = list(var_a.select('x').collect())
y = list(var_a.select('y').collect())

Con practicaente el mismo codigo para hacer el Plot:

df = predictions_pca.toPandas()
colores=['red','green','blue','yellow','fuchsia','cyan','purple']
asignar=[]
for row in range (len(df)):
    asignar.append(colores[df['prediction'][row]])
plt.figure(figsize = (16, 9))    
plt.scatter(x, y, c=asignar)
plt.scatter(cent[:,0], cent[:,1],marker='*', c='black') # Marco centroides.
plt.xlabel('X')
plt.ylabel('Y')
plt.title('K-Means Clustering')
plt.show()

Obtuve la salida esperada:

introducir la descripción de la imagen aquí

Espero que a alguien más le sea de ayuda ¡Saludos!

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.