Skip to main content
2 de 2
se añadieron 148 caracteres en el cuerpo

Plot de un Clustering

Tengo un vector llamado pca, del cual descompongo sus valores los cuales llame x y y de la siguiente manera:

from pyspark.ml.linalg import Vectors
var = transformed.select('customer_id','pca')
def extract(row):
    return (row.customer_id, ) + tuple(row.pca.toArray().tolist())
var_a = var.rdd.map(extract).toDF(["customer_id"]) 
var_a = var_a.withColumnRenamed("_2","x")
var_a = var_a.withColumnRenamed("_3","y")
var_a.show()

Dándome como resultado:

introducir la descripción de la imagen aquí

Luego separo x y y de la siguiente forma:

x = var_a.select("x")
y = var_a.select("y")

Esto con el fin de poder hacer un ScatterPlot de las dos varibles, mi intento fue como se muestra en el siguiente código. Cabe mencionar que la columna prediction a la que hago referencia lo único que me trae son valores del 0 al 6, por ende los siete colores de asignación para diferenciar los clusters.

df = predictions_pca.select('prediction').toPandas()
colores=['red','green','blue','yellow','fuchsia','black','purple']
asignar=[]
for row in df:
    asignar.append(colores[int(row)])
        
plt.scatter(x, y, c=asignar, s=1)
plt.xlabel('Var_1')
plt.ylabel('Var_2')
plt.title('K-Means Clustering')
plt.show()

Si embargo, a pesar de esto me marca in error en el código. Alguien podría orientarme o decirme que estoy haciendo mal.

Adjunto la traza del error que me marca:

introducir la descripción de la imagen aquí