Tengo un vector llamado pca
, del cual descompongo sus valores los cuales llame x
y y
de la siguiente manera:
from pyspark.ml.linalg import Vectors
var = transformed.select('customer_id','pca')
def extract(row):
return (row.customer_id, ) + tuple(row.pca.toArray().tolist())
var_a = var.rdd.map(extract).toDF(["customer_id"])
var_a = var_a.withColumnRenamed("_2","x")
var_a = var_a.withColumnRenamed("_3","y")
var_a.show()
Dándome como resultado:
Luego separo x y y de la siguiente forma:
x = var_a.select("x")
y = var_a.select("y")
Esto con el fin de poder hacer un ScatterPlot
de las dos varibles, mi intento fue como se muestra en el siguiente código. Cabe mencionar que la columna prediction
a la que hago referencia lo único que me trae son valores del 0 al 6, por ende los siete colores de asignación para diferenciar los clusters
.
df = predictions_pca.select('prediction').toPandas()
colores=['red','green','blue','yellow','fuchsia','black','purple']
asignar=[]
for row in df:
asignar.append(colores[int(row)])
plt.scatter(x, y, c=asignar, s=1)
plt.xlabel('Var_1')
plt.ylabel('Var_2')
plt.title('K-Means Clustering')
plt.show()
Si embargo, a pesar de esto me marca in error en el código. Alguien podría orientarme o decirme que estoy haciendo mal.