Tengo un vector llamado `pca`, del cual descompongo sus valores los cuales llame `x` y `y` de la siguiente manera:


    from pyspark.ml.linalg import Vectors
    var = transformed.select('customer_id','pca')
    def extract(row):
        return (row.customer_id, ) + tuple(row.pca.toArray().tolist())
    var_a = var.rdd.map(extract).toDF(["customer_id"]) 
    var_a = var_a.withColumnRenamed("_2","x")
    var_a = var_a.withColumnRenamed("_3","y")
    var_a.show()

Dándome como resultado:

[![introducir la descripción de la imagen aquí][1]][1]


Luego separo x y y de la siguiente forma:

    x = var_a.select("x")
    y = var_a.select("y")


Esto con el fin de poder hacer un `ScatterPlot` de las dos varibles, mi intento fue como se muestra en el siguiente código. Cabe mencionar que la columna `prediction` a la que hago referencia lo único que me trae son  valores del 0 al 6, por ende los siete colores de asignación para diferenciar los `clusters`.

    df = predictions_pca.select('prediction').toPandas()
    colores=['red','green','blue','yellow','fuchsia','black','purple']
    asignar=[]
    for row in df:
        asignar.append(colores[int(row)])
            
    plt.scatter(x, y, c=asignar, s=1)
    plt.xlabel('Var_1')
    plt.ylabel('Var_2')
    plt.title('K-Means Clustering')
    plt.show()

Si embargo, a pesar de esto me marca in error en el código. Alguien podría orientarme o decirme que estoy haciendo mal.

Adjunto la traza del error que me marca:

[![introducir la descripción de la imagen aquí][2]][2]


  [1]: https://i.sstatic.net/bKMu2.png
  [2]: https://i.sstatic.net/u8Gcj.png