Estoy intentando realizar un algoritmo de ML no supervisado, para ello estoy probando con el algoritmo de K-Means
en pyspark
. Sin embargo al correr el código de la documentación que es el siguiente:
from pyspark.ml.clustering import KMeans
from pyspark.ml.evaluation import ClusteringEvaluator
# Loads data.
dataset = spark.read.format("libsvm").load("data/mllib/sample_kmeans_data.txt")
# Trains a k-means model.
kmeans = KMeans().setK(2).setSeed(1)
model = kmeans.fit(dataset)
# Make predictions
predictions = model.transform(dataset)
# Evaluate clustering by computing Silhouette score
evaluator = ClusteringEvaluator()
silhouette = evaluator.evaluate(predictions)
print("Silhouette with squared euclidean distance = " + str(silhouette))
# Shows the result.
centers = model.clusterCenters()
print("Cluster Centers: ")
for center in centers:
print(center)
Me salta un error de que la librería ClusteringEvaluator
no fue encontrada. Alguien sabe si esta librería fue desestimada en alguna versión de PySpark
o ¿Por qué me sale este error al importar la librería? De antemano gracias.
Les comparto una imagen del error que me aparece:
import pyspark
y decirme la versión que estás usando conpyspark.__version__
.