Skip to main content
2 de 4
etiquetas editadas
fedorqui
  • 16.7k
  • 24
  • 71
  • 134

Librería Clustering Evaluator desactualizada

Estoy intentando realizar un algoritmo de ML no supervisado, para esto estoy probando con el algoritmo de K-Means y pyspark. Sin embargo al correr el código de la documentación que es el siguiente:

from pyspark.ml.clustering import KMeans
from pyspark.ml.evaluation import ClusteringEvaluator

# Loads data.
dataset = spark.read.format("libsvm").load("data/mllib/sample_kmeans_data.txt")

# Trains a k-means model.
kmeans = KMeans().setK(2).setSeed(1)
model = kmeans.fit(dataset)

# Make predictions
predictions = model.transform(dataset)

# Evaluate clustering by computing Silhouette score
evaluator = ClusteringEvaluator()

silhouette = evaluator.evaluate(predictions)
print("Silhouette with squared euclidean distance = " + str(silhouette))

# Shows the result.
centers = model.clusterCenters()
print("Cluster Centers: ")
for center in centers:
    print(center)

Me salta un error de que la librería ClusteringEvaluator no fue encontrada. Alguien sabe si esta librería fue desestimada en alguna versión de PySpark o ¿por qué me sale este error al importar la librería? De antemano gracias.