2

Estoy intentando realizar un algoritmo de ML no supervisado, para ello estoy probando con el algoritmo de K-Means en pyspark. Sin embargo al correr el código de la documentación que es el siguiente:

from pyspark.ml.clustering import KMeans
from pyspark.ml.evaluation import ClusteringEvaluator

# Loads data.
dataset = spark.read.format("libsvm").load("data/mllib/sample_kmeans_data.txt")

# Trains a k-means model.
kmeans = KMeans().setK(2).setSeed(1)
model = kmeans.fit(dataset)

# Make predictions
predictions = model.transform(dataset)

# Evaluate clustering by computing Silhouette score
evaluator = ClusteringEvaluator()

silhouette = evaluator.evaluate(predictions)
print("Silhouette with squared euclidean distance = " + str(silhouette))

# Shows the result.
centers = model.clusterCenters()
print("Cluster Centers: ")
for center in centers:
    print(center)

Me salta un error de que la librería ClusteringEvaluator no fue encontrada. Alguien sabe si esta librería fue desestimada en alguna versión de PySpark o ¿Por qué me sale este error al importar la librería? De antemano gracias.

Les comparto una imagen del error que me aparece:

introducir la descripción de la imagen aquí

4
  • 1
    Puedes poner exatcamente la traza de error completa, para que sea más fácil ayudarte por favor. Commented el 5 nov. 2020 a las 11:25
  • 1
    Listo, ya compartí la traza del error Commented el 5 nov. 2020 a las 16:50
  • 2
    Gracias :) . Puedes por favor importar la librería import pyspark y decirme la versión que estás usando con pyspark.__version__. Commented el 5 nov. 2020 a las 17:08
  • 1
    Me sale que es la "2.2.1.dev0" Commented el 5 nov. 2020 a las 17:23

1 respuesta 1

1

Si quieres usar ClusteringEvaluator() necesitas tener una versión igual o mayor a la 2.3 Ya que es la versión en la que salió.

Puedes actualizar a cualquier versión, desinstalando e instalando la versión con el nombre del paquete y la versión que quieres.

pip uninstall pyspark

Y después:

pip install pyspark==2.3

Salió en junio la versión 3. Yo la instalaría si estás empezando a cualquier proyecto. En el caso de que quieras hacer modificaciones en algún proyecto antiguo, instalaría la versión pyspark 2.4 con pip install pyspark==2.4, ya que entre la versión 2 y la 3 hay cambios significativos que te pueden traer problemas.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.