Estoy intentando realizar un algoritmo de ML no supervisado, para esto estoy probando con el algoritmo de K-Means y pyspark. Sin embargo al correr el código de la documentación que es el siguiente:

    from pyspark.ml.clustering import KMeans
    from pyspark.ml.evaluation import ClusteringEvaluator
    
    # Loads data.
    dataset = spark.read.format("libsvm").load("data/mllib/sample_kmeans_data.txt")
    
    # Trains a k-means model.
    kmeans = KMeans().setK(2).setSeed(1)
    model = kmeans.fit(dataset)
    
    # Make predictions
    predictions = model.transform(dataset)
    
    # Evaluate clustering by computing Silhouette score
    evaluator = ClusteringEvaluator()
    
    silhouette = evaluator.evaluate(predictions)
    print("Silhouette with squared euclidean distance = " + str(silhouette))
    
    # Shows the result.
    centers = model.clusterCenters()
    print("Cluster Centers: ")
    for center in centers:
        print(center)

Me salta un error de que la librería `ClusteringEvaluator` no fue encontrada. Alguien sabe si esta librería fue desestimada en alguna versión de PySpark o ¿por qué me sale este error al importar la librería? De antemano gracias.