Después de una agrupación/clustering descubrí que algunos grupos se superponen. Por lo tanto, trato de encontrar el número correcto de clusters. Sé cómo encontrar el número correcto de clusters con datos digitales superpuestos gracias a sickit-fuzzy. Sé como aggrupar datos categóricos con kmodes pero no sé cómo obtener la puntuación de precisión, ya que se puede tener un fuzzy partition coefficient con sickit fuzzy.
¿Cómo evaluar la pertinencia del número de agrupaciones de datos categoricales? ¿Cómo sé qué grupos se superponen?
Por ejemplo con esta dataframe:
ID Question1 Sex Age City Type Group
1 yes M 32 Casablanca Urban group1
2 yes F 45 Ifrane Rural group2
3 no F 22 Imlil Rural group2
...
La columna Group
me da la clasificación inicial.
Intente lo siguiente:
for ncenters in range(5,13):
km = KModes(n_clusters=ncenters, init='Huang', n_init=5, verbose=0)
clusters = km.fit_predict(data) # I have to get the accuracy:
# the equivalent of the fuzzy partition coefficient for categorical data
print(km.epoch_costs_) # I will select the one with the lowest cost
Me permite saber cuál es el número ideal de grupos, pero no saber quiénes son estos grupos y cuánto se solaparon mis antiguos grupos.