Si quieres obtener todos los valores (celdas) ordenadas y el índice al que pertenecen como creo, posiblemente NumPy ofrezca una buena solución.
Primero vamos a reproducir un ejemplo similar al que muestras:
import io
import pandas as pd
import numpy as np
data = io.StringIO("""\
idx Cmpd1 Cmpd2 Cmpd3 Cmpd4 Cmpd5 Cmpd6
Cmpd1 1
Cmpd2 0.4 1
Cmpd3 0.6 0.3 1
Cmpd4 0.46 0.69 0.32 1
Cmpd5 0.57 0.44 0.41 0.51 1
Cmpd6 0.41 0.79 0.33 0.56 0.43 1
""")
df = pd.read_csv(data, sep="\s+", engine="python", index_col="idx")
>>> df
Cmpd1 Cmpd2 Cmpd3 Cmpd4 Cmpd5 Cmpd6
idx
Cmpd1 1.00 NaN NaN NaN NaN NaN
Cmpd2 0.40 1.00 NaN NaN NaN NaN
Cmpd3 0.60 0.30 1.00 NaN NaN NaN
Cmpd4 0.46 0.69 0.32 1.00 NaN NaN
Cmpd5 0.57 0.44 0.41 0.51 1.00 NaN
Cmpd6 0.41 0.79 0.33 0.56 0.43 1.0
Ahora primero vamos a descartar todos los datos que están por encima de la diagonal principal, incluida ésta. Para ello numpy.tril_indices
nos bien muy bien:
arr = df.to_numpy()
tril_idxs = np.tril_indices(len(arr), k=-1)
tril_vals = arr[tril_idxs]
>>> tril_idxs
(array([1, 2, 2, 3, 3, 3, 4, 4, 4, 4, 5, 5, 5, 5, 5]), # Indice de las filas
array([0, 0, 1, 0, 1, 2, 0, 1, 2, 3, 0, 1, 2, 3, 4])) # Indice de las columnas
>>> tril_vals
array([0.4 , 0.6 , 0.3 , 0.46, 0.69, 0.32, 0.57, 0.44, 0.41, 0.51, 0.41,
0.79, 0.33, 0.56, 0.43])
Ahora vamos a ordenar los valores pero nos interesan los índices de éstos para luego extrapolar al df original. Por ello vamos a usar numpy.argsort
. Como no permite ordenar de forma descendente, invertimos la salida ([::-1]
).
tril_idxs_sorted = tril_vals.argsort(axis=None)[::-1]
tril_vals_sorted = tril_vals[tril_idxs_sorted]
>>> tril_vals_sorted
array([0.79, 0.69, 0.6 , 0.57, 0.56, 0.51, 0.46, 0.44, 0.43, 0.41, 0.41,
0.4 , 0.33, 0.32, 0.3 ])
>>> tril_idxs_sorted
array([11, 4, 1, 6, 13, 9, 3, 7, 14, 10, 8, 0, 12, 5, 2])
Ahora ya tenemos los valores ordenados, solo nos queda extrapolar los índices de nuestro array aplanado al que tenian originalmente en el DataFrame, para ello, solo tenemos que ordenar tril_idxs de acuerdo a tril_idxs_sorted. realmente solo necesitamos los indices de las filas tril_idxs[0]
para recuperar los indices del df.
res = pd.Series(tril_vals_sorted, index=df.index[tril_idxs[0][tril_idxs_sorted]])
>>> res
idx
Cmpd6 0.79
Cmpd4 0.69
Cmpd3 0.60
Cmpd5 0.57
Cmpd6 0.56
Cmpd5 0.51
Cmpd4 0.46
Cmpd5 0.44
Cmpd6 0.43
Cmpd6 0.41
Cmpd5 0.41
Cmpd2 0.40
Cmpd6 0.33
Cmpd4 0.32
Cmpd3 0.30
dtype: float64
todo junto:
arr = df.to_numpy()
tril_idxs = np.tril_indices(len(arr), k=-1)
tril_vals = arr[tril_idxs]
tril_idxs_sorted = tril_vals.argsort(axis=None)[::-1]
tril_vals_sorted = tril_vals[tril_idxs_sorted]
res = pd.Series(tril_vals_sorted, index=df.index[tril_idxs[0][tril_idxs_sorted]])