Si quieres obtener todos los valores (celdas) ordenadas y el índice al que pertenecen como creo, posiblemente NumPy ofrezca una buena solución.
Primero vamos a reproducir un ejemplo similar al que muestras:
import io
import pandas as pd
import numpy as np
data = io.StringIO("""\
idx Cmpd1 Cmpd2 Cmpd3 Cmpd4 Cmpd5 Cmpd6
Cmpd1 1
Cmpd2 0.4 1
Cmpd3 0.6 0.3 1
Cmpd4 0.46 0.69 0.32 1
Cmpd5 0.57 0.44 0.41 0.51 1
Cmpd6 0.41 0.79 0.33 0.56 0.43 1
""")
df = pd.read_csv(data, sep="\s+", engine="python", index_col="idx")
>>> df Cmpd1 Cmpd2 Cmpd3 Cmpd4 Cmpd5 Cmpd6 idx Cmpd1 1.00 NaN NaN NaN NaN NaN Cmpd2 0.40 1.00 NaN NaN NaN NaN Cmpd3 0.60 0.30 1.00 NaN NaN NaN Cmpd4 0.46 0.69 0.32 1.00 NaN NaN Cmpd5 0.57 0.44 0.41 0.51 1.00 NaN Cmpd6 0.41 0.79 0.33 0.56 0.43 1.0
Ahora primero vamos a descartar todos los datos que están por encima de la diagonal principal, incluida ésta. Para ello numpy.tril_indices
nos bien muy bien:
arr = df.to_numpy()
tril_idxs = np.tril_indices(len(arr), k=-1)
tril_vals = arr[tril_idxs]
>>> tril_idxs (array([1, 2, 2, 3, 3, 3, 4, 4, 4, 4, 5, 5, 5, 5, 5]), # Indice de las filas array([0, 0, 1, 0, 1, 2, 0, 1, 2, 3, 0, 1, 2, 3, 4])) # Indice de las columnas >>> tril_vals array([0.4 , 0.6 , 0.3 , 0.46, 0.69, 0.32, 0.57, 0.44, 0.41, 0.51, 0.41, 0.79, 0.33, 0.56, 0.43])
Ahora vamos a ordenar los valores pero nos interesan los índices de éstos para luego extrapolar al df original. Por ello vamos a usar numpy.argsort
. Como no permite ordenar de forma descendente, invertimos la salida ([::-1]
).
tril_idxs_sorted = tril_vals.argsort(axis=None)[::-1]
tril_vals_sorted = tril_vals[tril_idxs_sorted]
>>> tril_vals_sorted array([0.79, 0.69, 0.6 , 0.57, 0.56, 0.51, 0.46, 0.44, 0.43, 0.41, 0.41, 0.4 , 0.33, 0.32, 0.3 ]) >>> tril_idxs_sorted array([11, 4, 1, 6, 13, 9, 3, 7, 14, 10, 8, 0, 12, 5, 2])
Ahora ya tenemos los valores ordenados, solo nos queda extrapolar los índices de nuestro array aplanado al que tenian originalmente en el DataFrame, para ello, solo tenemos que ordenar tril_idxs de acuerdo a tril_idxs_sorted. realmente solo necesitamos los indices de las filas tril_idxs[0]
para recuperar los indices del df.
res = pd.Series(tril_vals_sorted, index=df.index[tril_idxs[0][tril_idxs_sorted]])
>>> res idx Cmpd6 0.79 Cmpd4 0.69 Cmpd3 0.60 Cmpd5 0.57 Cmpd6 0.56 Cmpd5 0.51 Cmpd4 0.46 Cmpd5 0.44 Cmpd6 0.43 Cmpd6 0.41 Cmpd5 0.41 Cmpd2 0.40 Cmpd6 0.33 Cmpd4 0.32 Cmpd3 0.30 dtype: float64
todo junto:
arr = df.to_numpy()
tril_idxs = np.tril_indices(len(arr), k=-1)
tril_vals = arr[tril_idxs]
tril_idxs_sorted = tril_vals.argsort(axis=None)[::-1]
tril_vals_sorted = tril_vals[tril_idxs_sorted]
res = pd.Series(tril_vals_sorted, index=df.index[tril_idxs[0][tril_idxs_sorted]])