2

Quiero crear un systema de consulta gracias a un multiindex. Básicamente, quiero poder seleccionar los elementos en la primera columna, incluirá todo lo que está debajo y luego implementaríamos las opciones incluidas para permitir al usuario tomar decisiones más precisas.

Aquí es lo que parece el multiindex :

introducir la descripción de la imagen aquí

Ahí vemos cómo se construyó:

import xlrd
import pandas as pd
import numpy as np

# Leer la hoja
df = pd.read_excel("Trees.xlsx")[1:]
df.columns=["A", "B", "C", "D"]

# Separar los números en la columna A a otra columna (E)
df['E'] = df.A.apply(lambda x: x if type(x)==int else "---")
df.A = df.A.apply(lambda x: np.nan if type(x) == int else x)

# Rellenar encabezados de nivel 2, 3, etc. cuando se "resetean"
df.B = np.where(pd.notnull(df.A), "---", df.B)
df.C = np.where(pd.notnull(df.B), "---", df.C)
df.D = np.where(pd.notnull(df.C), "---", df.D)

# Eliminar los NaN de los encabezados
df = df.fillna(method="pad")

# Multi-index
df = df.set_index(['A','B','C','D'])

Allí, puedes tener los datos

Intenté el siguiente codigo para obtener la columna A sola pero me da tambien las otras columnas :

>df.iloc[:, df.columns.get_level_values(0)=='A']

Index: [(Division A: Agriculture, Forestry, And Fishing, ---, ---, ---),
(Division A: Agriculture, Forestry, And Fishing, Agricultural production-crop, ---, ---), 
(Division A: Agriculture, Forestry, And Fishing, Agricultural production-crop, Cash grains, ---)
...

1 respuesta 1

1

Un Multi-index puede entenderse como si el índice de cada fila fuese una tupla.

Así, en tu dataframe de ejemplo, la primera fíla tendría como índice la tupla:

('Division A: Agriculture, Forestry, And Fishing', '---', '---', '---')

La cuarta fila tendría como índice:

('Division A: Agriculture, Forestry, And Fishing', 'Agricultural production-crop', 'Cash grains', 'Wheat')

etc.

Puedes pedir todas las etiquetas que tiene el índice en un nivel dado, haciendo uso de get_level_values(<nivel>), pero pude que lo que encuentres no sea lo que esperabas. Por ejemplo, haciendo get_level_values(0) obtendríamos las etiquetas de nivel cero, que es lo mismo que decir el elemento 0 de todas las tuplas antes mencionadas. Esto implica que saldrán muchas etiquetas repetidas:

>>> df.index.get_level_values(0).tolist()
['Division A: Agriculture, Forestry, And Fishing',
 'Division A: Agriculture, Forestry, And Fishing',
 'Division A: Agriculture, Forestry, And Fishing',
  #  ... y así montones de ellos iguales ...
 'Division A: Agriculture, Forestry, And Fishing',
 'Division B: Mining',
 'Division B: Mining',
 'Division B: Mining',
  # ... etc ...
 ]

No queremos las versiones repetidas, por lo que podemos aplicar unique() a la expresión anterior:

>>> df.index.get_level_values(0).unique().tolist()
['Division A: Agriculture, Forestry, And Fishing',
 'Division B: Mining',
 'Division C: Construction',
 'Division D: Manufacturing',
 'Division E: Transportation, Communications, Electric, Gas, And Sanitary Services',
 'Division F: Wholesale Trade',
 'Division G: Retail Trade',
 'Division H: Finance, Insurance, And Real Estate',
 'Division I: Services',
 'Division J: Public Administration']

Esto ya se parece más a lo que tú buscabas. Una lista con las etiquetas del multiíndice en su primer nivel.

¿Y los subniveles siguientes?

Anticipando tu siguiente consulta :-) si queremos obtener todas las etiquetas de nivel 1 para un valor dado del nivel 0, el truco sería el siguiente:

  • Usando loc, extraigo todas las filas que tienen una cierta etiqueta en el nivel 0, como por ejemplo:

    df.loc['Division A: Agriculture, Forestry, And Fishing']
    
  • Lo anterior nos da un nuevo dataframe, que aún usa multi-index, pero ha desaparecido de él el nivel 0 de antes. El índice de este sub-dataframe tiene un nuevo nivel 0, que sería el nivel 1 del df original.

  • Por tanto puedo aplicar el mismo truco antes visto, pero al sub-dataframe:

    >>> (df.loc['Division A: Agriculture, Forestry, And Fishing']
        .index.get_level_values(0).unique().tolist())
    ['---',
    'Agricultural production-crop',
    'Agricultural production, livestock and animal specialties',
    'Agricultural services',
    'Forestry',
    'Fishing, hunting, and trapping']
    

Generalización

En base a los trucos anteriores, podemos programar la siguiente función:

def obtener_subniveles(df, tupla=None):
  if tupla:
    indice = df.loc[tupla].index
  else:
    indice = df.index
  return indice.get_level_values(0).unique().tolist()

Que usaríamos en la forma siguiente:

  • Para obtener todas las etiquetas de nivel 0:

    >>> obtener_subniveles(df)
    ['Division A: Agriculture, Forestry, And Fishing',
    'Division B: Mining',
    ...]
    
  • Para obtener las de nivel 1 correspondiente a una cierta etiqueta dada para el nivel 0, por ejemplo:

    >>> obtener_subniveles(df, "Division A: Agriculture, Forestry, And Fishing")
    ['---',
    'Agricultural production-crop',
    'Agricultural production, livestock and animal specialties',
     ...]
    
  • Para las de nivel 2, correspondientes a unos ciertos valores dados de nivel 0 y nivel 1, por ejemplo:

    >>> obtener_subniveles(df, ('Division A: Agriculture, Forestry, And Fishing',
                                'Agricultural production-crop'))
    ['---',
    'Cash grains',
    'Field crops, except cash grains',
    ...]
    
  • Para las de nivel 3, dados valores para los tres niveles anteriores:

    >>> obtener_subniveles(df, ('Division A: Agriculture, Forestry, And Fishing', 
                                'Agricultural production-crop', 'Cash grains'))
    ['---', 'Wheat', 'Rice', 'Corn', 'Soybeans', 'Cash grains, nec']
    

Finalmente, para obtener el valor correspondiente a una tupla-multiindex de 4 etiquetas especificadas, podemos programar otra sencilla función:

def obtener_dato(df, tupla):
  dato = df.loc[tupla].values
  return dato[0][0]

Ej:

>>> obtener_dato(df, ('Division A: Agriculture, Forestry, And Fishing',
                    'Agricultural production-crop', 'Cash grains', 'Rice'))
112

Nota Es posible que te dé warnings de performance debido a que el multi-index no está ordenado alfabéticamente. Puedes eliminar esos warnings si lo ordenas, para lo cual basta que añadas a las instrucciones con las que creas el dataframe la siguiente:

df = df.sort_index()

Eso causará que en cada nivel todas las etiquetas estén ordenadas alfabéticamente, por lo que cambiará el orden de las listas que te devolvían los ejemplos anteriores, pero el dato numérico final (112) sería el mismo.

Caso de uso

El siguiente bucle se repite una vez para cada nivel. Comienza mostrando al usuario las opciones para el nivel 0 y permitiéndole elegir una. Su elección se va añadiendo a una tupla, que se usa para obtener las opciones del nivel siguiente para elija otra, etc. Tras alcanzar la cuarta iteración, tendremos una tupla de 4 elementos y se muestra al usuario el dato numérico final:

elegido = tuple() # Inicialmente nada elegido

for opc in range(4):
  opciones = obtener_subniveles(df, elegido)
  print("-"*50)
  print(elegido)  # Mostrar lo que ha elegido de momento en niveles anteriores

  print("Elige una de estas opciones:")
  for i,txt in enumerate(opciones):
    print("{}. {}".format(i, txt))

  # Añadir elección de este nivel
  eleccion = int(input("Elección: "))
  elegido = elegido + (opciones[eleccion],)

# Mostrando resultado final
print("="*80)
print(elegido)
print(obtener_dato(df, elegido))

Ejemplo de ejecución:

--------------------------------------------------
()
Elige una de estas opciones:
0. Division A: Agriculture, Forestry, And Fishing
1. Division B: Mining
2. Division C: Construction
3. Division D: Manufacturing
4. Division E: Transportation, Communications, Electric, Gas, And Sanitary Services
5. Division F: Wholesale Trade
6. Division G: Retail Trade
7. Division H: Finance, Insurance, And Real Estate
8. Division I: Services
9. Division J: Public Administration
Elección: 1
--------------------------------------------------
('Division B: Mining',)
Elige una de estas opciones:
0. ---
1. Anthracite mining
2. Coal Mining
3. Metal mining
4. Mining and quarrying of nonmetallic minerals, except fuels
5. Oil and gas extraction
Elección: 2
--------------------------------------------------
('Division B: Mining', 'Coal Mining')
Elige una de estas opciones:
0. ---
1. Anthracite mining
2. Bituminous coal and lignite mining
3. Coal mining services
Elección: 0
--------------------------------------------------
('Division B: Mining', 'Coal Mining', '---')
Elige una de estas opciones:
0. ---
Elección: 0
================================================================================
('Division B: Mining', 'Coal Mining', '---', '---')
1200
5
  • Muchisimas gracias, ¿Sabe si puedo parar en el medio de la boca y almacenar toda la información de niveles más profundos? el 14 may. 2018 a las 15:45
  • @Marine1 No entiendo a qué te refieres. ¿En medio de la boca? ¿Qué información de niveles profundos quieres almacenar? No sé que quieres hacer pero quizás al final un dataframe pandas no sea la mejor opción, sino algún tipo de lista o diccionario anidados.
    – abulafia
    el 14 may. 2018 a las 16:05
  • El siguiente objetivo es realizar una consulta en una base de datos Elastic. Imagine que quiero hacer una solicitud de toda la división A, ¿cómo se han utilizado los datos de los niveles de abajo y no solamente las en elegido? Fue @FJSevilla quien me aconsejó las DataFrame Multiindex para hacerlo el 14 may. 2018 a las 16:16
  • Si trabajas con pandas, df.loc['Division A: Agriculture, Forestry, And Fishing'] ya te da un dataframe con todos los datos de la división A. No veo que relación tiene ElasticSearch con Pandas, y por otro lado no he trabajado nunca con ElasticSearch por lo que si al final es esa API la que vas a usar, no puedo ayudarte.
    – abulafia
    el 14 may. 2018 a las 16:19
  • No hay problema, depende de mí trabajar un poco también;)Intentaré poner mis dos centavos cuando el usuario quiera detenerse con las elecciones que ya hizo en el ciclo. Luego, pensaré cómo hacer la consulta en la base de datos Elastic que puede ver aquí. Gracias por su ayuda ! el 14 may. 2018 a las 16:28

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.