8

Quiero adaptar un algoritmo de árbol de decisión que funcione para dos etiquetas: Verdadero/Falso a uno que puede decidir en múltiples etiquetas.

data = [({'Age': 1, 'Quartier': 'A', 'Income': 10}, 'PartyB'),
 ({'Age': 2, 'Quartier': 'B', 'Income': 20}, "PartyA"),
 ({'Age': 3, 'Quartier': 'C', 'Income': 30}, 'ABS'),
 ({'Age': 4, 'Quartier': 'D', 'Income': 40}, 'ABS')]

Quiero ser capaz de predecir la etiqueta de lo siguiente: {'Age': 1, 'Quartier': 'A', 'Income': 15}

Mi intento

def classify(tree, input):
    """classify the input using the given decision tree"""
    if tree in [True,False]: # here I need to change to adapt it to multiple categories.
        return tree

    # otherwise this tree consists of an attribute to split on
    # and a dictionnary whose keys are values of that attribute
    # and whose values of are subtrees to consider next
    print("tree: ", tree)
    print("df.TL_Segment.unique(): ",df.TL_Segment.unique())
    attribute, subtree_dict = tree

    subtree_key = input.get(attribute) # None if input is missing in attribute

    if subtree_key not in subtree_dict: # if no subtree for key
        subtree_key = None

    subtree = subtree_dict[subtree_key]
    return classify(subtree, input)

from functools import partial
from statistics import mode

def build_tree_id3(inputs, split_candidates = None):
    # if this is our first pass
    # all keys of the first input are split candidates

    if split_candidates is None:
        split_candidates = inputs[0][0].keys()

    # count different classes
    num_inputs = len(inputs)
    num_different_classes = len(set([label for item, label in inputs if label]))

    if num_different_classes == 1: return False # only one class? Return this one
    if num_different_classes == num_inputs: return False# all classes are different? 

    if not split_candidates: 
        return max(set(inputs), key = inputs.count)

    # otherwise, split on the best attribute
    best_attribute = min(split_candidates, key = partial(partition_entropy_by,inputs))

    partitions = partition_by(inputs, best_attribute)
    new_candidates = [a for a in split_candidates
                     if a!= best_attribute]

    #recursively build the subtrees 
    subtrees = {attribute_value: build_tree_id3(subset, new_candidates)
               for attribute_value,
                subset in partitions.items()}

#   subtrees[None] = max(inputs, key=collections.Counter(inputs).get) # if tree is empty we give the most frequent one
    subtrees[None] = None

    return(best_attribute, subtrees)

Pero cuando lo intento me sale "Falso", no "Compraré", "No compraré" o "Tal vez":

tree = build_tree_id3(data)

returns:

best_attribute:  Age
subtrees:  {1: False, 2: False, 3: False, 4: False, None: None}

pero classify(tree, {'Age': 1, 'Quartier': 'A', 'Income': 10}) devuelve:

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-462-86da50b80bb6> in <module>
----> 1 classify(tree, {'Age': 1, 'Quartier': 'A', 'Income': 10})

<ipython-input-453-9dce8ec72645> in classify(tree, input)
     15 
     16     subtree = subtree_dict[subtree_key]
---> 17     return classify(subtree, input)
     18 

<ipython-input-453-9dce8ec72645> in classify(tree, input)
      7     # and a dictionnary whose keys are values of that attribute
      8     # and whose values of are subtrees to consider next
----> 9     attribute, subtree_dict = tree
     10 
     11     subtree_key = input.get(attribute) # None if input is missing in attribute

TypeError: cannot unpack non-iterable bool object

En efecto, tree es False aqui.

Otra función utilizada aquí

import math
import collections

def entropy(class_probabilities):
    """given a list of class probabilities, compute the entropy"""
    return sum(-p * math.log(p,2)
              for p in class_probabilities
              if p)

def class_probabilities(labels):
    total_count = len(labels)
    return [count / total_count
           for count in collections.Counter(labels).values()]

def data_entropy(labeled_data):
    labels = [label for _,label in labeled_data]
    probabilities = class_probabilities(labels)
    return entropy(probabilities)

def partition_entropy(subsets):
    """find entropy from this partition of data into subsets
    subsets is a list of lists of labeled data"""
    total_count =sum(len(subset) for subset in subsets)
    return sum(data_entropy(subset)* len(subset)/total_count
              for subset in subsets)

def partition_by(inputs, attribute):
    """each input is a pair (attriute_dict,label).
    returns a dict : attribute_value -> inputs"""
    groups = collections.defaultdict(list)
    for input in inputs:
        key = input[0][attribute] # get the value of the specified attribute
        groups[key].append(input) # then add this input to the correct list
    return groups

def partition_entropy_by(inputs, attribute):
    """computes the entropy corresponding to the given partition"""
    partitions = partition_by(inputs, attribute)
    return partition_entropy(partitions.values())
1
  • 1
    La variable df no está definida, en print("df.TL_Segment.unique(): ",df.TL_Segment.unique())
    – Candid Moe
    Commented el 5 jul. 2020 a las 15:24

1 respuesta 1

0

Me parece que el problema que tienes es que tu código está diseñado para trabajar con etiquetas de tipo booleano (Verdadero/Falso), y lo que necesitas es adaptarlo para que funcione con múltiples etiquetas, como "PartyA", "PartyB" o "ABS". El detalle está en que el árbol está devolviendo False cuando debería estar devolviendo alguna de esas etiquetas. Aquí te dejo una posible forma de corregir eso y hacer que tu árbol de decisión funcione con múltiples clases, espero te sirva!

Cambios principales

  1. Condiciones de terminación en build_tree_id3: Ahora, en lugar de devolver False cuando todos los datos tienen la misma etiqeta, el algoritmo devolverá esa etiqueta. Además, si no hay más atributos con los que dividir, devolverá la clase más común (es decir, la que más veces aparece en los datos).

  2. Calculo de la clase mayoritaria: Si ya no hay atributos para dividir o si todos los ejemplos son diferentes, en lugar de devolver False, devuelve la clase mayoritaria. Esto se hace con la función mode, que básicamente te da el valor que más veces aparece.

  3. Ajuste en la función classify: Esta función tiene que poder manejar cualquier tipo de etiqueta, no solo valores booleanos.

Así es como quedaría tu código:

build_tree_id3:

from functools import partial
from statistics import mode
import collections

def build_tree_id3(inputs, split_candidates=None):
    if split_candidates is None:
        split_candidates = inputs[0][0].keys()

    labels = [label for _, label in inputs]
    num_different_classes = len(set(labels))

    if num_different_classes == 1:
        return labels[0]  

    if not split_candidates:
        return mode(labels)  

    best_attribute = min(split_candidates, key=partial(partition_entropy_by, inputs))

    partitions = partition_by(inputs, best_attribute)
    new_candidates = [a for a in split_candidates if a != best_attribute]

    subtrees = {attribute_value: build_tree_id3(subset, new_candidates)
                for attribute_value, subset in partitions.items()}


    subtrees[None] = mode(labels) 

    return best_attribute, subtrees

¿Qué cambia aquí?

  • Retorno de la clase mayoritaria: Si no hay más divisiones posibles o todas las clases son iguales, el árbol devolverá la clase que más veces aparece.
  • Ajuste en la condición de división: Si no hay más atributos con los que dividir, devuelve la clase mayoritaria.

Función classify:

La función classify también necesita cambios para manejar más de dos etiquetas. Aquí va el ajuste:

def classify(tree, input):
    """Clasifica la entrada usando el árbol de decisión dado"""
    if not isinstance(tree, tuple):
        return tree

    attribute, subtree_dict = tree

    subtree_key = input.get(attribute)

    if subtree_key not in subtree_dict:
        subtree_key = None

    subtree = subtree_dict[subtree_key]
    
    return classify(subtree, input)

¿Qué pasa aquí?

  • Si el nodo es una hoja: Ahora, si tree no es un nodo con subárboles (es decir, si ya es una clase final como "PartyA", "PartyB", o "ABS"), simplemente devuelve esa clase.
  • Manejo de ramas vacías: Si el valor del atributo que buscas no está en el árbol, el algoritmo usará la rama None, que contiene la clase mayoritaria.

Probando el código:

Ya con estos cambios, puedes construir el árbol y probar la clasificación de una nueva entrada:

data = [
    ({'Age': 1, 'Quartier': 'A', 'Income': 10}, 'PartyB'),
    ({'Age': 2, 'Quartier': 'B', 'Income': 20}, "PartyA"),
    ({'Age': 3, 'Quartier': 'C', 'Income': 30}, 'ABS'),
    ({'Age': 4, 'Quartier': 'D', 'Income': 40}, 'ABS')
]

tree = build_tree_id3(data)
print("Árbol de decisión:", tree)

result = classify(tree, {'Age': 1, 'Quartier': 'A', 'Income': 15})
print("Resultado de la clasificación:", result)

Resultado esperado:

El árbol debería mostrar cómo se divide según los atributos, y cuando clasifiques la nueva entrada, debería devolver algo como PartyB (o la clase que sea más adecuada para los datos).

Por ejemplo:

Árbol de decisión: ('Age', {1: 'PartyB', 2: 'PartyA', 3: 'ABS', 4: 'ABS', None: 'ABS'})
Resultado de la clasificación: PartyB

Probalo y me comentas cualquier cosa, saludos!

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.