3

Dispongo de los siguientes dataframe. Dataframe con datos de observaciones.

import numpy as np
data = np.array([[15, 38, 14, 13, 29, 25], [20, 13, 16, 32, 44, 39], [45, 46, 19, 23, 24, 18], 
                 [19, 20, 21, 18, 25, 33], [13, 18, 22, 24, 27, 27] ])
# Creating pandas dataframe from numpy array
datos = pd.DataFrame({'Column1': data[:, 0], 'Column2': data[:, 1], 'Column3': data[:, 2], 'Column4': data[:, 3], 'Column5': data[:, 4]})


# Deuelve una lista por cada fila
lista_datos = datos.values.tolist()

# Ordenación de los datos.
lista_ordenada_ventas = np.sort(lista_datos, axis=None)

# Crear un narray con una lista
array_datos_ordenados = np.array(lista_ordenada_ventas.reshape(datos.shape[0], datos.shape[1]))

# Crear un df con un narray
ventas_semanales_ordenadas = pd.DataFrame(array_datos_ordenados)

# Crear un df de una única columna, con una lista
ventas =  pd.DataFrame(lista_ordenada_ventas)  
ventas.columns = (["Valores"])

Creo un DataFrame con los límtes de los intervalos de clase aplicables a dichas observaciones para su análisis.

datos = np.zeros((6, 2))
intervalos = pd.DataFrame(datos, columns = ["LimInf", "LimSup"] )

intervalos.iloc[0,0] = 13
c = 6
intervalos.iloc[0, 1] = 13 + c -1
for i in range (1, intervalos.shape[0]):
    intervalos.iloc[i,0] = intervalos.iloc[i-1,1] + 1
    intervalos.iloc[i, 1] = intervalos.iloc[i,0] + c -1
intervalos

Continuamos creando límites exactos,

intervalos["LimExacInf"] = 0
intervalos["LimExacSup"] = 0
# Calcula el límite exacto superior
for i in range (0, intervalos.shape[0]):
    intervalos.loc[i , "LimExacSup"]  = (intervalos.loc[i, "LimSup"]  + intervalos.loc[i, "LimInf"])/2
for i in range (1, intervalos.shape[0]):
    intervalos.loc[i , "LimExacInf"]  = intervalos.loc[i-1, "LimExacSup"] 

c = intervalos.loc[1, "LimExacSup"] - intervalos.loc[1, "LimExacInf"] 
intervalos.loc[0, "LimExacInf"] = intervalos.loc[0, "LimInf"] 
intervalos["MarcaClase"] = (intervalos["LimExacSup"] + intervalos["LimExacInf"]) / 2
intervalos

A continuación deseo añadir la columna "FrecuenciaAbsoluta", contando en la tabla de variables cuantas están incluidas dentro de cada rango, que cumplan la condición de ser >= que el límite inferior del intervalo ó < que el límite superior. Lo intento con este script,y me da un error que no acabo de interpretar.

frecuencia = 0
intervalos["FrecAbsolutas"]= 0
lista_frecuencias= [0]
for i in range (0, ventas.shape[0]):
    for j in range (0, intervalos.shape[0]): 
        if ventas.iloc[i,0] >= intervalos.iloc[j, 3] or ventas.iloc[i,0] < intervalos.iloc[j, 4]:
            lista_frecuencias[i] = lista_frecuencias[i] + 1

intervalos["FrecAbsolutas"]= lista_frecuencias

intervalos

Las frecuencias absolutas deberían ser: 5, 8, 5, 2, 1 y 3 Devuelve el error: IndexError: list index out of range Agradeceré sugerencias para modificar el script.

Por otro lado, ¿Existirá alguna función en pandas, scipy, etc, que realice esta tarea? Agradeceré vuestra ayuda.

5
  • Me surge una duda, tus dos primeros intervalos son [13.0 18.0] y [19.0 24.0] ¿Qué pasa con los valores entre 18 y 18.9? Lo digo porque tal como comparas lim_inf <= valor < lim_sup quedan excluidos de ambos intervalos. ¿No deberían ser ambos inclusivos o es lo que deseas?
    – FJSevilla
    Commented el 12 ago. 2019 a las 20:31
  • Gracias por la observación. Efectivamente, como en el caso del ejemplo las observaciones son solamente números enteros, pensé la condición de esa manera.. No obstante, modificaré el script para que pueda servir en todos los casos posibles, creando límites exactos.
    – efueyo
    Commented el 12 ago. 2019 a las 21:09
  • Efectivamente, Para evitar que un dato no entre en ninguno de los intervalos de clase, hay que hacer coincidir el límite inferior de un intervalo con el límite superior del intervalo anterior, de manera que no haya un salto entre el límite superior de un intervalo y el límite inferior del intervalo siguiente. Si al realizar un estudio estadístico alguno de los datos observados coincide con el límite exacto superior de un intervalo, se clasificará en el intervalo siguiente. Tengo que modificar el script.
    – efueyo
    Commented el 12 ago. 2019 a las 21:23
  • Lo primero que tengoque hacer es transformar la tabla de intervalos definidos por sus límites no exactos, en otra en la que dichos intervalos estén definidos por sus límites exactos.
    – efueyo
    Commented el 12 ago. 2019 a las 21:28
  • Los intervalos "no exactos" creados son:
    – efueyo
    Commented el 12 ago. 2019 a las 22:10

4 respuestas 4

2

Puedes hacer uso de pandas.IntervalIndex para generar los intervalos de clase y pandas.cut para segmentar los datos (y calcular las frecuencias absolutas en este caso):

import numpy as np
import pandas as pd


data = np.array(
    [[15, 38, 14, 13, 29, 25], [20, 13, 16, 32, 44, 39],
     [45, 46, 19, 23, 24, 18], [19, 20, 21, 18, 25, 33],
     [13, 18, 22, 24, 27, 27]]
    )

datos = data.flatten()


freq = 6                 # Amplitud de los intervalos
inf = datos.min()        # Limite inferior del primer intervalo
dif = (datos.min() - datos.max()) % freq or freq
sup = datos.max() + dif  # Limite superior del último intervalo

intervals = pd.interval_range(
    start=inf,
    end=sup,
    freq=freq,
    name="Intervalo",
    closed="left"
    )

df = pd.DataFrame(index=intervals)
df["FreqAbs"] = pd.cut(datos, bins=df.index).value_counts()
df["Marca"]  = df.index.mid
           FreqAbs  Marca
Intervalo                
[13, 19)         9   16.0
[19, 25)         9   22.0
[25, 31)         5   28.0
[31, 37)         2   34.0
[37, 43)         2   40.0
[43, 49)         3   46.0

Si quieres tener en dos columnas los límites puedes hacer:

df["LimInf"] = df.index.left
df["LimSup"] = df.index.right
           FreqAbs  Marca  LimInf  LimSup
Intervalo                                
[13, 19)         9   16.0      13      19
[19, 25)         9   22.0      19      25
[25, 31)         5   28.0      25      31
[31, 37)         2   34.0      31      37
[37, 43)         2   40.0      37      43
[43, 49)         3   46.0      43      49

O usando la regla de Sturges tal como comentas podemos hacer algo así:

import numpy as np
import pandas as pd
import math


data = np.array(
    [[15, 38, 14, 13, 29, 25], [20, 13, 16, 32, 44, 39],
     [45, 46, 19, 23, 24, 18], [19, 20, 21, 18, 25, 33],
     [13, 18, 22, 24, 27, 27]]
    )

pd.set_option('precision', 2)
datos = data[:,:].flatten()


# Cálculo del número de intervalos
# Si la parte entera de k es un número impar, redondeamos a la baja
k = 1 + 3.322 * math.log10(len(datos))
numero = int(k)
if numero % 2 == 0:
    periodos = math.ceil(k)
else:
    periodos = int(k)

inf = datos.min()        # Limite inferior del primer intervalo
dif = datos.max()
sup = datos.max() + 1    # Limite superior del último intervalo

intervals = pd.interval_range(
    start=inf,
    end=sup,
    periods=k,
    name="Intervalo",
    closed="left")

df = pd.DataFrame(index=intervals)
df["FreqAbs"] = pd.cut(datos, bins=df.index).value_counts()
df["Marca"]  = df.index.mid
              FreqAbs    Marca
Intervalo                 
[13.0, 19.8)       11     16.4
[19.8, 26.6)        9     23.2
[26.6, 33.4)        5     30.0
[33.4, 40.2)        2     36.8
[40.2, 47.0)        3     43.6

Sumo uno al máximo (46) porque en caso de no hacerlo, dado que el intervalo es cerrado por su límite superior [..., 46), la observación 46 quedaría fuera del intervalo.

4
  • La contestación es muy larga por lo que la he añadido como un comentario
    – efueyo
    Commented el 13 ago. 2019 a las 19:45
  • ¿Por qué se olvida de los valores 44, 45 y 46?. El límite exacto superior del último intervalo lo selecciona correctamente sup = 46. Sin embargo, al crear los intervalos, el límite exacto superior del último intervalo es 43.
    – efueyo
    Commented el 13 ago. 2019 a las 19:52
  • efueyo culpa mia, en tu código original en datos = pd.DataFrame({'Column1': data[:, 0],..) ignorabas la última columna, por eso yo hacía datos = data[:,:-1].flatten(), para conseguir el mismo array que obtenías tú (cinco columnas y no las seis). Aparte de eso tenía un error en mi código ya que me olvidé de especificar que los intervalos son cerrados por la izquierda (por defecto lo son por la derecha, por lo que el 13 quedaba en el limbo). Corregido.
    – FJSevilla
    Commented el 13 ago. 2019 a las 20:21
  • @efueyo he editado la respuesta de nuevo incluyendo lo de la regla de Sturges, en cualquier caso, el problema que comentabas era el que mencionaba arriba, hacer explícito que los intervalos son cerrados por su límite superior. Te recomiendo que elimines las "respuestas" que no sean una respuesta válida a la pregunta, no debes usar el apartado de respuestas para comentar otra respuesta a tu pregunta o agregar información, solo debe usarse para repsuestas completas a la pregunta. En vez de esto edita la pregunta y agrega en ella lo que consideres oportuno. Un saludo.
    – FJSevilla
    Commented el 13 ago. 2019 a las 21:06
1

Una versión mejorada sería esta:

def calculate_frequencies(data_df):
    # definir los datos de ejemplo
    data = np.array(data_df.Values)

    # calcular el rango de los intervalos
    k = 1 + 3.322 * np.log10(len(data))
    
    # definir el número mínimo y máximo de intervalos permitidos
    min_periodos = 5
    max_periodos = 20
    
    # verificar si el número de intervalos está dentro del rango permitido
    if k >= min_periodos and k <= max_periodos:
        periodos = int(np.ceil(k))
    else:
        dist_to_min = abs(k - min_periodos)
        dist_to_max = abs(k - max_periodos)
        if dist_to_min < dist_to_max:
            periodos = min_periodos
        else:
            periodos = max_periodos

    # definir los límites de los intervalos
    intervalos = pd.interval_range(
        start=data.min(),
        end=data.max() + 1e-10,
        periods=periodos,
        closed='left'
    )

    intervalos_con_precision = [
        pd.Interval(left=round(interval.left, 2), right=round(interval.right, 2), closed=interval.closed)
        for interval in intervalos
    ]

    # crear el DataFrame con los conteos de frecuencia
    frequencies_df = pd.DataFrame(index=intervalos_con_precision)
    frequencies_df['FreqAbs'] = pd.cut(data, bins=frequencies_df.index).value_counts()
    frequencies_df['Marca'] = frequencies_df.index.mid
    frequencies_df['Marca de Clase'] = (frequencies_df.index.right - frequencies_df.index.left) / 2

    return frequencies_df

calculate_frequencies(data_df)
frequencies_df

donde data_df es un DataFrame con una columna denominada 'Values?

0

¡Por ahí van los tiros!. La función flatten(), nueva para mi, aplana el nparray dejando una única lista. La he modificado

datos = data[:,:].flatten() 

ya que con data[:,:-1], se olvida de la última variable de cada lista del nparray, y eso afecta al cálculo de las frecuencias absolutas. La función "interval_range()", , nueva para mi, construye los intervalos de clase de amplitud predefinida, con límites exactos superior e inferior en cada intervalo, dentro de un dataframe vacio.

La función "cut", también nueva para mi, es muy práctica ya de alguna manera ordena las variables dentro de cada rango del df creado. Lo que no acabo de entender es como calcula las frecuencias. La suma de las frecuencias absolutas tiene que ser igual al número de variables, en este caso 30. Utilizando tu sentencia

datos = data[:,:-1].flatten()

la suma de frecuencias absolutas da 19. Si modifico dicha sentencia por la razón comentada anteriormente nos devuelve.

    FreqAbs     Marca   LimInf  LimSup
Intervalo               
(13, 19]    8   16.0    13  19
(19, 25]    9   22.0    19  25
(25, 31]    3   28.0    25  31
(31, 37]    2   34.0    31  37
(37, 43]    2   40.0    37  43

La suma de frecuencias es en este caso 24, lo cual tampoco sería correcto. Hay valores que se escapan al recuento. Por ejemplo, en el intervalo 13-19 tenemos realmente 9 variables.

0

Para determinar el número de intervalos, conocido el tamaño de la muestra, en este caso M = 30 variabes, se aplica la regla de Sturges: En nuestro caso, es mejor utilizar el párametro period en vez del parámetro freq

k = 1 + 3,322 * log10 (N)
periodos = math.ceil(k)
intervals = pd.interval_range(start=inf, end=sup, periods= k, name="Intervalo")

Con lo que conseguimos un límite exacto superior para el último intervalo, correcto de acuerdo con la variable máxima.

Intervalo
(13.0, 18.5]
(18.5, 24.0]
(24.0, 29.5]
(29.5, 35.0]
(35.0, 40.5]
(40.5, 46.0]

No obstante, la suma de frecuencias absolutas sigue siendo incorrecta.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.