2

Tengo las ventas de artículos desde enero de 2013 hasta octubre de 2015. Sólo quiero predecir las ventas totales para el próximo mes. Sólo por el bien de aprender, me gustaría transformarlo en un modelo de regresión múltiple codificado desde cero, sin ninguna biblioteca. Hasta ahora, he sido capaz de obtener las betas pero no sé cómo obtener la predicción para el próximo mes.

Aquí están los datos históricos de las ventas mensuales desde enero de 2013 hasta octubre de 2015, ts:

date_block_num
0     131479.0
1     128090.0
2     147142.0
3     107190.0
4     106970.0
5     125381.0
6     116966.0
7     125291.0
8     133332.0
9     127541.0
10    130009.0
11    183342.0
12    116899.0
13    109687.0
14    115297.0
15     96556.0
16     97790.0
17     97429.0
18     91280.0
19    102721.0
20     99208.0
21    107422.0
22    117845.0
23    168755.0
24    110971.0
25     84198.0
26     82014.0
27     77827.0
28     72295.0
29     64114.0
30     63187.0
31     66079.0
32     72843.0
33     71056.0

Intenté hacer una simple regresión lineal:

$$y_t = \alpha + \beta x_t +\varepsilon$$

Primero traté de estimar alpha y beta y luego usar predict(alpha,beta,34). Así que lo hice:

import random

def predict(alpha, beta, x_i):
  return alpha+ beta * x_i

def error(alpha, beta, x_i, y_i):
  """the error from predicting beta * x_i + alpha
  when the actual value is y_i"""
  return y_i - predict(alpha, beta, x_i)

def sum_of_squarred_errors(alpha, beta, x, y):
  return sum(errors(alpha, beta, x_i, y_i)**2
             for x_i, y_i in zip(x,y))
  
def correlation(x,y):
  stdev_x = standard_deviation(x)
  stdev_y = standard_deviation(y)
  if stdev_x > 0 and stdev_y >0:
    return covariance(x,y)/ stdev_x/ stdev_y
  else:
    return 0

def squared_error(x_i, y_i, theta):
  alpha, beta = theta
  return error(alpha, beta, x_i, y_i) ** 2

def squared_error_gradient(x_i, y_i, theta):
  alpha, beta = theta
  return [-2 * error(alpha, beta, x_i, y_i),
          -2 * error(alpha, beta, x_i, y_i) * x_i]

def in_random_order(data):
  """generator that returns the elements if data in random order"""
  indexes = [i for i, _ in enumerate(data)] # create a list of indexes
  random.shuffle(indexes) # suffle them
  for i in indexes:
    yield data[i]

def scalar_multiply(c, v):
    """c is a number, v is a vector"""
    return [c*v_i for v_i in v]

def minimize_stochastic(target_fn, gradient_fn, x,y, theta_0, alpha_0=0.01):
  print("x: ", x, "\ny: ",y.tolist())
  data = zip(x,y)
  theta = theta_0  #initial guess
  alpha = alpha_0  # initial step size
  min_theta, min_value = None, float('inf') # the minimum so far
  iterations_with_no_improvment = 0

  # if we ever go 100 iterations with no improvment, stop
  while iterations_with_no_improvment < 100:
    value = sum(target_fn(x_i, y_i, theta) for x_i, y_i in data)
    # print("value: ", value)

    if value < min_value:
      # if we've found a new minimum, remember it
      # and go back to the original step size
      min_theta, min_value = theta, value
      iterations_with_no_improvment = 0
      alpha = alpha_0
    else:
      # otherwise we're not improving, so try shrinking the step size
      iterations_with_no_improvment +=1
      alpha *=0.9

    # and take a gradient step for each of the data points
    for x_i, y_i in in_random_order(data):
      gradient_i = gradient_fn(x_i, y_i, theta)
      theta = vector_substract(theta, scalar_multiply(alpha, gradient_i))
  return min_theta

# choose random value to start
random.seed(0)
theta = [random.random(), random.random()]

alpha, beta = minimize_stochastic(squared_error,
                                  squared_error_gradient, ts.index.values,
                                  ts.values,
                                  theta,
                                  0.001)

print("alpha: ", alpha, "beta: ", beta)

Pero tiene alfas y betas súper bajas:

alpha:  0.8444218515250481 beta:  0.7579544029403025

Así que el total de ventas para 34 (noviembre de 2015) son: 26.614871551495334 que parece imposible comparado con 33 (octubre 2015): 71056.0

Entonces, ¿me equivoqué con el algoritmo de regresión lineal? Mi suposición es que mis valores aleatorios para empezar son tal vez demasiado bajos:

theta = [random.random(), random.random()]

Sin embargo, deberían aumentar de todos modos hasta que no haya más entradas, ¿no es así?

Entonces, ¿cómo elegir los thetas iniciales para una simple regresión lineal?

3

1 respuesta 1

6

Viendo el código que has adjuntado, primero debes de definir que métodos quieres ejercutar para resolver una regresión lineal, tu en el código tienes dos:

  • Reducción por mínimos cuadrados
  • Descenso de gradiente estocástico

Entiendo que quieres usar por el código que adjuntas Descenso de gradiente estocástico lo cual tiene sentido, porque da mejores resultados y es uno de los algoritmos de minimización más usados en Data Science, a parte de que de este algoritmo han salido muchas otras versiones.

Tienes algunos errores en el código:

  • Hay una función llamada errors() que no está definida (puede que sea error() y hayas puesto la "s" por error).

  • La función scalar_multiply() no está definido en ningún lado.

  • La variable alpha_gradient_i no está definida en ningún lado.

Dicho esto, nada de esto importa en realidad a continuación el por qué:

¿Por qué el algoritmo no da buenos resultados?

Tus datos que intentas predecir no tiene sentido que sean predichos con una regresión lineal, vamos a ver los tipos de datos, ejecutando una gráfica:

x = [[0,131479.0], [1,128090.0], [2,147142.0],[3,107190.0],[4,106970.0],
[5,125381.0],[6,116966.0],[7,125291.0],[8,133332.0],[9,127541.0],[10,130009.0],
[11,183342.0],[12,116899.0],[13,109687.0],[14,115297.0],[15, 96556.0],[16, 97790.0],
[17, 97429.0],[18, 91280.0],[19,102721.0],[20, 99208.0],[21,107422.0],[22,117845.0],
[23,168755.0],[24,110971.0],[25, 84198.0],[26, 82014.0],[27, 77827.0],[28, 72295.0],
[29, 64114.0],[30, 63187.0],[31, 66079.0],[32, 72843.0],[33, 71056.0]]

import matplotlib.pyplot as plt

month = list(zip(*x))[0]
sells = list(zip(*x))[1]


plt.plot(month, sells)

Salida:

introducir la descripción de la imagen aquí

Una regresión lineal, como su nombre indica, es una recta (linea) que se ajusta para predecir tus datos. Si la distribución de tus datos, no se parece en nada a una recta, es imposible que pueda ser predicha correctamente por una regresión lineal, por lo que tendrás que escoger otro tipo de algoritmo (árboles de decisión, vecinos cercanos, bayes, SVM, etc).

Si quieres predecir con una regresión lineal tendrás que coger una distribución de datos que tenga esta forma por ejemplo:introducir la descripción de la imagen aquí

Dicho esto, ahora tenemos que pensar matemáticamente lo que hace una regresión lineal. Teniendo en cuenta la formula que adjuntas:

introducir la descripción de la imagen aquí

Para no alargar la pregunta, me voy a centrar en la Beta (Bxt) y voy a hacer como si Alpha y el Error no existieran. Básicamente lo que haces es, dada una variable "X" la multiplico por "B". En este caso la variable "X" es el número de meses que han pasado desde que tienes registros de ventas, y la Beta "B" es el peso que calculas para multiplicar dicha variable.

Es imposible que con el número de un mes (encima en rango infinito) ajustes las ventas, ya que dime como influye que sea el mes 0, o el mes 10,o el mes 27. No tiene sentido si multiplicamos el mes 1 por una "Beta" que vale 50 (por ejemplo), las ventas del mes 1 serían 50, las del mes dos serían 100, las del mes 3, 150, las del mes 20, serían 1000.

Obviamente el mes no guarda ninguna relación a la hora de predecir las ventas. Ya que no tiene ningún sentido que sea el mes 3, o que sea el mes 27 para vender más o menos (podría tener sentido si pusieras los meses en secuencias de 0 a 12, pero tampoco una regresión lineal es el modelo correcto).

Lo lógico sería predecir las ventas con alguna variable que tenga sentido, por ejemplo dinero invertido en publicidad a más publicidad, puedes ganar más dinero, precio del producto, a más bajo precio, venderaś más, etc. En resumen variables que guarden algún tipo de relación entre sí y a poder ser que sea lineal.

Una vez conozco esto, como soluciono el problema

Tienes dos posibles soluciones

1. Me interesa ajustar esta regresión.

Si lo que quieres es usar la regresión lineal que has creado y probar si funciona, entonces tienes que buscar otro conjunto de datos, o te lo puedes crear tu mismo, por ejemplo:

import numpy as np
import matplotlib.pyplot as plt

x = range(50)
m = np.random.uniform(0.3,0.5,(50,))
b = np.random.uniform(5,8,(50,))
y = b + x*m 

plt.scatter(x,y)

Salida:

introducir la descripción de la imagen aquí

¡Estos datos si se pueden ajustar con una recta!

2. Realmente quiero predecir mis datos, me da igual el algoritmo

En ese caso, el tipo de datos que tu tienes, es lo que se conoce como una Secuencia temporal. Para ello necesitas modelos temporales, más conocidos como Forecasting, hay varios algoritmos para ello: AR, ARIMA, SARIMA, Exponential Smoothing, etc. El modelo AR proviene de la regresión lineal, por lo que podría ser un buen modelo a ver, cuando hayas entendido en profundidad la regresión lineal.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.