Estoy intentando analizar un archivo .csv. En donde quiero sacar la linea de regresion de los datos. Hice uno pero en el scatter habia una nube muy grande de puntos y la verdad que es dificil explicar las cosas asi, por lo que decidi sacar los promedios de mi variable altura, por cada edad. Y asi reducir la cantidad de puntos. Pero al hacer esto me tira un error que no he podido arreglar, que es el siguiente --> ValueError: Found input variables with inconsistent numbers of samples: [30181, 50], entiendo el error pero no se como solucionarlo.
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from scipy.stats import pearsonr
from sklearn.metrics import r2_score
from sklearn.metrics import mean_squared_error
import statsmodels.api as sm
import statsmodels.formula.api as smf
df = pd.read_csv('athlete_events.csv')
df.dropna(inplace = True)
fig, ax = plt.subplots(figsize=(10, 10))
df.plot(
x = 'Age',
y = 'Height',
c = 'blue',
kind = "scatter",
ax = ax
)
ax.set_title('Distribución de altura y edad')
plt.show()
corr_test = pearsonr(x = df['Height'], y = df['Age'])
print("Coeficiente de correlacion de Pearson: ", corr_test[0])
print("P-value: ", corr_test[1])
#Ajuste del modelo
X = df['Age']
y = df['Height']
X_train, X_test, y_train, y_test = train_test_split(
X.values.reshape(-1,1),
y.values.reshape(-1,1),
train_size = 0.2)
#Creamos el grafico scatter con la linea de regresión
modelo = LinearRegression()
modelo.fit(X = X_train.reshape(-1, 1), y = y_train)
Y_pred = modelo.predict(X_test)
plt.figure(figsize=(10,10))
plt.scatter(X_test, y_test)
plt.plot(X_test, Y_pred, color='red', linewidth=3)
plt.show()
#Sacamos el promedio de alturas por edad
data = df.groupby('Age')['Height'].mean().reset_index()
dx= data.index
#Creamos nuevamente el grafico scatter con la linea de regresion, pero con los promedios
X1 = df['Age']
y1 = dx
X1_train, X1_test, y1_train, y1_test = train_test_split(
X1,
y1,
train_size = 0.2)
#Creamos el grafico scatter con la linea de regresión
modelo1 = LinearRegression()
modelo1.fit(X1 = X_train.transpose(), y1 = y1_train)
Y1_pred = modelo.predict(X1_test)
plt.figure(figsize=(10,10))
plt.scatter(X1_test, y1_test)
plt.plot(X1_test, Y1_pred, color='red', linewidth=3)
plt.show()
Ese es el codigo, pero no se que poner para evitar ese error.