0

Tengo un conjunto de datos que utilizo para el aprendizaje automático. Sin embargo, quiero dividir mi conjunto de datos en conjunto de entrenamiento y conjunto de prueba. Le gustaria que el conjunto de entrenamiento debe estar hecho de todos los préstamos emitidos hasta septiembre. Mi test incluiria entonces el resto (es decir, Q4-Oct, Nov, Dec). ¿Cómo puedo preparar el conjunto de datos de la forma que considere más adecuada para esta tarea?

    issue_d int_rate    installment dti revol_bal   revol_util  inq_last_6mths  delinq_2yrs pub_rec loan_status purpose_credit_card purpose_debt_consolidation  purpose_home_improvement    purpose_house   purpose_major_purchase  purpose_medical purpose_moving  purpose_other   purpose_renewable_energy    purpose_small_business  purpose_vacation    purpose_wedding
11  Mar-2018    14.07%  233.05  24.69   707 15.7%   0   0   0   1   0   0   0   0   1   0   0   0   0   0   0   0
16  Mar-2018    11.98%  232.44  20.25   5004    36% 0   0   0   1   0   0   1   0   0   0   0   0   0   0   0   0
17  Mar-2018    26.77%  607.97  24.40   7364    46% 1   0   0   0   0   0   0   1   0   0   0   0   0   0   0   0
20  Mar-2018    20.39%  560.94  15.76   14591   34.2%   0   1   0   1   0   0   0   1   0   0   0   0   0   0   0   0
23  Mar-2018    7.34%   930.99  16.18   755 0%  0   1   0   1   0   0   0   1   0   0   0   0   0   0   0   0
...
130741  Apr-2018    6.07%   309.85  14.64   17380   24.5%   1   0   0   1   0   1   0   0   0   0   0   0   0   0   0   0
130742  Apr-2018    11.98%  555.86  21.05   19591   20.5%   2   0   0   1   0   1   0   0   0   0   0   0   0   0   0   0
130744  Apr-2018    11.98%  215.84  14.68   4707    37.7%   1   0   0   1   0   1   0   0   0   0   0   0   0   0   0   0

El typo de issue_d es object.

Hasta ahora no me preocupa de las fechas utilisando :

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, shuffle=True, random_state=123, stratify=y)

Annex : para reproducir la dataframe

Pueden descargar el csv aquí (préstamos bancarios para 2018. Se dividen en cuatro trimestres). Usando Python 3 se puede obtener haciendo:

import pandas as pd 
# Control delimiters, rows, column names with read_csv (see later) 
data_Q1 = pd.read_csv("LoanStats_2018Q1.csv", skiprows=1, skipfooter=2, engine='python')
data_Q2 = pd.read_csv("LoanStats_2018Q2.csv", skiprows=1, skipfooter=2, engine='python')
data_Q3 = pd.read_csv("LoanStats_2018Q2.csv", skiprows=1, skipfooter=2, engine='python')
data_Q4 = pd.read_csv("LoanStats_2018Q2.csv", skiprows=1, skipfooter=2, engine='python')
frames = [data_Q1,data_Q2,data_Q3,data_Q4]

result = pd.concat(frames)
subset = result.loc[result["loan_status"].isin(['Charged Off','Fully Paid'])]
1
  • Una observación (no se si es un error a copiar el código), data_Q2, data_Q3 y data_Q4 usan el mismo archivo csv, "LoanStats_2018Q2.csv"
    – FJSevilla
    el 19 jul. 2019 a las 2:59

1 respuesta 1

0

Tienes muchas posibilidades:

  • Dado que test va a ser el contenido de data_Q4 (cuarto trimestre), una opción muy simple es crear una columna que identifque el trimestre:

    import io
    import pandas as pd
    
    import pandas as pd 
    # Control delimiters, rows, column names with read_csv (see later) 
    data_Q1 = pd.read_csv("LoanStats_2018Q1.csv", skiprows=1, skipfooter=2, engine='python')
    data_Q2 = pd.read_csv("LoanStats_2018Q2.csv", skiprows=1, skipfooter=2, engine='python')
    data_Q3 = pd.read_csv("LoanStats_2018Q3.csv", skiprows=1, skipfooter=2, engine='python')
    data_Q4 = pd.read_csv("LoanStats_2018Q4.csv", skiprows=1, skipfooter=2, engine='python')
    
    data_Q1["quarter"] = "Q1"
    data_Q2["quarter"] = "Q2"
    data_Q3["quarter"] = "Q3"
    data_Q4["quarter"] = "Q4"
    
    frames = [data_Q1,data_Q2, data_Q3, data_Q4]
    result = pd.concat(frames)
    
    bool_filter = result["quarter"] == "Q4"
    test = result[bool_filter]
    training = result[~bool_filter]
    
    >>> training["issue_d"].unique()
    ['Mar-2018' 'Feb-2018' 'Jan-2018' 'Jun-2018' 'May-2018' 'Apr-2018'
     'Sep-2018' 'Aug-2018' 'Jul-2018']
    >>> test["issue_d"].unique())
    ['Dec-2018' 'Nov-2018' 'Oct-2018']
    
  • Otra opción es simplemente filtrar usando un filtro boleano sobre la columna issue_d:

    bool_filter = result["issue_d"].isin(['Dec-2018', 'Nov-2018', 'Oct-2018'])
    test = result[bool_filter]
    training = result[~bool_filter]
    
  • Hacer la columna de tipo categórico sería otra posibilidad:

    months= ['Jan-2018', 'Feb-2018', 'Mar-2018', 'Apr-2018', 'May-2018', 'Jun-2018',
             'Jul-2018', 'Aug-2018', 'Sep-2018', 'Oct-2018', 'Nov-2018' ,'Dec-2018']
    
    result["issue_d"] = pd.Categorical( result["issue_d"], categories=months, ordered=True)
    test = result[result["issue_d"] >= 'Oct-2018']
    training = result[result["issue_d"] < 'Oct-2018']
    
  • Por último, la forma más directa y general es convertir la columna issue_d a tipo datetime y luego simplemente seleccionar usando intervalos de fechas:

    result["issue_d"] = pd.to_datetime(result["issue_d"], format='%b-%Y')
    test = result[result["issue_d"] >= 'Oct-2018']
    training = result[result["issue_d"] < 'Oct-2018']
    test["issue_d"].unique()
    
    >>> test.shape
    (366830, 144)
    
    >>> test["issue_d"].unique()
    array(['2018-12-01T00:00:00.000000000', '2018-11-01T00:00:00.000000000',
           '2018-10-01T00:00:00.000000000'], dtype='datetime64[ns]')
    
    >>> training.shape
    (366830, 144)
    
    >>> training["issue_d"].unique()
    array(['2018-03-01T00:00:00.000000000', '2018-02-01T00:00:00.000000000',
           '2018-01-01T00:00:00.000000000', '2018-06-01T00:00:00.000000000',
           '2018-05-01T00:00:00.000000000', '2018-04-01T00:00:00.000000000',
           '2018-09-01T00:00:00.000000000', '2018-08-01T00:00:00.000000000',
           '2018-07-01T00:00:00.000000000'], dtype='datetime64[ns]')
    

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.