1

Tengo un marco de datos de un archivo csv que descargué aquí de esta manera:

import pandas as pd 
# Control delimiters, rows, column names with read_csv (see later) 
data = pd.read_csv("LoanStats_2018Q1.csv") 

Me devuelve:

id  member_id   loan_amnt   funded_amnt funded_amnt_inv term    int_rate    installment grade   sub_grade   emp_title   emp_length  home_ownership  annual_inc  verification_status issue_d loan_status pymnt_plan  url desc    purpose title   zip_code    addr_state  dti delinq_2yrs earliest_cr_line    inq_last_6mths  mths_since_last_delinq  mths_since_last_record  open_acc    pub_rec revol_bal   revol_util  total_acc   initial_list_status out_prncp   out_prncp_inv   total_pymnt total_pymnt_inv total_rec_prncp total_rec_int   total_rec_late_fee  recoveries  collection_recovery_fee last_pymnt_d    last_pymnt_amnt next_pymnt_d    last_credit_pull_d  collections_12_mths_ex_med  mths_since_last_major_derog policy_code application_type    annual_inc_joint    dti_joint   verification_status_joint   acc_now_delinq  tot_coll_amt    tot_cur_bal open_acc_6m open_act_il open_il_12m open_il_24m mths_since_rcnt_il  total_bal_il    il_util open_rv_12m open_rv_24m max_bal_bc  all_util    total_rev_hi_lim    inq_fi  total_cu_tl inq_last_12m    acc_open_past_24mths    avg_cur_bal bc_open_to_buy  bc_util chargeoff_within_12_mths    delinq_amnt mo_sin_old_il_acct  mo_sin_old_rev_tl_op    mo_sin_rcnt_rev_tl_op   mo_sin_rcnt_tl  mort_acc    mths_since_recent_bc    mths_since_recent_bc_dlq    mths_since_recent_inq   mths_since_recent_revol_delinq  num_accts_ever_120_pd   num_actv_bc_tl  num_actv_rev_tl num_bc_sats num_bc_tl   num_il_tl   num_op_rev_tl   num_rev_accts   num_rev_tl_bal_gt_0 num_sats    num_tl_120dpd_2m    num_tl_30dpd    num_tl_90g_dpd_24m  num_tl_op_past_12m  pct_tl_nvr_dlq  percent_bc_gt_75    pub_rec_bankruptcies    tax_liens   tot_hi_cred_lim total_bal_ex_mort   total_bc_limit  total_il_high_credit_limit  revol_bal_joint sec_app_earliest_cr_line    sec_app_inq_last_6mths  sec_app_mort_acc    sec_app_open_acc    sec_app_revol_util  sec_app_open_act_il sec_app_num_rev_accts   sec_app_chargeoff_within_12_mths    sec_app_collections_12_mths_ex_med  sec_app_mths_since_last_major_derog hardship_flag   hardship_type   hardship_reason hardship_status deferral_term   hardship_amount hardship_start_date hardship_end_date   payment_plan_start_date hardship_length hardship_dpd    hardship_loan_status    orig_projected_additional_accrued_interest  hardship_payoff_balance_amount  hardship_last_payment_amount    debt_settlement_flag    debt_settlement_flag_date   settlement_status   settlement_date settlement_amount   settlement_percentage   settlement_term
NaN NaN 35000   35000   35000   60 months   13.58%  806.79  C   C2  Security Officer    7 years MORTGAGE    160000  Source Verified Mar-2018    Current n   NaN NaN home_improvement    Home improvement    207xx   MD  7.87    0   Dec-2005    1   NaN 97  14  1   10333   24.5%   24  w   28807.40    28807.40    11242.25    11242.25    6192.60 5049.65 0.0 0.0 0.0 Jun-2019    806.79  Jul-2019    Jun-2019    0   NaN 1   Individual  NaN NaN NaN 0   0   38964   3   1   1   1   3   28631   99  4   6   2674    55  42200   3   3   4   7   2783    12723   38.2    0   0   128 147 2   2   0   12  NaN 0   NaN 0   5   10  5   10  6   13  18  10  14  0   0   0   5   100 0   1   0   71160   38964   20600   28960   NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN N   NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN N   NaN NaN NaN NaN NaN NaN
24000   24000   24000   36 months   21.85%  914.71  D   D5  NaN NaN RENT    53000   Not Verified    Mar-2018    Current n   NaN NaN credit_card Credit card refinancing 398xx   GA  28.67   0   Dec-2000    0   NaN NaN 7   0   23692   73.6%   11  w   16459.87    16459.87    12747.67    12747.67    7540.13 5207.54 0.0 0.0 0.0 May-2019    914.71  Jul-2019    Jun-2019    0   NaN 1   Individual  NaN NaN NaN 0   0   43436   0   1   0   0   32  19744   63  0   1   7089    69  32200   0   0   1   1   6205    1408    89.7    0   0   79  207 13  13  0   32  NaN 12  NaN 0   3   5   3   3   4   6   7   5   7   0   0   0   0   100 66.7    0   0   63411   43436   13700   31211   NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN N   NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN N   NaN NaN NaN NaN NaN NaN
...    
Total amount funded in policy code 1: 1741781700    NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN
Total amount funded in policy code 2: 564202131 NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN NaN

Intenté obtener la columna loan_amnt utilisando data[["loan_amnt"]] pero me devuelve el terminal que loan_amnt no es un index :

---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
<ipython-input-55-ad8bd8a5eb73> in <module>
----> 1 data[["loan_amnt"]]

C:\ProgramData\Anaconda3\lib\site-packages\pandas\core\frame.py in __getitem__(self, key)
   2680         if isinstance(key, (Series, np.ndarray, Index, list)):
   2681             # either boolean or fancy integer index
-> 2682             return self._getitem_array(key)
   2683         elif isinstance(key, DataFrame):
   2684             return self._getitem_frame(key)

C:\ProgramData\Anaconda3\lib\site-packages\pandas\core\frame.py in _getitem_array(self, key)
   2724             return self._take(indexer, axis=0)
   2725         else:
-> 2726             indexer = self.loc._convert_to_indexer(key, axis=1)
   2727             return self._take(indexer, axis=1)
   2728 

C:\ProgramData\Anaconda3\lib\site-packages\pandas\core\indexing.py in _convert_to_indexer(self, obj, axis, is_setter)
   1325                 if mask.any():
   1326                     raise KeyError('{mask} not in index'
-> 1327                                    .format(mask=objarr[mask]))
   1328 
   1329                 return com._values_from_object(indexer)

KeyError: "['loan_amnt'] not in index"

Solo quería saber cuál es el número total de loans. Pienso que es el número de líneas menos la primera línea que parece un encabezado y las dos últimas son un poco extrañas.

Yo queria hacer lo mismo con la columna loan_status para saber cuántos loans hay todavía al corriente es por decir las cuantos loans tienen el valor Current en este datafarme.

1
  • Hola @FJSevilla , ja, lo siento, acabo de agregar el nombre y la forma en que lo descargué. Estoy empezando a entender el problema. El tamaño de la matriz es de 107867 filas x 1 columnas. Commented el 16 jul. 2019 a las 19:24

1 respuesta 1

1

Tal como intuyes, el problema es la primera línea y las dos últimas que no forman parte de las lineas de datos del csv propiamente dichas:

Notes offered by Prospectus (https://www.lendingclub.com/info/prospectus.action) <<<
"id","member_id","loan_amnt","funded_amnt",...
"","","10000","10000","10000"," 36 months","  6.03%",...
...

Total amount funded in policy code 1: 460296150 <<<
Total amount funded in policy code 2: 0         <<<

Esto causa que tu DataFrame tenga al final una sola columna...

La solución es simplemente ignorar dichas líneas al leer el csv mediante los parámetros skiprows (para ignorar primera línea) y skipfooter para eliminar las dos últimas:

import io
import pandas as pd

data = pd.read_csv("LoanStats_2018Q1.csv", skiprows=1, skipfooter=2, engine='python')
>>> data["loan_amnt"]

0         5000.0
1         2500.0
2         2400.0
3        10000.0
4         3000.0
5         5000.0
6         7000.0
7         3000.0
8         5600.0
9         5375.0
10        6500.0
11       12000.0
12        9000.0
13        3000.0
14       10000.0
15        1000.0
16       10000.0
17        3600.0
18        6000.0
19        9200.0
20       20250.0
21       21000.0
22       10000.0
23       10000.0
24        6000.0
25       15000.0
26       15000.0
27        5000.0
28        4000.0
29        8500.0
          ...   
42506     6725.0
42507     2000.0
42508     6000.0
42509     5350.0
42510     1900.0
42511    10000.0
42512     2000.0
42513     6000.0
42514     4400.0
42515     1200.0
42516     5000.0
42517     1400.0
42518     1000.0
42519     5000.0
42520     2500.0
42521     3000.0
42522     2600.0
42523     1000.0
42524     6450.0
42525     1275.0
42526    10500.0
42527     3000.0
42528     3000.0
42529     2000.0
42530     6500.0
42531     3500.0
42532     1000.0
42533     2525.0
42534     6500.0
42535     5000.0
Name: loan_amnt, Length: 42536, dtype: float64

Tienes unas cuantas líneas en blanco, pero eso no es problema ya que por defecto el argumentoskip_blank_lines es True y se eliminan.

Nota: skipfooter no puede ser usado con el motor de C (usado por defecto). Se debe usar Python para parsear el fichero. Si no se indica explícitamente mediante engine="python" tendremos un warning, aunque se usará Python automáticamente y el csv será cargado correctamente.

3
  • Muchisimas gracias ! ¿Y sabes cómo incluirlos como propia columnas de índice ? Commented el 16 jul. 2019 a las 19:25
  • Umm no entiendo, ¿Quieres que alguna de las columnas sea el índice? ¿asignar o generar un índice propio?
    – FJSevilla
    Commented el 16 jul. 2019 a las 19:33
  • Debería haber dicho "headers". No te preocupes, siento que es bueno. Al hacer lo que hizo, ahora tengo un encabezado real para el marco de datos en lugar de la columna única. Commented el 16 jul. 2019 a las 19:39

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.