0

Quiero deshacerme de lineas de una dataframe que tengan NaN pero cuando hago item_info.dropna(axis = 0, how='all'), que proviene de la documentación de pandas.pydata.org, no funciona bien:

item_info.dropna(axis = 0, how='all')

Usando esto con

m2 = ranking_factorization_recommender.create(subcriber_eclipse,
                                              target='count',
                                              user_data = subcriber_eclipse,
                                              item_data = sf_test)

Da el siguiente error:

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)

<ipython-input-44-02025aac0088> in <module>()
----> 1 item_info.dropna(axis = 0, how='all')
      2 
      3 #item_info.fillna(0, inplace=True)
      4 
      5 #print item_info

TypeError: dropna() got an unexpected keyword argument 'axis'

la tabla proviene de una consulta SQL :

item_info = graphlab.SFrame.from_sql(conn,"""--- matrice d'utilisation des hastags par les eclipses
SELECT COUNT (eclipse_hashtag.eclipse_id), eclipse_hashtag.hashtag_id,eclipse_hashtag.eclipse_id FROM eclipse_hashtag
    GROUP BY eclipse_hashtag.hashtag_id, eclipse_hashtag.eclipse_id
      ORDER BY eclipse_hashtag.hashtag_id,eclipse_hashtag.eclipse_id ASC;
    """)

item_info.rename({'eclipse_id':'item_id'})

Aqui está la estructura :

type(item_info)

graphlab.data_structures.sframe.SFrame

Y aqui esta la traza del error al completo

[ERROR] graphlab.toolkits._main: Toolkit error: Missing value (None) encountered in column 'item_id.1'. Use the SFrame's dropna
function to drop rows with 'None' values in them.`

---------------------------------------------------------------------------
ToolkitError                              Traceback (most recent call last)
<ipython-input-8-56b88cdef560> in <module>()
      9 m2 = ranking_factorization_recommender.create(subcriber_eclipse,
target='count',
     10                                               user_data = subcriber_eclipse,
---> 11                                               item_data = item_info)
     12 

/home/antoine/anaconda2/lib/python2.7/site-packages/graphlab/toolkits/recommender/ranking_factorization_recommender.pyc
in create(observation_data, user_id, item_id, target, user_data,
item_data, num_factors, regularization, linear_regularization,
side_data_factorization, ranking_regularization,
unobserved_rating_value, num_sampled_negative_examples,
max_iterations, sgd_step_size, random_seed, binary_target, solver,
verbose, **kwargs)
    267         opts.update(kwargs)
    268 
--> 269     response = _graphlab.toolkits._main.run('recsys_train', opts, verbose)
    270 
    271     return RankingFactorizationRecommender(response['model'])

/home/antoine/anaconda2/lib/python2.7/site-packages/graphlab/toolkits/_main.pyc
in run(toolkit_name, options, verbose, show_progress)
     87         _get_metric_tracker().track(metric_name, value=1, properties=track_props, send_sys_info=False)
     88 
---> 89         raise ToolkitError(str(message))

ToolkitError: Missing value (None) encountered in column 'item_id.1'. Use the SFrame's dropna function to drop rows with 'None'
values in them.
4
  • Marine es muy extraño eso, con ese código debes conseguir eliminar todas las filas en las que todos sus elementos son NaN. Lo uso a menudo, pero ante la duda lo he testeado en Pandas 0.20.1, he actualizado a la 0.20.2 (por si fuera un bug en la subversión) y no hay manera de reproducir tu problema ni en Python 2.7 ni en Python 3.6.. Algo más se nos escapa. Prueba a reproducir alguno de los ejemplos que dan en la documentación en un nuevo Notebook a ver si te pasa lo mismo.
    – FJSevilla
    el 22 jun. 2017 a las 15:39
  • Marine dada tu pregunta anterior y sabiendo que usas SFrame, mira a ver si por alguna casualidad item_info no fuera un pandas.DataFrame sino un graphlab.SFrame. Lo digo porque SFrame tiene el mismo método pero sus argumentos son SFrame.dropna(columns=None, how='any'), lo cual explicaría el error. Seria bueno que aportaras la traza del error al completo o verifica el tipo de tu objeto con type(item_info). Saludos.
    – FJSevilla
    el 22 jun. 2017 a las 15:54
  • Si eso es, esta una SFrame ! el 22 jun. 2017 a las 15:59
  • @FJSevilla añadí la traza del error al completo y voy a eproducir alguno de los ejemplos que dan en la documentación en un nuevo Notebook. Muchas gracias por toda su ayuda. el 23 jun. 2017 a las 8:52

2 respuestas 2

0

He modificado un poco la pregunta ya que no estás usando DataFrames.

Debido a que no usas no deberías usar su documentación. La documentación de los SFrames indica que axis no es una keyword válida pero sí puedes usar columns. Leyendo su documentación deberías poder hacer lo que quieres de la siguiente forma:

item_info.dropna(columns=None, how='all')
2
  • Me da el mismo error : ToolkitError: Missing value (None) encountered in column 'item_id.1'. Use the SFrame's dropna function to drop rows with 'None' values in them. el 23 jun. 2017 a las 8:16
  • Supuestamente maneja NaNs y Nones. Si pegas la fila de datos que te da error igual se puede mirar un poco más pero sin más información es difícil ayudarte. Otra opción que se me ocurre es que item_info esté vacio y no haya filas para aplicar el dropna. ¿Has testeado que la query realmente te devuelve valores? el 23 jun. 2017 a las 9:55
0

Parece que el error no lo lanza dropna sino que alguno de los métodos que usas no admite que existan columnas con algún valor nulo.

Partiendo de un ejemplo:

>>> import numpy as np
>>> sf = graphlab.SFrame({'a': [1, None, np.nan],
                          'b': [3, None,   None],
                          'c': [4,    5, np.nan], 
                          'd': [6,    7,      8]})
>>> sf
Data:
+------+------+-----+---+
|  a   |  b   |  c  | d |
+------+------+-----+---+
| 1.0  |  3   | 4.0 | 6 |
| None | None | 5.0 | 7 |
| nan  | None | nan | 8 |
+------+------+-----+---+

dropna elimina la fila o filas completas dependiendo del parámetro how:

  • how = 'all': elimina solo la fila si tiene todos los valores nulos en todas las columnas especificadas en columns:

    >>> sf.dropna(columns=None, how='all')   
    Data:
    +------+------+-----+---+
    |  a   |  b   |  c  | d |
    +------+------+-----+---+
    | 1.0  |  3   | 4.0 | 6 |
    | None | None | 5.0 | 7 |
    | nan  | None | nan | 8 |
    +------+------+-----+---+
    
    >>> sf.dropna(columns=['a', 'b'], how='all')
    Data:
    +-----+---+-----+---+
    |  a  | b |  c  | d |
    +-----+---+-----+---+
    | 1.0 | 3 | 4.0 | 6 |
    +-----+---+-----+---+
    
  • how = 'any': elimina una fila si existe al menos un valor nulo en algunas de las columnas especificadas en columns.

    >>> sf.dropna(columns=None, how='any')
    Data:
    +-----+---+-----+---+
    |  a  | b |  c  | d |
    +-----+---+-----+---+
    | 1.0 | 3 | 4.0 | 6 |
    +-----+---+-----+---+
    
    
    >>> sf.dropna(columns=['c', 'd'], how='any')
    Data:
    +------+------+-----+---+
    |  a   |  b   |  c  | d |
    +------+------+-----+---+
    | 1.0  |  3   | 4.0 | 6 |
    | None | None | 5.0 | 7 |
    +------+------+-----+---+
    

Como ves funciona tanto con None como con valores nan reales. Si aplicas sf.dropna(columns=None, how='all') eliminaras solo las filas con todos sus valores nulos pero no cosas como [None, None, 5.0, 7]. Ten también cuidado con valores nulos no reconocidos como tales como 'NaN' sobre todo si lees datos de un csv.

Si alguna de las funciones que tienes no admite que existan valores nulos en el SFrame o bién eliminas toda fila que qenga al menos un valor nulo how='any' o usas fillna para pasar esos valores nulos a 0 por ejemplo.

Esto depende de tus datos, de su naturaleza y de cómo y qué estes evaluando. Puede que eliminar una fila con un solo valor nulo sea perder datos y esto no es asumible. En el caso de pasar los valores nulos a 0 es lo mismo, hay casos en los que None puede ser equivalente a 0 y casos en los que esto no es cierto. Debes evaluar esto y actuar en consecuencias, si es que el problema es el que expongo.

Sframe.fillna tiene como argumentos la columna sobre la que aplicar la operación y el valor por el que sustituir los nulos:

>>> sf.fillna(column='a', value=0.0)
Data:
+-----+------+-----+---+
|  a  |  b   |  c  | d |
+-----+------+-----+---+
| 1.0 |  3   | 4.0 | 6 |
| 0.0 | None | 5.0 | 7 |
| 0.0 | None | nan | 8 |
+-----+------+-----+---+
3
  • Tengo una cosa bastante peculiar : he hecho print "item_info : ",item_info.print_rows(2240,3) para ver todas las valores y nunca hay NaN o None ... el 23 jun. 2017 a las 13:19
  • @Marine1 lo único que se me ocurre si eso es así, es que en algún momento intermedio entre la aplicación de dropna y la función que retorna el error se genere un Sframe que si tenga valores None. Debes intentar aislar la función o método que lanza el error y ir hacia atrás para ver si en algún momento se genera un SFrame que si tenga valores nulos como resultado del procesamiento de tu SFrame original. Saludos.
    – FJSevilla
    el 23 jun. 2017 a las 13:37
  • Si, tienes razón. A mi parecer esta es cuando utiliso ranking_factorization_recommender.create (que he añadido en la pregunta). Tal vez esta la relacion entre las tres tablas que crea NaN o Null en ella misma. el 23 jun. 2017 a las 14:02

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.