1

Estoy elaborando mi trabajo fin de curso sobre estudio del covid-19. Estoy utilizando el archivo divulgado por el ministerio de la sanidad: https://cnecovid.isciii.es/covid19/#documentaci%C3%B3n-y-datos donde iré utilizar el csv de cada region autonoma: https://cnecovid.isciii.es/covid19/resources/agregados.csv pero al intentar crear arrays en python me sale un error. El codigo que estoy lanzando es:

import pandas as pd
import csv
url = "https://cnecovid.isciii.es/covid19/resources/agregados.csv"
data = pd.read_csv(url)
data.tail() 

y el error que genera:

<ipython-input-67-b79f23de4d25> in <module>
     2 import csv
     3 url = "https://cnecovid.isciii.es/covid19/resources/agregados.csv"
----> 4 data = pd.read_csv(url)
     5 data.tail()

~\Anaconda3\lib\site-packages\pandas\io\parsers.py in parser_f(filepath_or_buffer, sep, delimiter, header, names, index_col, usecols, squeeze, prefix, mangle_dupe_cols, dtype, engine, converters, true_values, false_values, skipinitialspace, skiprows, skipfooter, nrows, na_values, keep_default_na, na_filter, verbose, skip_blank_lines, parse_dates, infer_datetime_format, keep_date_col, date_parser, dayfirst, cache_dates, iterator, chunksize, compression, thousands, decimal, lineterminator, quotechar, quoting, doublequote, escapechar, comment, encoding, dialect, error_bad_lines, warn_bad_lines, delim_whitespace, low_memory, memory_map, float_precision)
   674         )
   675 
--> 676         return _read(filepath_or_buffer, kwds)
   677 
   678     parser_f.__name__ = name

~\Anaconda3\lib\site-packages\pandas\io\parsers.py in _read(filepath_or_buffer, kwds)
   452 
   453     try:
--> 454         data = parser.read(nrows)
   455     finally:
   456         parser.close()

~\Anaconda3\lib\site-packages\pandas\io\parsers.py in read(self, nrows)
  1131     def read(self, nrows=None):
  1132         nrows = _validate_integer("nrows", nrows)
-> 1133         ret = self._engine.read(nrows)
  1134 
  1135         # May alter columns / col_dict

~\Anaconda3\lib\site-packages\pandas\io\parsers.py in read(self, nrows)
  2035     def read(self, nrows=None):
  2036         try:
-> 2037             data = self._reader.read(nrows)
  2038         except StopIteration:
  2039             if self._first_chunk:

pandas\_libs\parsers.pyx in pandas._libs.parsers.TextReader.read()

pandas\_libs\parsers.pyx in pandas._libs.parsers.TextReader._read_low_memory()

pandas\_libs\parsers.pyx in pandas._libs.parsers.TextReader._read_rows()

pandas\_libs\parsers.pyx in pandas._libs.parsers.TextReader._tokenize_rows()

pandas\_libs\parsers.pyx in pandas._libs.parsers.raise_parser_error()

ParserError: Error tokenizing data. C error: Expected 8 fields in line 1739, saw 9

Al analizar el archivo csv en las ultimas lineas sale una nota informativa, donde localmente he borrado y al guardar ya me carga los datos, pero no quiero extraer siempre y borrar la informacion

"NOTA 1: Los datos publicados reflejan el número de casos, confirmados por PCR, hospitalizados, admitidos en UCI y fallecidos acumulados cada día. La diferencia entre dos días consecutivos no necesariamente corresponde al número de episodios que se han producido en un día determinado, debido a que pueden haberse asignado con posterioridad a fechas anteriores. Esta serie está en revisión diaria por las CCAA y el Ministerio de Sanidad. Cualquier inferencia que se haga sobre las diferencias de un día a otro son únicamente la responsabilidad del usuario.",,,,,,,
NOTA 2: Los datos de estas comunidades son datos de prevalencia (personas ingresadas a fecha de hoy). No reflejan el total de personas que han sido hospitalizadas o ingresadas en UCI  a lo largo del periodo de notificación(CL(UCIs*)-GA(UCIS**)-CM***-MD****),,,,,,,
* Desde el día 17/04/2020 las cifras de UCIs de CL son casos acumulados. Previamente se refieren a personas ingresadas ese día.,,,,,,,
** Desde el día 28/04/2020 las cifras  UCIs de GA  son casos acumulados. Previamente se refieren a personas ingresadas ese día. Se actualizará la serie cuando esté disponible.,,,,,,,
*** Desde el día 11/04/2020 las cifras de hospitalizados de CM son casos acumulados. Previamente se refieren a personas ingresadas ese día.,,,,,,,
*** Desde el día 12/04/2020 las cifras de UCIs de CM son casos acumulados. Previamente se refieren a personas ingresadas ese día.,,,,,,,
**** Desde el día 26/04/2020 las cifras de Hospitalizados y UCIs de MD son casos acumulados. Previamente se refieren a personas ingresadas ese día. Se actualizará la serie cuando esté disponible.,,,,,,,
NOTA 3: Se excluyen de la serie las notificaciones de personas  con anticuerpos positivos sin síntomas en el momento de realización de la prueba en los que no se puede establecer un momento de contagio ni si han padecido o no la enfermedad.,,,,,,,
NOTA 4: En los datos de PCR+ de Cataluña se incluyen casos pendientes de distribuir en la serie histórica. Aragón está actualizando sus series históricas de hospitalizados, UCI y fallecidos.,,,,,,,

puede ser ese el problema si es como puedo arreglar? Y si no es donde está el fallo?

Muchas Gracias

2
  • El csv simplemente es incorrecto, está mal generado... La última linea con la última nota, tiene una coma (que es el separador) en la cadena que forma la primera columna (...hospitalizados, UCI..."), pero se les ha pasado acotar la cadena.... Por eso se queja el parser, y con mucha razón... No se si será por las prisas con todo el caos del COVID-19, pero es la segunda vez que veo un error de éste tipo en fuentes oficiales...
    – FJSevilla
    Commented el 25 may. 2020 a las 15:31
  • Pero puedo borrar estas lineas de información para que no entre en el código? Commented el 25 may. 2020 a las 15:55

1 respuesta 1

0

El problema es simplemente que ese csv está mal generado.

El error que el parser csv de Pandas con mucha razón lanza se debe a la última linea del csv:

NOTA 4: ... hospitalizados, UCI y fallecidos.,,,,,,,
                          ^
                          ^

hay una coma en un campo, siendo la coma el separador del csv, por lo que debe estar acotado y no lo está:

"NOTA 4: ... hospitalizados, UCI y fallecidos.",,,,,,,
^                                             ^
^                                             ^

Es un error simple, pero que convierte a ese csv en un csv mal generado y por tanto incorrecto.

Además, el csv usa Latin-1 como codificación, el estándar Web suele ser UTF-8, pero si se usa otro, lo suyo es indicarlo en las cabeceras de la respuesta al menos, cosa que tampoco hacen, toca adivinar...

Lo que puedes hacer es usar el argumento error_bad_lines de pandas.read_csv, si le asignas False, simplemente descarta las líneas que no pueda parsear.

A priori no sabes cuantas líneas del csv son datos ni cuantas lineas hay con notas, por lo que no es simple descartar las finales con las notas. Para eliminarlas, puedes usar un filtro boleano una vez parseado el csv, dado que la primera columna con el código de la CCAA tiene dos caracteres siempre:

import pandas as pd


url = "https://cnecovid.isciii.es/covid19/resources/agregados.csv"


data = pd.read_csv(url, error_bad_lines=False, encoding="latin-1")
data = data[data['CCAA'].map(len) == 2]
>>> data
     CCAA      FECHA  CASOS     PCR+  TestAc+  Hospitalizados    UCI  Fallecidos
0      AN  20/2/2020    0.0      0.0      NaN             NaN    NaN         NaN
1      AR  20/2/2020    NaN      0.0      NaN             NaN    NaN         NaN
2      AS  20/2/2020    NaN      0.0      NaN             NaN    NaN         NaN
3      IB  20/2/2020    NaN      1.0      NaN             NaN    NaN         NaN
4      CN  20/2/2020    NaN      1.0      NaN             NaN    NaN         NaN
...   ...        ...    ...      ...      ...             ...    ...         ...
1724   ML  20/5/2020    NaN    121.0     13.0            44.0    3.0         2.0
1725   MC  20/5/2020    NaN   1570.0   1039.0           680.0  112.0       149.0
1726   NC  20/5/2020    NaN   5195.0   3157.0          2048.0  136.0       506.0
1727   PV  20/5/2020    NaN  13421.0   5358.0          7032.0  578.0      1483.0
1728   RI  20/5/2020    NaN   4033.0   1395.0          1504.0   91.0       354.0

Cuando una linea sea descartada por ser incorrecta, se mostrará un warning, un aviso, si no nos interesa y queremos evitarlo basta con usar el argumento warn_bad_lines:

import pandas as pd


url = "https://cnecovid.isciii.es/covid19/resources/agregados.csv"


data = pd.read_csv(
    url, error_bad_lines=False, warn_bad_lines=False, encoding="latin-1"
    )
data = data[data['CCAA'].map(len) == 2]
3
  • gracias por la respues @FJSevilla pero me devolve un error: b'Skipping line 1739: expected 8 fields, saw 9\n' estoy utilizando jupyter notebook. Sabes que puede ser? gracias Commented el 29 may. 2020 a las 11:17
  • @carloslima77, he editado la respuesta, mira al final de la misma. Saludos.
    – FJSevilla
    Commented el 29 may. 2020 a las 11:22
  • si perdon ahora he visto. Mucahs gracias @FJSevilla la informacion ha sido de gran ayuda. Commented el 29 may. 2020 a las 11:29

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.