0

Tengo un archivo CSV referente a los suicidios por países, el cual tiene 12 variables.La estructura es la siguiente:

country,year,sex,age,suicides_no,population,suicides/100k pop,country-year,HDI for year, gdp_for_year ($) ,gdp_per_capita ($),generation
Albania,1987,Hombre,15-24 years,21,312900,6.71,Albania1987,,2156624900,796,Generation X
Albania,1987,Hombre,35-54 years,16,308000,5.19,Albania1987,,2156624900,796,Silent
Albania,1987,Mujer,15-24 years,14,289700,4.83,Albania1987,,2156624900,796,Generation X
Albania,1987,Hombre,75+ years,1,21800,4.59,Albania1987,,2156624900,796,G.I. Generation
Albania,1987,Hombre,25-34 years,9,274300,3.28,Albania1987,,2156624900,796,Boomers
Albania,1987,Mujer,75+ years,1,35600,2.81,Albania1987,,2156624900,796,G.I. Generation
Albania,1987,Mujer,35-54 years,6,278800,2.15,Albania1987,,2156624900,796,Silent
Albania,1987,Mujer,25-34 years,4,257200,1.56,Albania1987,,2156624900,796,Boomers
Albania,1987,Hombre,55-74 years,1,137500,0.73,Albania1987,,2156624900,796,G.I. Generation

Cuando aplico el siguiente comando awk para ver el número de suicidios por edades:

tail -n +2 fichero.csv | awk -F, '{a[$4 ","]+=$5} END{for (i in a) print i, a[i]}' | sort -t, -nr -k2

obtengo como resultado el deseado:

35-54 years, 2452141
55-74 years, 1658443
25-34 years, 1123912
15-24 years, 808542
75+ years, 653118
5-14 years, 52264

Sin embargo, cuando aplico el mismo comando, esta vez para ver el número de suicidios por generaciones:

tail -n +2 fichero.csv | awk -F, '{a[$12 ","]+=$5} END{for (i in a) print i, a[i]}'

la salida que obtengo es:

, 2284498
, 15906ion Z
, 1532804n X
, 510009eration
, 623459ls
, 1781744

¿Por qué estoy obteniendo una salida errónea donde se mezclan los valores numéricos con las categorías de la variable, si al aplicar el mismo código para los grupos de edad no me genera ningún problema?

Gracias de antemano!

0

1 respuesta 1

2

He intentado replicar tu ejemplo y me sale correctamente el resultado esperado:

G.I. Generation, 3
Boomers, 13
Silent, 22
Generation X, 35

Explicación

Creo que el problema es que tu fichero .csv utiliza como terminador de línea la pareja CRLF (retorno de carro + avance de línea), que corresponde a los ASCII 13 y 10, típicamente representados por \r\n.

En cambio la máquina Unix en que ejecutas el comando awk espera que los terminadores de línea sean simplemente el carácter LF (\n). Por tanto el nombre de las generaciones, al ser el último campo de la línea y al haber eliminado el \n por considerarse el terminador, contienen aún un \r sin eliminar.

Por ejemplo, una de las líneas dice:

Albania,1987,Hombre,25-34 years,9,274300,3.28,Albania1987,,2156624900,796,Boomers\r\n

(he puesto el \r\n final para hacerlos más visibles).

Cuando AWK la procese, elimina el \n pues ese es el que considera "fin de línea". El nombre de la generación accesible en $12 sería por tanto Boomers\r con ese \r al final.

Cuando vas a imprimir el resultado que debería verse como "Boomers, 13" ocurre que a la terminal se envía la cadena "Boomers\r, 13". El carácter \r (retorno de carro) causa que el cursor retroceda al inicio de la línea, para escrbir después la coma y el 13, sobreescribiendo lo que ya estaba escrito allí. Como consecuencia se verá ", 13ers"

Para verificar esta hipótesis, guardé el fichero .csv usando CRLF como terminador de línea y volví a ejecutar tu comando. Efectivamente salen cosas raras como a ti:

, 13ers
, 35ration X
, 3. Generation
, 22nt

Solución

Puedes convertir el .csv al formato "LF" con la herramienta dos2unix antes de procesarlo con awk.

También puedes decirle a awk que use la pareja \r\n como terminador de línea, en lugar del \n que usa por defecto. Sería así:

awk -v RS="\r\n" -F,  '{a[$12 ","]+=$5} END{for (i in a) print i, a[i]}'
1
  • Muchas gracias abulafia! Buenísima explicación, como siempre! La verdad es que no tenía ni idea del terminador de línea de la pareja CRLF. Ahora ya lo sé por si me vuelve a ocurrir más adelante. Saludos!! Commented el 22 dic. 2020 a las 11:39

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.