4

En un archivo personal.csv tengo la siguiente información:

Center_code       Name                 City_code    Men    Women
    800      SCHOOL NUMBER ONE            8000      28      31
    801      SCHOOL NUMBER TWO            8010      33      9
    802      INSTITUTE GALCERAN PINE      8020      16      22
    803      EASD PINE                    8030      43      17
    804      SCHOOL NUMBER THREE          8040      14      5 
    805      INSTITUTE CAN CLOS           8050      6       18
    806      ESCRBC CAT                   8060      5       6
    807      SCHOOL NUMBER FOUR           8070      9       8
    808      EASD TOWER                   8080      5       11 
    ...       ...........                 ....     ...     ...

Tengo el siguiente comando awk para calcular la suma de los valores de una columna de un archivo csv:

awk '{SUM+=$4}END{print SUM}' file2

Con el siguiente comando calculo la media de la columna:

awk 'BEGIN{s=0;}{s=s+$4;}END{print s/NR;}' file2

Y con este último comando calculo la desviación estándar de la misma columna:

awk '{sum+=$4; sumsq+=$4*$4} END {print sqrt(sumsq/NR - (sum/NR)^2)}' file2

Necesito implementar las tres anteriores expresiones en un único script awk (en un archivo usando el shebang #!/usr/bin/awk -f, no usando una línea de comandos), guardando cada resultado en una variable distinta.

La salida debería ser del siguiente tipo (los valores son inventados):

MEN
Total men = 134(24%) --- Average men = 2,978 --- Standar deviation men = 2,266

WOMEN
Total women = 421(75%) --- Average women = 9,356 --- Standar deviation women = 7,874

Los cálculos deben hacerse con aquellas filas del archivo personal.csv que contengan un tipo de colegio que debe pasarse al script. Por ejemplo, si le pasamos como colegio EASD, solo debería hacer los cálculos con las filas siguientes:

803      EASD PINE            8030      43      17
808      EASD TOWER           8080      5       11

¿Cómo puedo hacerlo? Gracias de antemano.

0

2 respuestas 2

5

Juntar los comandos consiste en simplemente agruparlos:

awk '{sum+=$8; sumsq+=$8*$8}
     END{
         print sum;
         print sum/NR;
         print sqrt(sumsq/NR - (sum/NR)^2)
     }' file2

En una sola línea:

awk '{sum+=$8;sumsq+=$8*$8} END{print sum; print sum/NR; print sqrt(sumsq/NR - (sum/NR)^2)}' file2

Nótese que no es necesario definir el valor inicial de las sumas: cuando se usan por primera vez ya se inicializan.

Para tenerlo en un script, pégalo allí :)

#!/usr/bin/awk -f

{sum+=$8; sumsq+=$8*$8}

END{
     print sum;
     print sum/NR;
     print sqrt(sumsq/NR - (sum/NR)^2)
}

Guárdalo como archivo.awk y luego ejecuta con awk -f archivo.awk fichero.

Si quieres "tunear" el resultado puedes hacer printf "el resultado es: %f\n", sum y cosas así.

8
  • No sería exactamente juntarlos. Es decir, tengo que escribir un script con el shebang #!/usr/bin/awk -f cada una de las expresiones, y guardar el resultado en una variable para cada una de ellas.
    – sergei
    el 28 abr. 2020 a las 11:48
  • Vale, si eso la parte de preguntar, etc la hacemos en la otra pregunta Cómo extraer filas de un csv que cumplan una condición. Aquí dejamos la lógica de las tres operaciones
    – fedorqui
    el 28 abr. 2020 a las 12:19
  • edité mi respuesta para que se vea cómo ejecutarlo como script separado
    – fedorqui
    el 28 abr. 2020 a las 12:22
  • ¿Cómo puedo guardar cada resultado en una variable, para poderlos presentar con la salida que indico al principio? Es decir, cada valor numérico sería cada una de las variables correspondientes.
    – sergei
    el 28 abr. 2020 a las 12:36
  • en END puedes decir END {var1=sum; var2=sum/NR}, si bien no le veo utilidad pues lo que haces es imprimir el resultado
    – fedorqui
    el 28 abr. 2020 a las 12:43
1

Mi propuesta se enfoca tanto a la presentación del código como a la presentación de los datos. Si bien fedorqui contestó haciendo énfasis al problema del dueño de la publicación sobre poner múltiples sentencias de awk, en lo que yo me centro es en la presentación.

Estos ejemplos los muestro suponiendo que el archivo de donde se obtiene es, literalmente, uno csv con el primer renglón como su header, por ejemplo.

Center_code,Name,City_code,Men,Women
800,SCHOOL NUMBER ONE,8000,28,31
801,SCHOOL NUMBER TWO,8010,33,9
802,INSTITUTE GALCERAN PINE,8020,16,22

El código es:

#!/usr/bin/env awk -f

NR == 1 {
    #  Obtenemos el header tanto de los
    #+ hombres como de las mujeres en caso
    #+ de que sea el primer renglón.
    h_header = tolower($4)
    m_header = tolower($5)
    next #  Después de obtenerlos, nos 
         #+ saltamos ese renglón.
}

{
    h_suma += $4
    h_sumsq += $4^2

    m_suma += $5
    m_sumsq += $5^2
}

END{

    N=(NR - 1) # Porque el primer renglón es el header

    #[START] Operaciones de hombres.
    h_percent = h_suma * 100 / (h_suma + m_suma)
    h_media = h_suma/N
    h_desviacion_std = sqrt(h_sumsq/N - h_media^2)

    print toupper(h_header) # Ponemos el título de encabezado.
    printf "Total %s = %s (%s %) --- ", h_header, h_suma, h_percent
    printf "Average %s = %s --- ", h_header, h_media
    printf "Standard deviation %s = %s \n\n", h_header, h_desviacion_std
    #[END] Operaciones de hombres.

    #[START] Operaciones de mujeres.
    m_percent = m_suma * 100 / (h_suma + m_suma)
    m_media = m_suma/N
    m_desviacion_std = sqrt(m_sumsq/N - m_media^2)

    print toupper(m_header) # Ponemos el título de encabezado.
    printf "Total %s = %s (%s %) --- ", m_header, m_suma, m_percent
    printf "Average %s = %s --- ", m_header, m_media
    printf "Standard deviation %s = %s \n\n", m_header, m_desviacion_std
    #[END] Operaciones de mujeres.

}

La forma de correr el código (digamos que le pusimos de nombre calculos.awk) es:

awk --field-separator="," --file=./calculos.awk datos.csv

O (por los comentarios):

awk -F "," -f calculos.awk datos.csv

Y la salida es muy parecida a la deseada:

$ awk --field-separator="," --file=./calculos.awk datos.csv
MEN
Total men = 154 (57.037 %) --- Average men = 19.25 --- Standard deviation men = 12.9976

WOMEN
Total women = 116 (42.963 %) --- Average women = 14.5 --- Standard deviation women = 8.52936

Hay otra opción.

datamash es una herramienta que apenas conocí desde hace un año que puede darte gran parte de lo que deseas.

Por ejemplo:

$ datamash --field-separator="," -H  sum 4 mean 4 pstdev 4 sum 5 mean 5 pstdev 5 < datos.csv | column -t -s ,

Resultando en algo por el estilo:

sum(Men)  mean(Men)  pstdev(Men)      sum(Women)  mean(Women)  pstdev(Women)
154       19.25      12.997595931556  116         14.5         8.529361054616
12
  • He ejecutado el script, pero no me da resultados. He ejecutado usando el siguiente comando: awk -f script.awk -v center="EASD" personal.csv > extracted.txt (con el EASD extraigo las filas del csv que me interesan) Pero el output me sale así: Total = 0 (-nan %) --- Average = 0 --- Standard deviation = 0 ¿Sabes a qué puede deberse? Mi archivo csv está separado por comas, pero no sé cómo pasar esto con la ejecución del script (quizás no imprima resultados debido a que no se indica cuál es el separador del csv en el propio script awk).
    – sergei
    el 30 abr. 2020 a las 12:30
  • @sergei, justamente acabas de dar una respuesta a tu pregunta. ¿Ya probaste si con el parametro -F "," o --field-separator="," te funciona? Por cierto, sería de utilidad que pusieras un pequeño fragmento de tu archivo personal.csv en tu publicación.
    – Cuauhtli
    el 30 abr. 2020 a las 13:08
  • lo suyo @sergei es que consigas datos con formato más estándar (los que salen en la pregunta no lo tienen demasiado)
    – fedorqui
    el 30 abr. 2020 a las 14:44
  • 1
    Estoy con Cuauhtli en que @sergei sería mejor que publicaras otra pregunta, pues tu actualización está invalidando las respuestas existentes. Es por eso que hay que presentar siempre un ejemplo mínimo verificable porque si no nos pasamos el tiempo actualizando y reactualizando respuestas
    – fedorqui
    el 30 abr. 2020 a las 15:36
  • 1
    @fedorqui'SOdejadedañar' perdón de nuevo. Publico otra pregunta. Gracias por vuestra ayuda.
    – sergei
    el 30 abr. 2020 a las 15:43

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.