1

Estoy intentando cambiar los valores nulos de una columna por el valor de su media. He realizado los cálculos, pero no me sustituye la información en el fichero.

Mi codigo:

BEGIN {
    FS= ";"
    total=0;
    count=0;
}
{
   if ($13 != "NULL")
       {
        total += $13;
        count +=1;
       }
}
END {
media += total/count;
}
BEGIN {
    FS= ";"
    count2=0;
}
{
    if ($13 == "NULL")
    {
     $13 = media;
     count2= +=1
    }
}
END {
printf("Filas sustituidas:" count2);
}

Al ejecutar veo correctamente que debería haber sustituido 59 filas, sin embargo el fichero no se modifica. ¿Cómo puedo hacer para que lo sustituya en el fichero original? No me importa que sea en uno nuevo, pero necesito poder almacenar el cambio realizado.

1ª Edición: Edito para ampliar información:

El csv viene separado por ; y mi variable a reemplazar está en la columna M -->por eso el 13

fichero.csv

Estoy ejecutando de esta manera:

gawk -f script.awk archivo.csv

La media y el total de filas que debería sustituir son correctas: introducir la descripción de la imagen aquí

2ªEdicion: Añado la url de donde descargué el dataset. https://datos.madrid.es/egobfiles/MANUAL/300110/AccidentesBicicletas_2021.csv

14
  • Pon la instrucción de como lo estas ejecutando ahora y si puede ser un poco del csv
    – masterguru
    Commented el 26 dic. 2021 a las 13:07
  • Hola @masterguru , he editado añadiendo tanto la vista del fichero csv como la ejecución del script
    – Maggie
    Commented el 26 dic. 2021 a las 13:20
  • Me da un error en esta linea count2= +=1... ¿a ti tambien? gawk: script.awk:24: ^ syntax error... y si quito el = y dejo el resto no me suma nada, simplemente me da Filas sustituidas:0
    – masterguru
    Commented el 26 dic. 2021 a las 13:24
  • 1
    A lo bruto :-) Agregaba un printf($1 ";" $2 ";" $3 ";" $4 ";" $5 ";" $6 ";" $7 ";" $8 ";" $9 ";" $10 ";" $11 ";" $12 ";" $13 ";" $14 ";" $15 "\n"); en el primer bucle debajo de count += 1 y un printf($1 ";" $2 ";" $3 ";" $4 ";" $5 ";" $6 ";" $7 ";" $8 ";" $9 ";" $10 ";" $11 ";" $12 ";" media ";" $14 ";" $15 "\n"); debajo del 'count2 += 1 pero ese sale vacio, no lee la variable media, ni la $13, ni nada
    – masterguru
    Commented el 26 dic. 2021 a las 15:11
  • 1
    Con esos cambios y con el operador > al final de tu comando creas un archivo nuevo, por ejemplo, gawk -f script.awk archivo.csv > archivo_nuevo.csv
    – masterguru
    Commented el 26 dic. 2021 a las 15:12

1 respuesta 1

2

Editado

Corrección de errores:

  1. Por error tipográfico habia puesto line[$i] en lugar de line[i] en determinadas partes del codigo
  2. He quitado el sub() porque cambiaba todos los NULL de la linea, no solo la columna 13. Ahora uso split para generar una matriz de columnas de cada linea, realizar el cambio en la columna 13 y recomponer la linea modificada que vuelco en la salida al archivo nuevo_archivo.csv

Creo que lo tengo. Realmente no hacia falta usar dos BEGIN-END ni intentar pasar la variable de uno a otro, pues no funcionaba.

Adjunto el código con los comentarios para que sea autoexplicativo:

BEGIN {
    # separador del csv
    FS= ";"

    # Iniciamos variables
    total=0;
    count=0;
}
{
    # Excluimos la primera linea de encabezado
    if (NR!=1) {

        # Creamos matriz con contenido completo de cada linea excepto cabecera
        line[NR] = $0;

        # Si la columna 13 no contiene NULL
        if ($13 != "NULL") {

            # Agregamos el contador para el divisor de la media
            count++;

            # Sumamos el valor de la columna 13 al total
            total += $13;
        }

    } else {

        # Creamos el archivo con la cabecera borrando el anterior si existe
        print $0 > "nuevo_archivo.csv";
    }
}
END {
    # Calculamos la media
    media = total/count;

    # Recorremos las lineas completas guardadas excluyendo la primera que no existe
    for (i = 2; i <= FNR; i++) {

        # Contamos (n) y dividimos la linea en una matriz de columnas
        n = split(line[i], array, ";");

        # Si el valor de la columna 13 es NULL le asignamos la media
        if (array[13] == "NULL") {
            array[13] = media;
        }

        # recomponemos la linea
        for (j=1; j in array; j++) {

            # Si aun no es la ultima columna le agregamos ";"
            if (n != j ) {
                salida = salida array[j]";"
            } else {
                # esta es la última columna sin ";"
                salida = salida array[j]
            }
        }

        # agregamos el resultado en el archivo
        print salida >> "nuevo_archivo.csv";

        # limpiamos la variable salida para empezar de nuevo en el siguiente ciclo
        salida = "";
    }
}

Ya me dirás si te funciona bien. Haz los apaños que creas convenientes. Basándome en los datos visualizados en tu captura de tu CSV esto deberia funcionarte bien para ellos. Si hay variaciones tu mismo ya tienes un punto de partida para seguir puliendolas.

9
  • No consigo hacer que funcione, pero mil gracias por tus comentarios y respuestas, pues me ayudan a seguir intentándolo sin volverme tan loca!
    – Maggie
    Commented el 27 dic. 2021 a las 17:30
  • 1
    Para que funcione ejecutalo asi: gawk -f script.awk archivo.csv donde script.awk es el código que ves arriba. A mi me funciona estupendamente. Cuando termine su ejecución deberias encontrarte con un nuevo archivo llamado nuevo_archivo.csv en el mismo directorio donde lo has ejecutado asi
    – masterguru
    Commented el 27 dic. 2021 a las 17:39
  • En todo caso, cuando dices que no funciona... que error te da? no crea ese nuevo_archivo.csv? o que ocurre?
    – masterguru
    Commented el 27 dic. 2021 a las 17:39
  • no da error, pero el fichero que me genera está vacío y no logro que pinte nada :( Además, a este punto ahora he llegado sin cabecera, porque filtros previos a este punto no he conseguido mantenerla. Soy un desastre peleando a ciegas con esto! He omitido el if de la cabecera y llego a pintar la media, pero en el for le pierdo la pista a la información.
    – Maggie
    Commented el 27 dic. 2021 a las 18:03
  • 1
    @Maggie: Tambien veo que H5 (columna H registro 5) tiene este valor = *;*; que seguramente dan problemas tambien por repetir el delimitador, a menos que el CSV esté entrecomillado, con lo cual aun podria tener solucion. Pero para ello necesitamos ver el CSV en formato texto tal como lo estas trabajando, no en una imagen.
    – masterguru
    Commented el 27 dic. 2021 a las 18:45

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.