5

Tengo que hacer un informe sobre los esquemas y tablas que Amazon Redshift considera que tienen malas estadísticas. Hay un proceso que corre todos los fines de semana que se encarga de aplicar las operaciones correspondientes sobre eso, pero necesito exportar el nombre de los esquemas y tablas en un fichero .csv.

La cosa es que ese proceso genera un informe, entre cuyas líneas las que me interesan tienen el siguiente aspecto:

-- 2019-04-28 07:05:06.538818 [73589] [73589] Running 200 out of 214 commands: analyze schema_owner."nombre_tabla_mala"

Estoy recogiendo las líneas que cumplen dicho patrón de la siguiente forma:

while read linea
do
    SCHEMA="schema_owner"
    FILTRO="commands: analyze $SCHEMA"
    if [[ $linea =~ $FILTRO ]]
    then
      ...Codigo que falta...
    fi
done < /ruta_del_fichero_log

El problema es que capturo obviamente la línea completa y yo solo necesito ir almacenando la parte de schema_owner."nombre_tabla_mala"

¿Cómo podría desechar el resto de la cadena?

Pongo las primeras veinte líneas del fichero log en cuestión:

-- 2019-04-28 05:54:53.830738 [73589] [73589] Running 1 out of 1 commands: set wlm_query_slot_count = 4
-- 2019-04-28 05:54:53.833469 [73589] Success.
-- 2019-04-28 05:54:53.833531 [73589] [73589] Running 1 out of 1 commands: set statement_timeout = '36000000'
-- 2019-04-28 05:54:53.836162 [73589] Success.
-- 2019-04-28 05:54:53.836190 [73589] [73589] Running 1 out of 1 commands: set application_name to 'AnalyzeVacuumUtility-v.9.1.6'
-- 2019-04-28 05:54:53.838700 [73589] Success.
-- 2019-04-28 05:54:53.838788 [73589] Extracting Candidate Tables for Vacuum...
-- 2019-04-28 05:55:57.850685 [73589] Found 0 Tables requiring Vacuum and flagged by alert
-- 2019-04-28 05:55:57.850795 [73589] Extracting Candidate Tables for Vacuum ...
-- 2019-04-28 05:56:34.908067 [73589] Found 107 Tables requiring Vacuum due to stale statistics
-- 2019-04-28 05:56:34.908263 [73589] [73589] Running 1 out of 214 commands: vacuum FULL schema_owner."t_ed_p" ; /* Size : 120 MB,  Unsorted_pct : N/A */ ;
-- 2019-04-28 05:56:47.588342 [73589] Success.
-- 2019-04-28 05:56:47.588401 [73589] [73589] Running 2 out of 214 commands: analyze schema_owner."t_ed_p"
-- 2019-04-28 05:56:50.363655 [73589] Success.
-- 2019-04-28 05:56:50.363711 [73589] [73589] Running 3 out of 214 commands: vacuum FULL schema_owner."t_ed_p_estados" ; /* Size : 120 MB,  Unsorted_pct : N/A */ ;
-- 2019-04-28 05:57:03.430064 [73589] Success.
-- 2019-04-28 05:57:03.430124 [73589] [73589] Running 4 out of 214 commands: analyze schema_owner."t_ed_p_estados"
-- 2019-04-28 05:57:06.024933 [73589] Success.
-- 2019-04-28 05:57:06.025023 [73589] [73589] Running 5 out of 214 commands: vacuum FULL schema_owner."t_ed_p_tps_actividad" ; /* Size : 120 MB,  Unsorted_pct : N/A */ ;
-- 2019-04-28 05:57:06.024933 [73589] Success.

Yo al final lo que necesito obtener es el schema y la tabla. Es decir, de las que salen en este ejemplo, necesitaría enviar al fichero .csv lo siguiente:

schema_owner."t_ed_p"
schema_owner."t_ed_p_estados"
schema_owner."t_ed_p_tps_actividad"
0

3 respuestas 3

4

Parece que se trata de coger la cadena schema_owner. + " cosas ". Por tanto, dejemos la tarea a grep junto con -o para que solo muestre la coincidencia:

$ grep -o 'schema_owner\."[^"]*"' fichero.log
schema_owner."t_ed_p"
schema_owner."t_ed_p"
schema_owner."t_ed_p_estados"
schema_owner."t_ed_p_estados"
schema_owner."t_ed_p_tps_actividad"

schema_owner\."[^"]*" dice: "el texto schema_owner seguido de un punto (escapado porque si no . coincide con cualquier carácter) y seguido por una cadena entre comillas dobles.

Observo que hay entradas repetidas. Si quieres eliminarlas, puedes pasar el resultado a sort -u para que solo muestre una entrada de cada:

$ grep -o 'schema_owner."[^"]*"' fichero.log | sort -u
schema_owner."t_ed_p"
schema_owner."t_ed_p_estados"
schema_owner."t_ed_p_tps_actividad"
3

Con la opcion -o y esta expresiôn regular puedes sacar solo la parte de tu interés:

grep -oP '[a-zA-Z_]+\."[a-zA-Z_]+"'

la opciôn -o retorna solo la parte correspondiente a la expresión regular. Allí asumo que el nombre de la tabla está entre comillas, y el schema solo contiene caracteres alfabeticos y guiôn bajo (_).

Por ejemplo, tomando la línea que provees:

$ echo '-- 2019-04-28 07:05:06.538818 [73589] [73589] Running 200 out of 214 commands: analyze schema_owner."nombre_tabla_mala"' | grep -oP '[a-zA-Z_]+\."[a-zA-Z_]+"'
schema_owner."nombre_tabla_mala"

Y si tienes muchos registros repetidos puedes usar el comando sort | uniq. Ademas los podrias contar y ordenarlos del mas frecuente al menos frecuente con uniq -c | sort -rn:

grep -oP '[a-zA-Z_]+\."[a-zA-Z_]+"' log.csv| sort | uniq -c | sort -rn
  2 schema_owner."t_ed_p_estados"
  2 schema_owner."t_ed_p"
  1 schema_owner."t_ed_p_tps_actividad"
4
  • nótese que uniq cuenta por bloques. Así, si le pasas un fichero con tres líneas 1, 2 y 1, al pasarle uniq -c te responderá con "1 1 / 1 2 / 1 1". Por tanto, si quieres usarlo es importante ordenar primero.
    – fedorqui
    Commented el 2 may. 2019 a las 13:41
  • Es correcto @fedorqui , lo había olvidado. Gracias. Commented el 2 may. 2019 a las 14:05
  • nótese también que no es necesario usar -P aquí, con -E habría más que suficiente. Por otra parte, una cadena del tipo hola"adfasd"asd.fasd" coincidiría con el patrón que sugieres (daría un match asd.fasd"). En el caso del autor de la pregunta sí funciona, pero creo que sería más conveniente marcar explícitamente el patrón palabra."palabra".
    – fedorqui
    Commented el 2 may. 2019 a las 14:39
  • Tambien tienes razón :). A medida que se conozca más el problema, más se puede ajustar la solución. Yo prefiero no sobre-optimizar desde el inicio y tener falsos positivos para ir ajustando la solucion. Por ejemplo, hubiera podido asumir que todas las lineas son del tipo schema_owner."t_ed_p, pero eso ya es decision del OP. Además no esperaría una entrada del tipo hola"adfasd"asd.fasd" :). Sin embargo, la respuesta concreta a la pregunta del OP es la opcion -o de grep. Commented el 3 may. 2019 a las 9:13
3

Un poco tarde pero con opciones diferentes.

Con awk

$ awk 'match($0,/schema_owner\.".*"/, gr){
    un[gr[0]]++
}END{for (i in un) print i}' fichero.log

Lo que hago aquí es capturar con match de cada linea ($0) la expresión regular mencionada y luego se la asigno los elementos encontrados al array gr. Después, por cada linea que entra y cada grupo encontrado, lleno el array un con las claves encontradas y a sus valores les aumento 1. Este paso es únicamente para aprovechar la naturaleza de las claves de los arrays que son únicas, los valores no me importan. Es decir, al llenar el array con cualquier valor, sus claves siempre serán diferentes. Después, y al final del script, itero sobre los valores de este array e imprimo sus valores.

Variante de las respuestas anteriores

$ grep -o 'schema_owner\.".*"' fichero.log | awk '!a[$0]++'

Aquí es la usual expresión regular mencionada en otras respuestas en el mismo uso de grep, la diferencia radica en que, para mostrar únicamente los caracteres únicos, utilizo en awk la condición de solo imprimir cuando el valor correspondiente a esa clave NO sea mayor que 0, osea, cuando las líneas sean únicas.

Con perl

$ perl -ne '/schema_owner\.".*"/ && $un{$&}++; END{
    print "$_\n" for keys %un
}'  fichero.log

Esta opción es semejante, busco el patrón deseado y luego todo lo emparejado (con $&) se lo asigno al hash $un, que por su naturaleza, es de claves únicas, así que no habrán duplicados en sus claves. Al final del script, imprimo las claves del hash un.

En todos los casos resulta algo de la forma.

schema_owner."t_ed_p_estados"
schema_owner."t_ed_p"
schema_owner."t_ed_p_tps_actividad"

La ventaja de usar sólo un programa (en el caso de awk o perl), es que es mucho más rápido, ocupas menos procesamiento. Ya que si fueran muchísimas líneas, cientos de miles, millones de logs, estas pasarían por grep, luego las coincidencias pasarían por sort que las ordenaría cada una, luego estas lineas ordenadas pasarían por uniq, etc, etc. Y cada uno de estos programas es crear procesos, abrir descriptores de archivo, cerrar descriptores de archivo y así sucesivamente.

4
  • en general, si estás haciendo grep | awk debes plantearte que awk solo ya podría hacer lo que hace grep
    – fedorqui
    Commented el 6 may. 2019 a las 5:51
  • Por supuesto, era sólo una variante puesta por varias razones, tanto para contribuir con otra alternativa que evitara programar (como el el caso de usar únicamente perl o awk), tanto para mostrar otra forma de eliminar duplicados además de las sugeridas en otras respuestas de la comunidad.
    – Cuauhtli
    Commented el 6 may. 2019 a las 13:05
  • 1
    claro, claro, ya sabes que me gusta leer tus respuestas y tirarte de las orejas cuando son demasiado complejas ;-) Un placer verlas
    – fedorqui
    Commented el 6 may. 2019 a las 13:18
  • 1
    No, pues que bueno que lo haces, es una gran labor para toda la comunidad. Muchas gracias, también es agradable leer las aclaraciones.
    – Cuauhtli
    Commented el 6 may. 2019 a las 13:56

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.