3

Estoy programando un script en bash para rescatar unos querytxt de la base de datos en Redshift. El problema es que para sacar esos querytxt, hay que ordenar las secuencias previamente para sacarlo correctamente.

En total son 5250 queries, de las cuales ya tengo su QueryID y así filtrarlas correctamente. Este es mi script actualmente:

RUTA=/monitoring/recreacion_ra3

contador=1
bloque=1

while read query
do
        if [[ $contador%250 -ne 0 ]]
        then
                LC_ALL=en_US.UTF-8 LD_LIBRARY_PATH=/usr/lib/ psql -h ${RSHOST} -p 5439 -U ${RSUID} ${RSDB} -t -A -c "select listagg(text) within group (order by sequence) as fullquery from stl_querytext where query = $query;" >> $RUTA/lista_query_${bloque}.csv
                contador=$((contador+1))
        else
                bloque=$((bloque+1))
        fi

done < $RUTA/listado_idquery.txt

Como se puede observar, la query que rescata el querytxt y los ordena es:

select listagg(text) within group (order by sequence) as fullquery from stl_querytext where query = $query;

La ejecución ha ido bien hasta que ha llegado a la query nº 248, cuyo error me ha arrojado lo siguiente:

ERROR:  Result size exceeds LISTAGG limit
DETAIL:
  -----------------------------------------------
  error:  Result size exceeds LISTAGG limit
  code:      8001
  context:   LISTAGG limit: 65535
  query:     59919376
  location:  _rds_bin_padb.1.0.22169_data_exec_72_3578893640_3e87a9c5c65d0636877214dd854e3a6255978936_0.cpp:150
  process:   query0_799_59919376 [pid=105429]
  -----------------------------------------------

Al parecer, listagg tiene un tamaño máximo y si se sobrepasa, da error. Esto no me preocupa porque perder algunas queries de las 5250 necesarias no es problema. La cuestión es que al dar ese error, el script se para.

¿Cómo puedo controlar los errores en tiempo de ejecución para que si alguna query no se puede rescatar, pase a la siguiente sin problemas?

3
  • No veo razón algúna por la cual tu script de bash se paré cuando psql encuentre un error, puesto que el while sólo depende de que se le siga alimentando con queries del archivo listado_idquery.txt y no hay ningun exit o break.
    – Cuauhtli
    Commented el 23 dic. 2020 a las 19:01
  • 1
    Pues se paraba... Lo he podido medio arreglar metiendo un continue en el caso de que $err_code=$? sea distinto de 0. De esa manera, si que avanza. Aunque me gustaría saber si hay alguna más eficiente.
    – lk2_89
    Commented el 23 dic. 2020 a las 20:05
  • Claro, claro. No vi lo del estado de salida.
    – Cuauhtli
    Commented el 23 dic. 2020 a las 20:28

1 respuesta 1

1

No sé si hay alguna manera más eficiente de manejar errores en bash, pero de momento me está funcionando esta solución:

LC_ALL=en_US.UTF-8 LD_LIBRARY_PATH=/usr/lib/ psql -h ${RSHOST} -p 5439 -U ${RSUID} ${RSDB} -t -A -c "select listagg(text) within group (order by sequence) as fullquery from stl_querytext where query = $query;" >> $RUTA/bloque_${bloque}/${contador}_${query}.txt

error_code=$?
if [[ $error_code -ne 0 ]]
then
   continue
fi

Es decir, después de la consulta recojo con $? si el anterior comando ha terminado con éxito. En caso contrario ($error_code es distinto de 0), hago un continue.

Aún así, agradecería si alguien aporta alguna variante más óptima para manejar errores.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.