0

Tengo el siguiente script en shell que rescata las 200 tablas tablas con peores estadísticas, para aplicarles posteriormente un analyze:

echo `date "+%Y/%m/%d %H:%M:%S"`" - Comienza el proceso $job" >> $log_ejecucion
echo "------------------------------------------------------------------------" >> $log_ejecucion

echo `date "+%Y/%m/%d %H:%M:%S"`" - Rescatamos las 200 tablas con mayor nivel de estadisticas malas" >> $log_ejecucion
LC_ALL=en_US.UTF-8 LD_LIBRARY_PATH=/usr/lib/ psql -h ${RSHOST} -p 5439 -U ${RSUID} ${RSDB} -t -A -c "select \"schema\",\"table\",stats_off,size from svv_table_info order by stats_off desc limit 200;" > /ruta1/tablas.tmp

echo `date "+%Y/%m/%d %H:%M:%S"`" - Abrimos el bloque de transaccion" >> $log_ejecucion
LC_ALL=en_US.UTF-8 LD_LIBRARY_PATH=/usr/lib/ psql -h ${RSHOST} -p 5439 -U ${RSUID} ${RSDB} -t -A -c "BEGIN;" >> $log_ejecucion

echo `date "+%Y/%m/%d %H:%M:%S"`" - Establecemos el threshold a 0" >> $log_ejecucion
LC_ALL=en_US.UTF-8 LD_LIBRARY_PATH=/usr/lib/ psql -h ${RSHOST} -p 5439 -U ${RSUID} ${RSDB} -t -A -c "set analyze_threshold_percent to 0;" >> $log_ejecucion

echo `date "+%Y/%m/%d %H:%M:%S"`" - Ejecutamos ANALYZE en cada una de ellas" >> $log_ejecucion
while read tabla
do
    SCHEMA=$(echo $tabla | cut -d "|" -f 1)
    TABLE=$(echo $tabla | cut -d "|" -f 2)
    LC_ALL=en_US.UTF-8 LD_LIBRARY_PATH=/usr/lib/ psql -h ${RSHOST} -p 5439 -U ${RSUID} ${RSDB} -t -A -c "analyze $SCHEMA.$TABLE;" >> $log_ejecucion
done < /ruta1/tablas.tmp

echo `date "+%Y/%m/%d %H:%M:%S"`" - Cerramos el bloque" >> $log_ejecucion
LC_ALL=en_US.UTF-8 LD_LIBRARY_PATH=/usr/lib/ psql -h ${RSHOST} -p 5439 -U ${RSUID} ${RSDB} -t -A -c "COMMIT;"

echo `date "+%Y/%m/%d %H:%M:%S"`" - Fin del proceso $job - Elimino el fichero tablas.tmp" >> $log_ejecucion
rm -f /ruta1/tablas.tmp
echo "---------------Proceso terminado correctamente" >> /ruta1/analyze_200tablas_logfail.log
echo `date "+%Y/%m/%d %H:%M:%S"`" - Termina el proceso $job" >> $log_ejecucion
echo "------------------------------------------------------------------------" >> $log_ejecucion

El problema es que para que Redshift haga correctamente el analyze, tengo que establecer el analyze_threshold_percent a 0. Como en la anterior versión del script, al revisar el log, siempre encontraba que había muchos Analyze skip, se me ocurrió meter el proceso dentro de un bloque begin...commit.

Aún así, sigue ejecutándose mal ya que en el log hay muchos Analyze skip, cosa que no debería ocurrir si ejecutase los doscientos analyze con el valor de analyze_threshold_percent correcto a 0.

3
  • 1
    No tengo experiencia con react ni psql, pero parece como si cada comando que ejecutas se ejecuta por separado y con conexión a la DB separada. Porque? No sera que el set no lo toma en cuenta antes del COMMIT? No seria mas simple abrir una conexión, y mandar todos los comandos a la vez?
    – terdon
    Commented el 23 abr. 2019 a las 8:59
  • He juntado tu comentario con tu respuesta y he realizado un fichero .sql que recoja el inicio del bloque, el set, todos los analyze y el commit, para lanzar en una sola conexión todas las sentencias. Mañana revisaré el log para ver si ha funcionado correctamente.
    – lk2_89
    Commented el 23 abr. 2019 a las 11:15
  • @terdon He comprobado el log de ejecución y ha funcionado a las mil maravillas. Muchas gracias por tu ayuda. Marco tu respuesta como solución.
    – lk2_89
    Commented el 24 abr. 2019 a las 9:28

1 respuesta 1

1

No se si funcionará bien ya que no tengo acceso a tu BD, pero quizas este version mas simple de tu script te ayudara:

#!/bin/bash
echo `date "+%Y/%m/%d %H:%M:%S"`" - Comienza el proceso $job" >> $log_ejecucion
echo "------------------------------------------------------------------------" >> $log_ejecucion

echo `date "+%Y/%m/%d %H:%M:%S"`" - Rescatamos las 200 tablas con mayor nivel de estadisticas malas" >> $log_ejecucion


comandoSql=$(printf "BEGIN;\nset analyze_threshold_percent to 0;\n")
LC_ALL=en_US.UTF-8 LD_LIBRARY_PATH=/usr/lib/ psql -h ${RSHOST} -p 5439 -U ${RSUID} ${RSDB} -t -A -c "select \"schema\",\"table\",stats_off,size from svv_table_info order by stats_off desc limit 200;" |
  while read tabla
  do
    schema=$(echo "$tabla" | cut -d "|" -f 1)
    table=$(echo "$tabla" | cut -d "|" -f 2)
    comandoSql=$(printf "%s\n%s" "$comandoSql" "analyze $schema.$tabla;")
  done
comandoSql=$(printf "%s\n%s" "$comandoSql" "COMMIT;")
LC_ALL=en_US.UTF-8 LD_LIBRARY_PATH=/usr/lib/ psql -h ${RSHOST} -p 5439 -U ${RSUID} ${RSDB} -t -A -c "$comandoSql" >> $log_ejecucion

echo "---------------Proceso terminado correctamente" >> /ruta1/analyze_200tablas_logfail.log
echo `date "+%Y/%m/%d %H:%M:%S"`" - Termina el proceso $job" >> $log_ejecucion
echo "------------------------------------------------------------------------" >> $log_ejecucion

Estoy pensando que el problema podria ser resuelto al ejecutar una sola lamada a la base.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.