2

El escenario en el que me encuentro es el siguiente: no soy experto en manejar bases de datos y me han pedido ayuda con un asunto. Se tiene una serie de datos en ficheros en formato Excel con los que se plantea crear y poblar una base de datos, con sus tablas, sus relaciones, etc; para después aplicar herramientas de visualización y sacar conclusiones "en bonito".

Una pregunta que me han hecho es si, al cambiar, actualizar, añadir ficheros de datos (en formato excel, csv, similares) podría automatizarse el sistema para alimentar a la base de datos con la información nueva recibida. Es decir, poniendo un ejemplo: tenemos la base de datos ya creada y poblada con los contenidos de los 3 últimos meses. A final de mes terminamos cerramos nuestras cuentas de este mes y guardamos el fichero con su contenido en una localización dentro del servidor que, al sufrir una modificación este directorio, desencadena una serie de rutinas en el gestor de bases de datos que actualizan las bases de datos en función de los cambios ocurridos.

A mí, abstractamente, me quiere sonar que debe ser posible conseguirlo, pero entre la escasa experiencia que tengo trabajando con bases de datos y la inexistente experiencia que tengo automatizando tareas no sé muy bien por dónde empezar (si es que se puede lograr algo así, siquiera).

8
  • Bienvenido a la comunidad, te recomiendo agregar un ejemplo o algo que hayas intentado ya que tu pregunta no es muy clara. Commented el 26 sept. 2016 a las 14:38
  • Gracias por la bienvenida y la atención :) Agregaría un ejemplo gustosamente, pero es que no he intentado nada todavía. Quiero entender que lo que me estaban preguntando es si es posible programar un servicio del sistema que silenciosamente se mantuviese a la espera de un cierto evento (en este caso, modificaciones en una dirección específica o archivos concretos) y desencadenase una reacción concreta (parecido a programar un trigger, diría).
    – Feillen
    Commented el 26 sept. 2016 a las 14:46
  • Echale un ojo a Pentaho probablemente sea lo que estás buscando Commented el 26 sept. 2016 a las 15:04
  • Me ha soplado un compañero que le echase un vistazo a BenETL y se le parece más. El objetivo es la programación de tareas ETL sobre bases de datos PostgreSQL, y benetl lo cumple (permitiendo programar estas tareas de etl en base a itinerarios (diario, semana, etc). Mi pregunta iba dirigida a la posibilidad de programarlas en base a eventos del sistema de ficheros en lugar de a lapsos de tiempo jeje De momento me quedo con benetl para hacerme el apaño, que ya me imagino que estoy pidiendo la luna ^^'
    – Feillen
    Commented el 26 sept. 2016 a las 15:37
  • Sí es posible. El "servicio" debe enchufarse a los eventos del sistema de archivos. Sin embargo, no has mencionado en qué tecnología/lenguaje deseas implementar tal servicio. Commented el 26 sept. 2016 a las 16:25

2 respuestas 2

0

Si tienes los archivos de origen en algún formato soportado por un foreign data wrapper (FDW), no necesitas transformar nada antes de tener acceso: simplemente crea un enlace desde Postgres hacia los archivos usando el FDW, de manera que cuando actualices el archivo, automáticamente lo que recibas en un SELECT sea los datos más recientes, en la misma estructura que tienen los archivos, sin necesidad de re-importar datos.

Específicamente desde Excel podrías usar archivos en formato CSV, usando el FDW para CSV

1
  • Había recurrido a la opción que más sencilla me pareció después de un tiempo, que era crear una serie de scripts que controlasen la importación de datos y limpiado del contenido (contrastando el viejo con el nuevo y discretizando con qué elementos de cada dataset me quedo), grabar su ejecución en una macro y repetirla cada X tiempo, todo gracias a aplicaciones como PulloverMacro Tu aportación sin embargo sería la forma correcta y perfecta para hacer esta actividad. Tendré que ver qué tal se comporta frente a la necesidad de un "control de versiones"...
    – Feillen
    Commented el 4 oct. 2016 a las 9:02
0

Ese trabajo lo he hecho yo con el crontab. No creo que sea nada complicado. Hazte un programilla que se conecte con un usuario que sólo pueda acceder a los datos que debe manejar. Y dile al crontab que se ejecute cada dia, por ejemplo. Comparando fechas de modificación entre el último CSV introducido y el existente actual podrá saber si debe actualizar.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.