quisiera su ayuda con una decisión que debo tomar. Estoy trabajando una arquitectura big data en la cual se debe de permitir las siguientes características
- trabajar datos en tiempo real
- trabajar datos estructurados, semi-estructurados y no estructurados.
- permitir construcción de ingestas de datos rápidamente(Desarrollo de ETL y ELT)
- Disponibilidad datos de manera fácil y optima y a bajo costo
- Permitir concurrencia de acceso a los datos de manera escalable
- Democratización de los datos
- Controlar la calidad de los datos de manera automática y rápida
Las opciones que estoy teniendo en cuenta en este momento son:
- AWS Glue, Amazon redshift,AWS kinesis, Amazon s3 y AWS athena
Las ETL's y ELT's se realizarían con AWS Glue, la ingesta de datos en tiempo real se realizaría a través de AWS Kinesis.
Para el almacenamiento de datos se realizaría a través de Redshift (para datos calientes que tengan una frecuencia de actualización alta y guardaría la ultima versión de la información. Ejemplo la ultima copia de los datos de cada cliente) y s3 almacenaría todas las versiones de la data copiada (Ejemplo la copia diaria de los datos de cada cliente).
Los datos que no se ingesten de sistemas transaccionales irían a s3 y luego de estructurarlos dependiendo de los análisis que se quieran realizar se disponibilizan en redshift.
Los datos serian disponibilizados desde redshift mediante conexión JDBC (Los principales clientes serian Herramientas BI) y para algunos casos se usaria Athena para los datos que se tengan en s3 (Los principales clientes de los datos de s3 serian científicos de datos y algoritmos de machine learning).
Para controlar la calidad de los datos se realizaría a través de AWS Deequ curando específicamente la data que se encuentra en el DataWarehouse y permitiendo que se volqueen datos en s3 sin ningún tipo de validación y cuando se utilicen estos datos se les valide su calidad.
los datos que se volqueen al data lake (s3) serán separados en buckets como data procesada y data bruta(raw).
- Lo mismo que la primera pero utilizando únicamente como almacenamiento s3
Esta propuesta consiste en utilizar las mismas herramientas de la propuesta 1 pero sin redshift.
se tendría un bucket de s3 que tendría esta responsabilidad de almacenar la ultima versión de cada dato y allí irían conectadas a través de athena todas las herramientas de BI.
¿ Cual creen que es la mejor opción ? ¿Existiría otra?
Gracias :)