0

quisiera su ayuda con una decisión que debo tomar. Estoy trabajando una arquitectura big data en la cual se debe de permitir las siguientes características

  • trabajar datos en tiempo real
  • trabajar datos estructurados, semi-estructurados y no estructurados.
  • permitir construcción de ingestas de datos rápidamente(Desarrollo de ETL y ELT)
  • Disponibilidad datos de manera fácil y optima y a bajo costo
  • Permitir concurrencia de acceso a los datos de manera escalable
  • Democratización de los datos
  • Controlar la calidad de los datos de manera automática y rápida

Las opciones que estoy teniendo en cuenta en este momento son:

  1. AWS Glue, Amazon redshift,AWS kinesis, Amazon s3 y AWS athena

Las ETL's y ELT's se realizarían con AWS Glue, la ingesta de datos en tiempo real se realizaría a través de AWS Kinesis.

Para el almacenamiento de datos se realizaría a través de Redshift (para datos calientes que tengan una frecuencia de actualización alta y guardaría la ultima versión de la información. Ejemplo la ultima copia de los datos de cada cliente) y s3 almacenaría todas las versiones de la data copiada (Ejemplo la copia diaria de los datos de cada cliente).

Los datos que no se ingesten de sistemas transaccionales irían a s3 y luego de estructurarlos dependiendo de los análisis que se quieran realizar se disponibilizan en redshift.

Los datos serian disponibilizados desde redshift mediante conexión JDBC (Los principales clientes serian Herramientas BI) y para algunos casos se usaria Athena para los datos que se tengan en s3 (Los principales clientes de los datos de s3 serian científicos de datos y algoritmos de machine learning).

Para controlar la calidad de los datos se realizaría a través de AWS Deequ curando específicamente la data que se encuentra en el DataWarehouse y permitiendo que se volqueen datos en s3 sin ningún tipo de validación y cuando se utilicen estos datos se les valide su calidad.

los datos que se volqueen al data lake (s3) serán separados en buckets como data procesada y data bruta(raw).

  1. Lo mismo que la primera pero utilizando únicamente como almacenamiento s3

Esta propuesta consiste en utilizar las mismas herramientas de la propuesta 1 pero sin redshift.

se tendría un bucket de s3 que tendría esta responsabilidad de almacenar la ultima versión de cada dato y allí irían conectadas a través de athena todas las herramientas de BI.


¿ Cual creen que es la mejor opción ? ¿Existiría otra?

Gracias :)

2
  • Hay cursos de arquitecto en AWS que cubren aspectos como estos. La respuesta no tiene por qué ser sencilla ni trivial, aunque se trate de decidir únicamente si usar S3 o RedShift.
    – eferion
    Commented el 31 mar. 2021 a las 7:56
  • Gracias @eferion
    – sebas317
    Commented el 31 mar. 2021 a las 16:00

1 respuesta 1

0

La primera opción es claramente la mejor dada tu necesidad y te explico a continuación:

Redshift es un cluster aprovisionado para ejecutar analítica de datos, por ende, tiene una optimización en la ejecución y procesamiento de datos, esto implica que cuando la data que vas a almacenar se valla volviendo más condensada y crezca, vas a notar una gran diferencia de rendimiento entre Athena (que al inicio podría parecer muy barato) y Redshift.

Así mismo debes recordar que si tu solución de Big Data es para una gran empresa, Athena tiene límites de uso, y si por ejemplo el área de marketing y el área de finanzas hacen uso intensivo de tu herramienta de BI, Athena posiblemente lance una excepción, te recomiendo que leas los siguientes artículos:

https://docs.aws.amazon.com/athena/latest/ug/other-notable-limitations.html https://docs.aws.amazon.com/athena/latest/ug/service-limits.html

Ahora también debes tomar en consideración las funcionalidades de cada herramienta, Athena no es un servicio para DatawareHouse, Athena es una herramienta que permite analizar grandes volumenes de información provenientes de S3 para descubrir información (ejemplo: Logs), si bien puedes usarlo como DataWareHouse, cuando te enfrentes a una alta cantidad de información y alta demanda, Athena sufrirá una recaída significativa en el performance.

Redshift por otro lado es una solución enfocada a ser usada como DataWareHouse, por ello posee muchas habilidades para a optimización de las consultas.

Mi recomendación es que tu solución final sea usar Redshift como DataWareHouse, puedes hacer uso de Athena para un tema de validación y revisión de información rápida, la cual te evite ingestar data de manera innecesaria a Redshift. Así mismo si tu proyecto de big data escalará lentamente en uso e información, podrías iniciar a modo de PoC con Athena, pero como te comento esta no debería ser la solución final.

1
  • Gracias por tu respuesta, es muy clara :)
    – sebas317
    Commented el 9 abr. 2021 a las 20:34

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.