[Alpha Project-스터디] 클라우드 데이터플랫폼 아키텍쳐

 

📊 Cloud data platform layered architecture

1. Ingestion (데이터 수집):
   • 스트리밍 데이터(실시간 데이터, 예: 센서 데이터, 로그 등)와 배치 데이터(정기적으로 수집되는 데이터, 예: CSV 파일, 로그 데이터 등)를 시스템으로 가져오는 단계.
   • Kafka, Flume, 또는 Spark Streaming과 같은 도구를 사용할 수 있음.
2. Fast Storage & Slow Storage (저장소):
   • Fast Storage: 고속 처리가 필요한 데이터는 빠른 스토리지에 저장됩니다. (예: Redis, Memcached, 또는 NoSQL 데이터베이스).
   • Slow Storage: 장기 저장 또는 대용량 데이터를 위한 데이터 레이크에 저장됩니다. (예: Hadoop HDFS, Amazon S3).
3. Processing and Analytics (데이터 처리 및 분석):
   • Real-time processing: 실시간으로 데이터 분석 및 처리. (예: Apache Storm, Apache Flink).
   • Batch processing: 대량 데이터를 일괄 처리. (예: Apache Spark, MapReduce).
   • 이 단계에서는 ETL(Extract, Transform, Load) 도구가 활용됩니다.
4. Operational Metadata (운영 메타데이터):
   • 데이터의 출처, 품질, 변환 기록, 처리 이력 등을 관리하는 메타데이터.
   • 데이터를 추적 가능하게 하여 신뢰성과 데이터 계보를 보장.
5. Data Warehouse (데이터 웨어하우스):
   • 분석 목적으로 구조화된 데이터를 저장하는 곳.
   • 예: Amazon Redshift, Snowflake, Google BigQuery.
   • 데이터 소비자는 이 데이터를 SQL 기반 쿼리로 분석 가능.
6. Orchestration Overlay (오케스트레이션 레이어):
   • 데이터 흐름과 처리를 관리하고 조율하는 시스템.
   • 예: Apache Airflow, Oozie.
   • ETL 워크플로우를 자동화하고 실행 타이밍을 조정.
7. Data Consumers (데이터 소비자):
   • 데이터 처리 및 저장 결과를 사용하는 최종 사용자.
   • Data consumers는 BI 도구(예: Tableau, Power BI) 또는 애플리케이션에서 데이터를 시각화하거나 활용.

---

프로젝트를 진행하기 전, 빅데이터플랫폼의 아키텍쳐에 대해 이해하고자 정리한 내용이다.

 

아키텍쳐 파악 과정을 통하여 '데이터 레이크(Data Lake)'와 '데이터 웨어하우스(Data Warehouse)'의 차이를 이해하고, 왜 하둡 위에 하이브를 얹고, 그 위에 또 프레스토를 얹어야 하는지 진행할 프로젝트의 각 단계별 기술 사용 내용을 이해하게 되었다.

 

 

출처 : 빅데이터플랫폼 설계와 구축