3-2학기에 진행한 빅데이터플랫폼 설계 프로젝트로 기업연계프로젝트로 진행하였다.
KEB 부트캠프에서 연계된 교과목으로 부트캠프 인원들과 함께 수강하여 역할 분담 및 개발 진행이 무리 없이 진행되었다.
멘토 : 엠큐닉 개발팀장님
팀원 : 산업경영학과(본인) 1인, 전자공학과 2인
내용 : 엠큐닉에서 수집한 대용량 데이터를 제공받아 빅데이터플랫폼을 설계하고 데이터분석을 진행
🎯 프로젝트 목표
- 목적 : 대용량의 로그 데이터를 수집, 저장, 처리, 분석하여 데이터 소비자(BI 툴, 사용자)에게 제공하는 데이터 파이프라인 구축
- 도구 : Hadoop (HDFS), Hive, Presto.
- 현실적 범위: Ingestion → Storage → Batch Processing → Data Warehouse → Data Consumption의 주요 단계를 구현.
해당 내용이 처음인 학생 3명의 프로젝트이기 때문에 스터디 위주로 진행되었다.
멘토님이 추천해주신 참고 문헌 중 <데이터 플랫폼 설계와 구축> 을 중심으로 스터디하였다.
'스터디 > Project' 카테고리의 다른 글
| [Alpha Project] 4. 데이터 분석 및 결과 (0) | 2025.12.02 |
|---|---|
| [Alpha Project] 3. Sample log 데이터 분석 (0) | 2025.11.28 |
| [Alpha Project-스터디] Hadoop, HDFS, Hive, Presto (0) | 2025.11.28 |
| [Alpha Project] 2. 파이프라인 설계 및 구현과정 (0) | 2025.11.28 |
| [Alpha Project-스터디] 클라우드 데이터플랫폼 아키텍쳐 (0) | 2025.11.28 |