[Alpha Project] 4. 데이터 분석 및 결과

1. 하둡 실행

 

윈도우 환경에서 Hadoop 설치를 실패하여, Mac에서 설치 후 실행

오른쪽 6개의 번호가 뜨면 Hadoop이 정상적으로 실행되었다는 의미이다.

 

2. Hive 실행

실행명령어 hive --serive metastore

위 명령어를 입력하였을 때 오른쪽과같은 화면이 나오면 hive가 정상 실행된 것이다.

 

3. Presto 실행

프레스토 서버 디렉토리로 이동 후 프레스토 서버를 시작하고, 서버 상태를 확인

Running as xX(30503)이 뜨면 정상 실행된 것이다

 

Presto CLI 서버에 접속한 후 Hive catalog 사용, Hive default database에 접속한다 

 

SHOW TABLES FROM hive.default;

명령어를 통해 Hive의 dafault 스키마에 있는 테이블들이 resto를 통해 조회된다

(테스트를 위해 put해둔 테이블들이 조회됨)

 

4. Data Set 분석

기업에서 제공받은 데이터 : 23년도 XX브랜드 차량 운행기록 33,921,959개 (1.5GB)

 

위치정보(위도,경도)와 시간 정보가 있는 추석기간 교통량 데이터로, 전국 단위의 운행기록 데이터이다.

우리는 추석 기간 인천 문학 IC 교통량 분석을 목표로 하였다.

 

5. Data put

각 시간대별 교통량 데이터 파일을 HDFS에 적재하였다.

6. Hive에 Table 생성

 

SQL문을 이용하여 Hive에 Table 생성 후 잘 생성되었는지 확인

 

7. Data Analysis

인천 문학 IC의 위도와 경도를 변환하여 데이터 기준와 일치시켰다.

 

쿼리문을 이용하여 데이터셋의 위도, 경도(clat, clon) 시간대 별로 추출

 

8. 분석 결과

 

분석한 결과를 데이터로 추출하여 시각화하였다.

교통량이 가장 많은 시간대는 18시 → 17시 → 8시 → 15시 → 1시

오전 7시부터 증가하기 시작하여 18시에 가장 많은 통행량을 보이며 이후 감소 추세가 나타났다

새벽이 아닌 오전 8시~오후 6시 중에는 오후 1시에 가장 적은 통행량을 보임을 알 수 있다.

 

9. 소감 /감상

Hadoop을 설치하는 과정에서 예상보다 많은 시간과 에너지가 필요했다.
기초 공부부터 환경 설정까지 약 두 달을 소모했지만, 정작 데이터 분석 자체는 2주도 걸리지 않았다.

방대한 데이터를 다루는 것이 분석 도구만 제대로 갖추면 결코 복잡하지 않다는 점을 체감했다.

 

또한 데이터 분석의 전체 흐름과 패러다임을 이해하면, 원하는 아웃풋을 효율적으로 만들어낼 수 있다는 확신을 얻었다.

설치 과정은 어려웠지만, 그만큼 Hadoop 기반 분석이 어떤 원리로 돌아가는지 깊게 이해할 수 있었고, 이는 앞으로의 프로젝트 수행에도 실질적인 도움이 될 것이라 생각된다.