PART05. 디지털마케팅 이론/개념 | 가설과 실험

01. 가설의 개념과 구조

퍼널 : 고객의 행동을 구조화하여 도식화 한 것으로 인풋, 전환, 아웃풋으로 구성

고객의 행동이 아웃풋이면 마케터가 해야하는 것은 인풋과 전환을 파악하고 이를 극대화하는 것

 

고객의 행동은 복잡하기 때문에 (의미없는 행동, 비이성적인행동 등) 퍼널의 형태로 파악해내기 쉽지 않음

고객 행동의 인과관계를 파악해야 하여 "측정 가능하게" 만들어야 하기 때문에 가설을 설정함.

 

•  가설 : 행동 1이 일어나면 행동 3이 일어난다.
  • A이면(인풋과 전환) C이다 (아웃풋,우리가 원하는 고객 행동)
  • 예) 검색광고를 통한 유입이 증가하면 -> 구매가 증가할 것이다
  • '좋아요'를 많이 한 고객은 -> 재방문을 더 많이 할 것이다
  • 새벽 배송을 경험한 고객은 -> 재구매를 더 많이 할 것이다
• 가설의 검증
  • 데이터 분석을 통한 검증
    • 장점 : 실제 고객 행동의 결과이므로 신뢰도가 높고 효율적으로 진행 가능
    • 단점 : 실행해보지 않은 영역은 분석이 힘들고 통계적인 전문성이 필요함
  • 고객조사를 통한 검증 
    • 장점 : 실행해보지 않은 영역도 조사할 수 있고, "왜"에 대한 인사이트를 얻을 수 있음
    • 단점 : 리소스가 많이 필요하고 고객 응답과 실제 행동이 다를 수 있음
  • 실험을 통한 검증  **마케터들이 많이 사용
    • 장점 : 실제 고객의 행동 결과를 분석할 수 있으며 실행해보지 않은 영역도 분석이 가능 (데이터분석, 고객조사 단점 보완 가능)
    • 단점 : 완벽하게 통제된 상황에서 실험을 하기 어려움. 결과가 왜곡될 수 있음
    • 가설 -> 실험을 통한 검증 -> 실행을 통한 규모 확장
• 실험 : 검증을 목적으로 하는 소규모 실행
• 실행 : 실험에서 검증된 수단을 확장해 효과를 극대화

02. 실험으로 가설 검증 

AB테스트

A안과 B안을 만들어 고객에게 보여주고 고객반응데이터를 수집함으로 결과에 영향을 미치는 핵심변수를 파악하는 실험 방법

 

예) 2가지 광고 소재를 만들어 동일한 조건으로 테스트 : 어떤 메시지가 고객의 큰 반응을 이끌어내는가

 

형태

• 변수 사이에 존재하는 영향의 크기를 파악하기 위한 AB테스트 :
  • 결과에 영향을 주는 두 변수의 영향의 크기를 파악하기 위한 AB테스트
  • A안과 B안 중 더 효과가 좋은 것을 찾을 때 사용됨. 
  • 어떤 옵션이 C에 더 큰 영향을 주는지 파악
• 변수 사이의 관계성을 파악하기 위한 AB테스트 :
  • 결과에 영향을 주는 변수의 상관성을 정확히 파악하기 위해 이와 대조되는 환경 설정을 통해 해당 변수의 사완성을 파악할 때 사용됨.
  • A이면 C이고 A가 아닌 B라면 C가 아니다라는 가설을 검증. B안은 실험을 위해 만들어짐.

고려해야 하는 변수

• 독립변수 : 예상되는 결과의 원인이 될 것으로 예측되는 변수
• 통제변수 : 독립변수 외에 결과에 영향을 줄 것으로 예상되는 변수
• 종속변수 : 독립변수에 의해 영향을 받을 것으로 예상되는 변수
  • 통제변수를 일정하게 유지한 뒤 독립변수를 바꾸어 종속변수가 어떻게 변화하는지 실험을 설계

실험 대상 설정

실험집단 : 종속변수에 영향을 미치는 요소들 중 독립변수를 제외하고 통제변수를 동일하게 관리. 독립변수의 영향을 객관적으로 대조

통제집단 : 통제변수만 주어져야 함

-> 실험집단괴 통제집단의 차이는 독립변수의 유무. 이 두 그룹에서 차이가 나는 점이 독립변수가 종속변수에 주는 영향이라고 판단

 

예시) "A광고 소재를 통한 유입자가 잔존율이 더 좋을 것이다" 가설검증

- 독립변수 : A광고 소재를 통해 유입되어 3일 이내에 구매한다

- 종속변수 : 첫 구매 후 30일 동안의 재구매율(잔존율의 기준)

- 통제변수 : 연령, 성별, 구매 한 카테고리

 

30일 이후에 실험그룹과 통제그룹의 재구매율을 비교

실험그룹이 25%, 통제그룹이 20% -> A광고소재의 효과 5%

 

실험을 통한 검증의 제약

: 마케터가 항상 철저하게 통제된 환경에서만 실험을 할 수 있는 것은 아니다. 

 

MVT : Minimum Viable Test 최소 요건이 충족되는 실험

모든 통제변수가 완벽하게 통제될 수는 없으니, 약간의 불확실성을 가지고 실험을 진행하자는 취지

연속적인 몇차례의 실험으로 불완전함을 해결하자.

완벽한 통제는 불가능하다. 그럼에도 불구하고 마케터에게 실험은 필요하다

 

최소요건수준을 갖춘 제품

완벽한 타이밍이나 검증은 없으나, 최소요건수준을 갖춘 제품이 탄생하면 빨리 고객들에게 선보이고 빨리 실제 고객들의 반응을 보자. 실제 고객들의 피드백을 통해 강점은 강화하고 약점은 보완하면서 효율적인 피드백 루틴을 만들자

 

마케터들은 최소요건으로 가설을 검증하기 시작하여 연속적으로 일관된 실험들을 통해 고객 행동에 대한 합리적인 인과 상관관계를 추론하는 것에 집중해야 함

 

03. 실험 문서 작성

1. 풀고자하는 문제
   • 가설검증을 통해 해결하고자 하는 문제/ 풀고자하는 문제가 중요한 배경과 상황에 대한 설명
2. 검증하고자 하는 가설
   • 문제를 해결할 수 있을 것으로 예상되는 가설과 실험 가설의 정량화 된 변수 설정
3. 실험 방법
   • 어떻게 가설을 구현하고 누구에게 실험할 것인지에 대한 실험 구조에 대한 설계 (실험 그룹과 대조 그룹)
   • 독립변수 외에 종속변수에 영향을 미칠 것으로 예상되는 통제변수 정의
4. 측정해야 하는 결과 지표
   • 설정 된 변수를 기반으로 측정해야 하는 결과 지표를 구체적으로 제시 (결과 지표와 관찰 지표)

 

예시상황) 

다양한 고객들이 취향에 맞게 서비스를 사용할 수 있도록 웹 사이트와 앱을 함께 운영하고 있습니다. 신규 고객들은 대부분 접근성이 좋은 웹 사이트로 접속 하므로, 우리는 웹 사이트 방문 고객들에게 앱 설치를 이끌어 낼 수 있도록 웹 사이트 홈 화면에 “더 편리하게 쇼핑하고 싶다면 앱 설치를 하라”는 배너를 노출하고 있었습니다. 해당 배너를 클릭하면 앱 설치가 바로 가능합니다.

하지만 최근 데이터를 살펴보니 웹 사이트 방문 신규 고객의 99% 이상이 홈 화면에서 마주하는 앱 설치 유도 배너를 클릭하지 않고 있습니다. 어떻게 하면 웹 사이트 방문자들의 앱 설치를 늘릴 수 있을까요?

1. 풀고자하는 문제

ICE프레임워크

2. 검증하고자 하는 가설

3. 실험 방법

실험그룹과 통제그룹으로 분류

실험그룹을 세분화 : 가설을 구성하는 각 요소들의 개별적 성과와 모두 합쳐진 성과를 함께 비교할 수 있음

 

4. 측정해야 하는 결과 지표

관찰지표(가드레일 지표) : 실험이 예기치못한 변수로 인해 부정적인 영향을 받을 것으로 예상되는 지표를 함께 탐색

이 테이블 넣어두면 측정지표와 성공의 기준을 파악하기 좋음

 

핵심)

가설을 검증하는 방법은?

실험을 잘하기 위해 마케터가 신경써야 하는 것은?

실험 운영 시 주의사항