Part01. 브랜드의 이해 | 실험하는 문화 AB테스트

ICE Score 계산

: 3가지를 더해 순위를 매김 (I+C+E) / 3

프로젝트의 핵심인력이 관리해야 함.

 

Impact : 비즈니스에 끼치는 영향이 얼마나 큰가

Confidence : 성공 가능성에 대해 얼마나 자신이 있는가

Ease : 얼마나 용이하게, 그리고 쉽게 빠르게 할 수 있을까

---

Impact 설계

 

1) Driver 지표

: Goal을 달성하기 위한 가설

예) CTR이 어떻게 변화하면 Goal을 변화할 것 같다. 리텐션이 어떻게 변화하면 Goal을 달성할 것 같다 등

예시1) 기존 광고 유입 결제 기존 1.8건 → 최소 2.98건에서 최대 5건으로 증가할 것으로 예상. 

           전체 결제 건 기여는 최소 0.5건에서 최대 2.5건.

 

2) Guardrail 지표

: Goal을 달성하기 위해 실험을 하더라도 절대 떨어지면 안되는 지표

클릭률을 올리기 위해서는 후킹을 많이 하면 됨. 하지만 후킹 후 전환되지 않으면 고객만족도가 떨어짐.

이 때 "고객만족도"가 가드레일 지표

---

AB tset 설계

1) Target Segment

AB 테스트를 통해 반응이 유의미한 사용자 그룹을 식별하거나, 사전에 정의된 특정 타겟 세그먼트를 기준으로 테스트를 수행

 

2) Control Grop & Variant Group

동일한 타겟을 대상으로 Control Group은 기존안, Variant Group은 선택지(메시지·구조·혜택 등) 중 한 가지 요소만 다르게 구성하여 효과의 유효성을 비교

 

3) KPI 

비즈니스 목적과 직접 연결된 메인 KPI를 기준으로 성과를 판단하고, 해석 보조를 위해 서브 KPI의 변화 추이를 함께 분석

 

 

---

AB테스트에서 중요한 것

 

• 명확한 main KPI(목표) 하에 있어야한다.
• 그 AB test가 유의미한지 리서치 시간이 많이 필요하다면 그 시간에 test를 진행해라.
• 문제/기회를 해결하기 위한 과감한 실험.
• 그렇다고 해서 계획하지 않고 실험을 진행하면 배운게 없다.
• 실험이 종료되면 정량적 분석, 통계적 유의미성이 떨어지면 정성적 분석을 함께
• 데이터만 본다고 우리 브랜드의 코어와 상반되는 것을 결정할 때 조심해야 함
• 실험 문화가 자리잡게 하려면 처음에는 Impact는 낮고 Confidence와 Ease 점수가 높은걸 빠르게 해보면서 문화를 쌓으면 자리가 빨리 잡는다.
• 타율이 낮더라도 임팩트가 크고, 고객에 대한 배움이 큰 실험을 할 것.
• ‘A 안이 아니라 B 안이 무조건 잘 되어야한다.’ 라는건 맞지 않다.
• AB test는 꼭 5:5로 해야한다?
• 그리고 타율이 낮은 것을 보완하기 위해 최대한 일찍, 싸게, 자주, 많이 실험을 할 것.

 

가설설계 > 실험 > 결과 회고

이를 바탕으로 계속되어야 함. 기록하고 회고하는 과정이 중요