[ATC] 25/01/21

오늘의 아티클 URLhttps://yozm.wishket.com/magazine/detail/1680/

A/B 테스트 제대로 이해하기: 5 A/B 테스트에 적정한 표본과 주의 사항 | 요즘IT

 

주제

A/B 테스트 제대로 이해하기: ⑤ A/B 테스트에 적정한 표본과 주의사항

 

요약 및 주요 포인트

* 대체 표본, 실험의 트래픽은 얼마나 모아야 하는가?

- A/B 테스트를 위한 표본의 적정량? -> 두 방안의 결과가 몇 % 정도 차이가 날지 예상하는가?

- 표본이 많을수록 2안의 결과 차이가 작더라도 실험 결과는 통계적으로 유의미 할 수 있다

- 표본이 작더라도 2안의 결과 차이가 크면 통계적으로 유의미 할 수 있다

 

* A/B 테스트 수행 과정에서 주의할 점

1) 내 의견(방안)이 이길때까지 무작정 표본 모으기

-> A/B 테스트의 원래 목표(고객에게 더 좋은 방안을 제공하기)를 잃어버리고 비즈니스의 리소스의 효율적인 활용 또한 놓치게 됨

 

2) 내 의견(방안)이 질 것 같을 때 실험을 조기종료하기

-> 의도적인 오류로 실험 결과에 영향을 미칠 수 있다

 

3) A, B안을 다른 날짜에 실험 시작하기

-> 결과의 차이를 추적할 수 있기 때문에 A/B 테스트는 동시간대에 실험을 시작해야한다

핵심개념

A/B 테스트를 통해 고객에게 유의미하고 더 나은 방안을 제공함으로써 서비스의 지표를 개선

 

용어정리

대체 실험: 원래 실험을 대신해 실행하는 비교 실험

유의미 significant: 통계적으로 중요한 결과를 의미

트래픽 : 웹사이트 or 앱으로 유입되는 방문자 수

 

기타(공통 인사이트, 의미 있었던 의견, 실무 적용사례)

* 개인 인사이트

A/B 테스트는 단순히 보이는 자료가 전부가 아니다.

표면적인 자료 외에도 고객의 숨겨진 행동과 선호도를 파악할 수 있는 중요 도구이다

실험 결과를 통해 장기적인 충성고객 모집에 큰 기여를 할 수 있으므로,

어떻게 하면 서비스 질을 높이고 매출을 증가시킬 수 있는가?라는 생각을 가지고 실험에 접근해야한다