[ATC] 25/01/16

오늘의 아티클 URLhttps://yozm.wishket.com/magazine/detail/1667/

A/B 테스트 제대로 이해하기: 4 A/B 테스트 표본 크기와 유의미한 결과의 관계 | 요즘IT

 

주제

A/B 테스트 제대로 이해하기: ④ A/B 테스트 표본 크기와 유의미한 결과의 관계

 

요약 및 주요 포인트

A/B테스트에서 표본 크기가 클수록 작은 차이의 신뢰성이 높아져 유의미하게 인식될 수 있다

→ 통계적 유의미성을 확보하기 위해서 충분한 표본 크기가 필요하다

 

핵심개념

 

용어정리

표본: 모집단 중에 선택된 일부

트래픽: 웹사이트 방문자 수

모집단: 연구나 조사의 대상이 되는 전체 집단

전환율: 특정 행동을 완료한 사용자의 비율

유의미한 결과: 통계적으로 결과가 우연이 아님으로 간주되는 경우

P-value: 결과의 유의미성을 결정하는 기준 (낮은 P-value는 결과가 유의미하다고 판단됨)

 

기타(공통 인사이트, 의미있었던 의견, 실무 적용사례)

* 개인 인사이트

사실 A/B테스트를 들어만봤지 진행할 일이 많이 없었어서 생소했는데 쉽게 이해할 수 있도록 상황 예시와 함께 나와있어서 이 시리즈를 읽는 동안 흥미로웠다. 이번 아티클은 A/B테스트를 계획-해석할때의 표본 크기의 중요성에 대해 이해할 수 있었다. 표본이 충분히 크지 않으면 작은차이도 신뢰할 수 없는 결과로 이어지므로 테스트를 설계할 때는 충분한 표본 크기를 갖추어야한다는 것 더불어 지표등 테스트 설계 요소에 대해서도 자세히 계획해야 신뢰성을 높일 수 있음을 생각했다.

 

* 공통 인사이트

표본의 크기가 늘어나면서 두 집단의 차이가 현저히 낮아진다고 하더라도, 중요한 것은 ‘이 실험을 믿을 수 있는가’임

→ 표본의 크기가 커진다면 단순히 두 수치를 비교하는 것을 넘어 모집단에 적용할 수 있는 실험결과인지를 집중해서 봐야함

 

* 경험

- 광고 집행 경험 (광고 소재 간의 전환율을 볼 때, 0.n% 차이로 과연 전환율이 낫다고 판단할 수 있을까 고민이 많이 되었음)

→ 이번 아티클로 표본의 크기가 크면 근소한 차이도 의미있다는 것을 알 수 있어 의미 깊은 아티클이었음

- 업무 프로세스 효율성 비교 경험이 떠오르는 아티클