[ATC] 25/01/09

오늘의 아티클 URLhttps://yozm.wishket.com/magazine/detail/1644/

A/B 테스트 제대로 이해하기: ②A/B 테스트를 위한 기초 통계 이해하기 | 요즘IT

 

주제

A/B 테스트 제대로 이해하기: ②A/B 테스트를 위한 기초 통계 이해하기

 

요약 및 주요 포인트

A/B 테스트에 필요한 통계 개념 소개

전체 모집단 대신 일부 표본을 통해 결과 추론

실험 전후 차이를 가정하는 귀무가설과 대립가설

특정 값을 예상하는 점 추정, 범위를 예상하는 구간추정

→ 반복 실험시 결과의 변동성을 고려해야한다

 

핵심개념

모집단과 표본

귀무가설과 대립가설

점 추정과 구간추정

표준 오차

신뢰 수준

 

용어정리

모집단: 전체 대상

표본: 전체 중 일부

귀무가설: 차이가 없음을 가정

대립가설: 차이가 생길것을 가정

점 추정: 특정값을 예상

구간추정: 범위를 예상

표준오차: 결과의 변동성

P-value: 실험 결과의 유의미함을 나타내는 지

기타(공통 인사이트, 의미있었던 의견, 실무 적용사례)

* 실무적용사례

관련 사례 : 이전 아티클에서 언급되었던 네이버 지식IN

실무 적용 : 특정고객 그룹을 대상으로 하는 프로모션 실험

가상 시나리오 :

상세 페이지에 방문하는 N등급 고객을 대상으로 하는 특정 프로모션을 노출→ 결과 측정

구매율과 전환비율 확인을 통해 프로모션이 얼마나 효과적인지? 확인

A 프로모션을 받은 고객

B 프로모션을 받지 않은 고객

 

* 인사이트

A/B 테스트는 일부 표본을 통해 전체에 대해 추론하는 과정

실험 결과는 항상 일부 표본에 기반하므로 신뢰 수준과 표준 오차를 고려해야함

P-value를 통해 실험결과의 유의미함을 판단하고 결과가 우연인지 아닌지 확인할 수 있다

기초 통계지식이 A/B 테스트의 설계, 실행, 해석에 중요한 역할을 한다