[ATC] 25/01/07

오늘의 아티클 URLhttps://yozm.wishket.com/magazine/detail/1633/

A/B 테스트 제대로 이해하기: ①테스트를 설계할 때 우리의 진짜 질문은? | 요즘IT

 

주제

A/B 테스트 제대로 이해하기: ①테스트를 설계할 때 우리의 진짜 질문은?

 

요약 및 주요 포인트

A/B 테스트: A안과 B안을 비교하는 실험

주요 질문: 어떤 방법이 더 효과적일까?

고려사항: 공정성, 결과의 신뢰성, 실험의 정밀성

-> 우리는 암묵적으로 A/B 방안의 결과가 상당히 크길 바란다.

->  우리는 실험의 진행이 공정하길 바란다.

->  우리는 이번 실험의 결과가 이례적이거나 우연이 아니길 바란다.

 

핵심개념

A/B테스트의 본질적인 질문과 공정성, 유의미한 결과 도출의 중요성

 

용어정리

* PM(Product Manager)

제품 전략과 로드맵을 수립, 관리하는 역할.

제품이 고객의 요구와 비즈니스 목표를 충족하도록 함

* 그로스 해킹(Growth Hacking): 저비용, 창의적인 전략으로 빠르게 회사의 성장을 추구하는 마케팅 기법

* 오바마 대선 캠페인 사례: 데이터 기반 A/B 테스트를 통해 참여도와 모금을 극대화한 사례

* 전환율: 행동 완료 비율

* 트래픽: 웹사이트 방문자 수를 나타내는 지표. 웹사이트&온라인 서비스 인기도와 도달범위 이해를 위한 중요 지표

 

기타(공통 인사이트, 의미있었던 의견, 실무 적용사례)

* 인사이트

공정하고 신뢰성 있는 실험 중요함

A/B 테스트 결과는 표면상의 데이터 이상을 고려해야함

실험은 공정하게 설계&실행되어야하며, 결과는 충분한 차이가 있어야함

결과의 차이가 작거나 불공정한 실험은 재고할 필요가 있음

 

* 실무적용사례

네이버 지식IN: 답변 채택률 개선을 위한 A/B 테스트

웹사이트 개선: 사용자 전환 유도 테스트