2023.06.23 (금)
본 게시물은 위키독스 『A/B 테스트 따라하기』 를 참고하였습니다.
1. A/B 테스트란?
- 기존 소프트웨어와의 변경 사항이 유의미한지 검증하는 무작위 대조 실험
- 무작위 대조 실험에서 독립변수는 최대한 통제하고, 통제할 수 없는 독립변수는 무작위화함
-> A/B 테스트를 하는 목적
1) 인과관계 추론 : 상관 관계를 인과관계로 오인하는 오류를 막기 위
2) 예상치 못한 영향 감지
2. A/B 테스트 조건
- 지표 정의
1) 목표 지표 (=성공 지표=핵심 지표) : 정량화된 궁극적인 지표
2) 요인 지표 (=사인 포스트 지표=간접 지표=예측 지표) : 목표 지표의 한계 보완, 목표 지표와 상관 관계, 목표 지표보다 더 민감하게 움직임
3) 방어 지표 (=가드레일 지표) : 균형 잡힌 의사결정을 위한 지표
-> 표본 분산을 최소화하는 지표 설정이 중요
ex) 자동차 내비게이션 경로 품질 개선을 위한 테스트
- 목표 지표 : 경로 사용률
- 요인 지표 : 경로 이탈률 (목표 지표와 음의 상관 관계)
ex) 광고 효율성 개선을 위한 테스트
- 목표 지표 : 광고 전환율
- 방어 지표 : 검색 결과 전환율, 총 상품 판매량
- 실험 환경 구축에 필요한 조건
1) 미가공 데이터 수집
2) 원하는 실험 단위 사용
3) 실험 단위 무작위 할당
4) 실험 단위 임의 할당
5) A/A 테스트* 수행
* A/A 테스트 : 대조군과 실험군에 같은 실험안을 제공하는 테스트 (정상적인 환경의 경우 대조군과 실험군의 결과 동일해야함)
3. A/B 테스트 방법
A/B 테스트의 목표는 가설 검정*을 통한 학습임.
가설 검정 관련 개념 정리
- 대립 가설 : 입증하여 주장하고자 하는 가설
- 귀무 가설 : 대립 가설의 반대 가설
- t-value : 표준오차와 표본평균 차이의 비율 (=효과)
- p-value : 귀무 가설이 참일 때 t값을 얻을 확률 (=t값이 커지면 p값은 작아짐)
- 유의 수준 : 귀무 가설을 기각하는 기준
> p값이 유의 수준보다 큰 경우 통계적으로 유의미하지 않다고 보며 귀무 가설 채택
> p값이 유의 수준보다 작은 경우 통계적으로 유의미하다고 보며 귀무 가설 기각
- 1종 오류 : 귀무 가설이 참일 때 귀무 가설을 기각하는 오류
- 2종 오류 : 귀무 가설이 거짓일 때 귀무 가설을 기각하지 않는 오류
- 검정력 : 귀무 가설이 거짓일 때 귀무 가설을 기각할 확률 (=가설이 맞을 때 맞다고 판단할 확률)
- 최소 검출 가능 효과 (MDE) : 실험이 안정적으로 검출해 낼 수 있는 최소의 효과
1) 가설 수립
2) 지표 정의 : 모호한 개념을 측정 가능한 지표로 대체
3) 실험 설계
(1) 실험 단위
(2) 실험 대상 (*실험 단위에서 특정 조건을 충족해야만 실험 대상이 됨)
(3) 유의 수준, p-value, MDE, 표본 수 등
(4) 실험 기간
(5) 실험 장기 효과 검출 수단
(6) 실험 간 영향 통제 수단
4) 실험 진행
5) 실험 결과 분석
4. 주요 오류 및 한계
-
참고 자료
https://wikidocs.net/book/9534
https://mjrecord.tistory.com/41