[프로젝트] AB Test

AB Test란?

디지털 환경에서 전체 실사용자를 대상으로 대조군과 실험군으로 나누어 특정 UI 혹은 알고리즘의 효과를 비교하는 방법론이다.

 

 

트래픽(Traffic)

사용자들이 웹사이트나 앱을 방문하거나 사용하는 행위

 

이는 사용자들이 서비스에 접근하고 있는 전반적인 활동을 나타내며, 트래픽의 양이 많을수록 AB 테스트의 결과가 통계적으로 더 신뢰할 수 있게 됩니다.

 

 

Variation
AB 테스트에서 두 가지 혹은 그 이상의 서로 다른 버전을 의미한다.

일반적으로 A와 B 두 가지 버전이 있으며, A는 기존의 제어 조건(혹은 기준 조건)을 나타내고, B는 새롭게 변경하거나 개선한 조건을 나타냅니다. 예를 들어, A는 웹페이지의 원래 디자인이고, B는 새로운 디자인 또는 기능을 추가한 버전일 수 있습니다. Variation은 사용자들에게 무작위로 제공되어, 각 사용자가 A 혹은 B 버전 중 하나를 보게 됩니다.

따라서 AB 테스트는 트래픽을 통해 사용자들의 행동을 측정하고, 이를 다양한 버전(variation)의 조건들 간에 비교하여 어떤 버전이 더 효과적인지를 평가하는 실험적인 방법론입니다.

 

 

AB Test에서 트래픽을 분리하는 방법

1. 노출빈도 분산 방식

AB Test가 진행되는 페이지가 렌더링될 때 마다 특정 비율로 A와 B를 다르게 노출시키는 방식

 

- Heavy User가 매우 많은 Action을 보여주더라도 노출 빈도에 따라 양쪽 모두에 포함될 수 있음 → 통계적 유의성 높음

- 동일한 사용자이더라도 매번 UI/UX가 다르게 나올 수 있음 → 유저에게 혼란을 줌 + 결과에 편향 발생 가능성 있음

- UI/UX 테스트 보다는 알고리즘 테스트에 적합함

 

2. 사용자 분산 방식

특정 사용자 ID값에 따라 사용자를 A, B 그룹으로 분리하여 각 그룹에 대해 고정적으로 다른 Variation을 노출시키는 방식

 

- 사용자 그룹별로 UI/UX가 고정적 → 혼돈을 덜 줌

- 특정 Heavy User가 Outlier들에 의해 전체 결과값이 왜곡될 수 있음 

- UI/UX 테스트에 적합함

 

 

3. 시간대 분산 방식

초/분 단위 정도로 시간대를 세밀하게 분할하여 A와 B를 다르게 노출시키는 방식

 

- 시스템 보안/설계 상의 문제로 사용자 분산이 아예 불가능한 시스템에서 어쩔 수 없이 AB 테스트를 진행해야할 때 사용

 

 

 

AB Test 결과의 유의미함을 판단하는 방법

1. AA Test

AB Test 수행 전 분산된 트래픽에 대해 동일한 Variation을 동시에 보여주고 차이 유무를 먼저 확인한 후에 차이가 없다면 AB Test를 진행해서 차이가 발생하는지 확인하는 방법

 

- AA Test에서 같은 Variation임에도 불구하고 결과값 차이가 나는 경우 AB Test를 수행할 수 없음 → 편중이나 왜곡을 해결한 후 진행

 

 

2. p-value 분석

 

 

 

---

🔗 References

 

https://brunch.co.kr/@digitalnative/19

AB Test 기본부터 심화까지 -1편