A/B 테스트의 "노출 비율"과 "A/B 분배"는 무엇이 다를까? 올바른 설계 방법

이 글의 요약

• "노출 비율" = 전체 방문자 중 몇 %를 실험 대상으로 포함할지
• "A/B 분배" = 실험 대상 안에서 A와 B를 어떤 비율로 보여줄지
• 이 둘은 서로 다른 개념입니다. 구분해서 생각하면 리스크를 줄이면서 검증할 수 있습니다

A/B 테스트를 설정할 때 "비율" 설정이 두 가지 등장해 헷갈리는 경우가 있습니다. 바로 "노출 비율(실험에 포함할 비율)"과 "A/B 분배"입니다. 이 둘은 의미가 전혀 다릅니다. 구분해서 이해하면 안전하게 검증을 진행할 수 있습니다.

"노출 비율"이란: 얼마나 많은 사람을 실험에 포함할지

노출 비율(실험에 포함할 비율)이란, 전체 방문자 중 몇 %를 실험 대상으로 포함할지를 의미합니다.

• 100%로 설정하면 모든 방문자가 A 또는 B 중 하나를 보게 됩니다.
• 20%로 설정하면 방문자의 20%만 실험 대상이 되고, 나머지 80%는 기존 페이지(원본 그대로)를 보게 됩니다.

노출 비율을 제한하는 목적은 리스크 관리입니다. 효과를 예측하기 어려운 변경을 곧바로 전체 방문자에게 노출하는 것은 위험합니다. 먼저 일부만 대상으로 시험해 보고, 문제가 없어 보이면 점차 확대하는 방식으로 진행할 수 있습니다.

"A/B 분배"란: A와 B를 어떤 비율로 보여줄지

A/B 분배란, 실험 대상이 된 사람들 안에서 A와 B를 어떤 비율로 보여줄지를 의미합니다.

• 기본값은 50% 대 50%입니다. 공정하게 비교할 수 있고, 필요한 데이터도 빠르게 모을 수 있습니다.
• 변경에 대한 불안이 있다면 A(원본)를 더 많이, B(변경 후)를 더 적게 배분해 신중하게 노출할 수도 있습니다.

두 가지를 조합하면 어떻게 될까?

예를 들어 "노출 비율 20%, A/B 분배 50:50"이라면 다음과 같이 됩니다.

방문자	비율
실험 대상 외(기존 페이지 = 원본 그대로)	80%
실험 대상 중 A(Control)를 보는 경우	10%
실험 대상 중 B(Variant B)를 보는 경우	10%

이처럼 "얼마나 포함할지(노출 비율)"와 "대상 안에서 어떻게 보여줄지(A/B 분배)"를 독립적으로 결정할 수 있다는 점이 핵심입니다.

왜 구분하는 것이 좋을까

노출 비율과 A/B 분배를 하나로 합쳐 버리면 "리스크를 줄인다"와 "공정하게 비교한다"라는 서로 다른 목적이 뒤섞여 설정이 헷갈리게 됩니다.

두 가지를 구분해두면

• 노출 비율로 리스크의 크기를 조절하고,
• A/B 분배로 비교의 공정성을 유지한다,

는 식으로 목적별로 명확하게 설정할 수 있습니다. 이는 주요 A/B 테스트 도구들이 채택하고 있는 방식이기도 합니다.

HeatMapX의 설계

HeatMapX의 A/B 테스트에서도 "실험에 포함할 비율(노출 비율)"과 "A/B 분배"를 구분해서 설정할 수 있습니다. 먼저 노출 비율을 작게 설정해 안전하게 시험해보고, 반응을 보면서 점차 확대해 나가는 방식으로 진행할 수 있습니다.

정리

"노출 비율"은 얼마나 많은 사람을 실험에 포함할지를, "A/B 분배"는 대상 안에서 A와 B를 어떻게 보여줄지를 의미합니다. 이 두 가지를 구분해서 생각하는 것이 리스크를 줄이면서 올바르게 검증하는 요령입니다.