A/B 테스트란? 초보자를 위한 6단계 진행 방법, 통계적 유의성, 표본 크기 가이드
- ab-testing
- cro
- how-to
- beginners
이 글의 요약
- A/B 테스트는 방문자를 무작위로 나누어 원본 페이지(A)와 변경한 페이지(B)를 같은 기간에 보여주고, 어느 쪽 성과가 더 좋은지 숫자로 비교하는 방법입니다
- 단순한 전후 비교로는 변경의 효과와 계절, 광고, 요일 등의 영향을 구분할 수 없습니다. 두 버전을 동시에 운영하는 것이 A/B 테스트의 핵심입니다
- 진행 단계는 6가지입니다. 목표와 지표 → 가설 → 변형안 만들기 → 실행 → 판단 → 적용. 필요한 표본 크기(데이터의 양)와 기간은 시작하기 전에 정합니다
- "통계적 유의성"은 차이가 우연한 변동만으로는 설명하기 어려운지를 가늠하는 기준입니다. p값은 "B가 이기고 있을 확률"이 아닙니다
- 실패의 대부분은 "결과를 계속 확인하다가 중간에 멈추는 것", "한꺼번에 너무 많은 것을 바꾸는 것", "테스트 기간이 너무 짧은 것"에서 비롯됩니다
- 트래픽이 적은 사이트라도 더 큰 변경에 집중하거나 앞 단계의 지표를 보는 식으로 접근법을 바꾸면 판단 근거를 더 얻을 수 있습니다
"헤드라인을 바꾸면 가입이 늘지 않을까?" "버튼을 페이지 더 위쪽에 두는 게 낫지 않을까?" 웹사이트를 운영하다 보면 개선 아이디어는 끊임없이 떠오릅니다. 하지만 그 변경이 실제로 좋아질지 나빠질지는 해 보기 전에는 알 수 없습니다. 게다가 변경 후에 숫자가 올랐더라도, 그 변경 덕분인지 마침 그 주에 광고비를 늘렸기 때문인지 구분할 수 없는 경우가 많습니다.
변경의 효과를 다른 요인과 분리해서 확인하고 싶을 때 사용하는 것이 A/B 테스트입니다.
이 글에서는 A/B 테스트의 의미와 원리를 설명한 뒤, 실무 진행 단계, 가설을 쓰는 법, 필요한 데이터 양과 기간, "유의한 차이"의 정확한 의미, 그리고 초보자가 가장 흔히 하는 실수를 차례로 다룹니다. 통계 이야기가 나오지만 수식은 최소한으로 줄이고 개념을 이해하는 데 중점을 두었습니다. 이 글의 모든 계산 예시는 설명을 위해 임의로 정한 가상의 숫자입니다.
A/B 테스트란?
A/B 테스트란 방문자에게 두 가지 버전의 페이지 중 하나를 무작위로 보여주고, 같은 기간의 데이터로 어느 쪽 성과가 더 좋은지 비교하는 방법입니다. "스플릿 테스트"라고 부르기도 합니다.
- A(컨트롤 / 원본 버전): 현재 페이지입니다. 비교의 기준이 됩니다
- B(베리언트 / 변경한 버전): 일부를 바꾼 페이지입니다. 시험해 보고 싶은 아이디어입니다
예를 들어 방문자의 절반에게는 A를, 나머지 절반에게는 B를 보여주고, 각 그룹에서 가입을 완료한 사람의 비율을 비교합니다. 이 비율을 전환율(CVR)이라고 합니다. 전환이란 구매, 가입, 자료 요청처럼 방문자가 사이트에서 해 주기를 바라는 행동을 말합니다.
"A/B 테스트"라는 이름은 두 버전을 비교한다는 데서 왔지만, 세 개 이상을 동시에 비교할 수도 있습니다(이를 A/B/n 테스트라고 합니다). 기본 개념은 같습니다.
원리: 무작위로 나누고 동시에 비교한다
A/B 테스트가 성립하려면 세 가지 장치가 필요합니다.
1. 방문자는 무작위로 배정됩니다. 방문자가 A를 볼지 B를 볼지는 도구가 난수를 이용해 정합니다. 사람이 고르는 것도 아니고 "오전에는 A, 오후에는 B" 같은 규칙에 따르는 것도 아닙니다. 무작위로 배정하면 신규 방문자와 재방문자, 스마트폰과 PC, 광고 유입과 검색 유입처럼 방문자 사이의 차이가 A와 B에 거의 같은 비율로 섞입니다.
2. 두 버전은 같은 기간에 운영됩니다. A와 B를 동시에 보여줍니다. 그래서 세일, 계절, TV 소개, 요일에 따른 변동 같은 외부 영향이 A와 B에 똑같이 작용합니다.
3. 같은 사람에게는 계속 같은 버전을 보여줍니다. B로 배정된 사람이 다음 방문에서 A를 보게 되면, 어느 버전이 가입에 영향을 주었는지 알 수 없게 됩니다. 이 때문에 대부분의 도구는 브라우저에 저장한 표시(쿠키 등)를 이용해 같은 방문자에게 같은 버전을 계속 보여줍니다.
이 세 조건이 갖춰지면 A와 B의 차이는 "페이지에서 바꾼 부분"뿐입니다. 그래서 결과에 차이가 나면 그 차이를 변경 덕분으로 보기가 쉬워집니다. 의약품의 효과를 검증하는 무작위 대조 시험과 같은 발상을 웹사이트에 적용한 것입니다.
A/B 테스트가 필요한 이유: 전후 비교로는 알 수 없는 것
"방문자를 나누지 않고 그냥 페이지를 바꾼 뒤 전후 숫자를 비교하면 안 되나?"라는 생각이 들 수 있습니다. 이를 전후 비교라고 합니다. 간단하지만 큰 약점이 있습니다. 변경의 효과를 다른 요인과 분리할 수 없다는 점입니다.
사이트의 숫자는 페이지를 전혀 바꾸지 않아도 날마다 움직입니다. 숫자를 움직이는 요인에는 다음과 같은 것이 있습니다.
- 계절과 이벤트: 보너스 시즌, 회계연도 말, 연휴, 날씨 등
- 광고와 캠페인: 광고비의 증감, 광고 랜딩 페이지 변경, 이메일 뉴스레터 발송
- 요일과 시간대: 평일과 주말에는 방문자의 유형과 목적이 다를 수 있습니다
- 유입 경로의 변화: 검색 순위의 변동, SNS에서의 화제, 다른 사이트로부터의 소개
- 경쟁사와 시장: 경쟁사의 가격 인하, 언론 보도
전후 비교에서는 이런 요인이 변경 후 기간과 겹치면, 숫자의 변화가 변경 때문인지 다른 무언가 때문인지 알 수 없습니다. 변경 후에 숫자가 올랐더라도 사실은 변경 자체가 악영향을 주었고 광고 증가가 그것을 가렸을 가능성도 있습니다.
A/B 테스트는 A와 B를 같은 기간에 보여주기 때문에 이런 요인이 양쪽에 똑같이 영향을 줍니다. 그렇게 남은 차이를 보면 변경만의 효과를 분리해서 파악하기가 쉬워집니다.
또 다른 이유는 만드는 사람의 직감과 방문자의 반응이 자주 어긋난다는 점입니다. 사내 모두가 "더 이해하기 쉽다"고 입을 모은 아이디어가 실제 방문자에게는 전혀 통하지 않는 일도 드물지 않습니다. A/B 테스트는 목소리가 큰 사람이나 직급이 높은 사람이 아니라, 방문자가 실제로 한 행동을 근거로 결정하기 위한 방법이기도 합니다.
A/B 테스트로 알 수 있는 것과 알 수 없는 것
A/B 테스트는 강력하지만 모든 것을 알려 주지는 않습니다. 시작하기 전에 잘하는 것과 못하는 것을 알아 두면 결과를 잘못 해석하는 일을 피할 수 있습니다.
알 수 있는 것
- 변경이 선택한 지표(가입률 등)를 높였는지, 낮췄는지, 거의 바꾸지 못했는지
- 그 차이가 우연한 변동만으로는 설명하기 어려울 만큼 큰지
알 수 없거나 잘하지 못하는 것
- 차이가 생긴 이유: 이유는 추측일 뿐입니다. 다른 데이터와 함께 생각하세요
- 장기적인 효과: 테스트 기간 중의 행동만 볼 수 있습니다. 몇 달 뒤의 유지율이나 해지율은 알 수 없는 경우가 많습니다
- 테스트하지 않은 아이디어와의 비교: A와 B 중 어느 쪽이 나은지는 알 수 있지만, 더 나은 C가 있는지는 알 수 없습니다
- 트래픽이 적은 페이지에서의 작은 개선: 차이가 있든 없든 데이터가 부족해 판단하지 못할 수 있습니다(대처법은 아래 해당 절에서 다룹니다)
또한 A/B 테스트는 "아이디어를 확인하는 도구"이지 "좋은 아이디어를 떠올리는 도구"가 아닙니다. 테스트하는 아이디어의 질은 가설을 세우는 방식에 따라 결정됩니다.
A/B 테스트의 종류: 다변량 테스트, 리디렉트 테스트와의 차이
"A/B 테스트" 안에도 관련된 방법이 여러 가지 있습니다. 가장 자주 접하는 것을 소개합니다.
| 종류 | 비교 대상 | 적합한 경우 | 주의할 점 |
|---|---|---|---|
| A/B 테스트 | 같은 URL에서 일부분만 바꾼 버전 | 헤드라인, 버튼, 이미지처럼 하나의 변경 효과를 확인할 때 | 기본형입니다. 여기서 시작하세요 |
| A/B/n 테스트 | 세 개 이상의 버전 | 헤드라인 후보가 여러 개라서 한 번에 비교하고 싶을 때 | 버전이 많을수록 버전당 데이터가 줄어 테스트가 길어집니다 |
| 다변량 테스트 | 여러 요소의 조합(예: 헤드라인 2종 × 이미지 2종 = 4가지 조합) | 어떤 요소 조합이 가장 효과적인지 알고 싶을 때 | 모든 조합에 대해 데이터가 필요합니다. 트래픽이 많은 페이지에 적합합니다 |
| 리디렉트 테스트(스플릿 URL 테스트) | 별도의 URL에 만든, 디자인이 다른 페이지 | 레이아웃이 크게 다른 새 페이지를 현재 페이지와 비교하고 싶을 때 | 리디렉트 때문에 표시가 약간 늦어질 수 있습니다. 검색 엔진에 대한 고려가 필요합니다 |
| A/A 테스트 | 동일한 두 버전 | 도구의 트래픽 분할과 측정이 올바르게 작동하는지 확인하고 싶을 때 | 개선이 아니라 점검을 위한 테스트입니다 |
다변량 테스트는 여러 요소를 한꺼번에 바꾸고 조합별 결과를 비교합니다. "이 헤드라인에 이 이미지를 조합했을 때 가장 좋다"처럼 요소끼리의 궁합까지 알 수 있습니다. 다만 헤드라인 3종, 이미지 3종, 버튼 2종이면 18가지 조합이 되고, 각각에 충분한 데이터가 필요합니다. 트래픽이 한정된 사이트에서는 A/B 테스트를 하나씩 이어서 진행하는 편이 현실적입니다.
리디렉트 테스트는 일부 방문자를 다른 URL로 보내 결과를 비교하는 방식으로, 스플릿 URL 테스트라고도 합니다. 페이지 구조 자체를 새로 만드는 것처럼 큰 변경에 적합합니다. 같은 URL에서 요소를 고쳐 쓰는 일반적인 A/B 테스트는 문구나 색상 같은 작은 변경을 빠르게 시험해 보는 데 적합합니다.
웹 밖에서도 이메일 제목이나 광고 소재를 두 가지 보내서 반응을 비교하는 것을 A/B 테스트라고 부릅니다. 이 글에서는 웹 페이지의 A/B 테스트를 다룹니다.
A/B 테스트에서 무엇을 테스트할까
테스트할 수 있는 요소는 많습니다. 대표적인 것을 소개합니다.
- 헤드라인(메인 카피): 기능을 설명하는 문구에서 방문자가 얻는 결과를 설명하는 문구로 바꿉니다. 처음 몇 초 안에 "나와 관련 있는 이야기다"라고 전하는 것이 목적입니다
- CTA(행동 유도 버튼): 문구, 위치, 크기, 색상을 바꿉니다. 다음에 해야 할 행동을 분명히 하는 것이 목적입니다
- 메인 이미지나 영상: 제품만 찍은 사진과 사용하는 모습을 찍은 사진을 비교합니다. 가치를 직관적으로 전하는 것이 목적입니다
- 입력 양식(폼): 입력 항목 수를 줄이거나, 단계를 나누거나, 입력 예시를 추가합니다. 수고와 망설임을 줄이는 것이 목적입니다
- 가격 표시 방식: 월 요금과 연 요금의 배치, 플랜의 순서, 세금 포함 가격의 표시 위치 등입니다. 비교하고 결정하기 쉽게 하는 것이 목적입니다
- 신뢰를 높이는 정보: 고객 실적, 후기, 보증 및 지원 정보의 배치입니다. 가입 전의 불안을 줄이는 것이 목적입니다
- 레이아웃과 정보 순서: 핵심 정보를 위로 옮기거나 긴 페이지를 줄입니다. 방문자가 필요한 정보에 더 빨리 도달하게 하는 것이 목적입니다
- 내비게이션: 메뉴 항목 수나 문구를 바꿉니다. 혼란을 줄이고 원하는 페이지로 안내하는 것이 목적입니다
CTA는 "Call To Action"의 약자입니다. "가입하기", "자료 요청하기"처럼 방문자의 행동을 촉구하는 버튼이나 링크를 가리킵니다.
시작할 곳은 성과와의 거리와 얼마나 많이 보이는가를 기준으로 정하는 것이 기본입니다. 가입 버튼이나 폼처럼 성과와 직결되는 곳, 많은 방문자가 보는 페이지 상단은 변경의 효과가 나타나기 쉬운 곳입니다. 반대로 대부분의 사람이 도달하지 않는 페이지 하단의 작은 변경은 효과가 있어도 검출하는 데 시간이 오래 걸립니다.
A/B 테스트의 예로 "버튼 색상"이 자주 언급되지만, 색상만 바꾼다고 큰 차이가 나는 것은 아닙니다. 색상 자체보다 중요한 것은 버튼이 주변에 묻혀서 눈에 띄지 않는 것이 문제인지 여부입니다. 무엇을 바꿀지는 다음에 설명할 가설에서 거꾸로 정해야 합니다.
A/B 테스트 진행 방법 [6단계]
A/B 테스트는 다음 6단계로 진행됩니다. 중요한 것은 지표, 필요한 데이터 양, 기간, 판단 기준을 실행하기 전에 정해 두는 것입니다.
목표와 지표 정하기
개선하고 싶은 것을 하나로 좁히고, 이를 측정할 지표를 정합니다. "자료 요청 완료율을 높인다"처럼 숫자로 측정할 수 있는 형태로 표현합니다. 판단에 쓰는 지표(주요 지표)는 하나만 사용합니다.
가설 세우기
"어디에 문제가 있는지, 무엇을 어떻게 바꿀지, 왜 개선될 것으로 생각하는지"를 적습니다. 웹 분석이나 히트맵 같은 데이터를 근거로 삼으면 추측이 줄어듭니다.
테스트할 변형안 만들기
가설에 따라 변경한 버전(B)을 만듭니다. 무엇이 효과를 냈는지 알 수 있도록 변경은 하나의 가설이 다루는 범위로 한정합니다. 스마트폰과 PC 양쪽에서 표시가 어떤지 확인합니다.
필요한 데이터와 기간을 정하고 실행하기
필요한 표본 크기와 테스트 기간을 추정하고, 노출 비율을 정한 다음 시작합니다. 시작 직후에는 트래픽 분할과 측정이 올바르게 작동하는지 확인합니다.
기간이 끝난 뒤 판단하기
미리 정해 둔 기간과 데이터 양에 도달한 뒤에 결과를 봅니다. 주요 지표의 차이와, 그 차이가 우연한 변동으로 설명할 수 있는 범위 안인지를 확인합니다.
결과를 적용하고 다음 가설로 넘어가기
성과가 더 좋았던 버전을 정식으로 채택하고 테스트 설정을 정리합니다. 차이가 없었더라도 배운 점을 기록해 다음 가설에 활용합니다.
이어지는 절에서 각 단계의 생각을 더 자세히 설명합니다.
목표와 지표를 정하는 방법
지표는 역할별로 정리하면 이해하기 쉽습니다.
- 주요 지표: 테스트의 승패를 결정하는 지표입니다. 반드시 하나만 고릅니다. 구매 완료율, 자료 요청 완료율, 무료 가입률 등이 예입니다
- 보조 지표: 주요 지표가 어떻게 움직였는지 이해하기 위해 보는 지표입니다. 버튼 클릭률, 폼 입력 시작률, 스크롤 깊이 등이 예입니다
- 가드레일 지표: 다른 것이 나빠지지 않았는지 확인하기 위해 지켜보는 지표입니다. 이탈률, 페이지 로딩 속도, 반품이나 해지, 문의 건수 등이 예입니다
주요 지표를 하나로 제한하는 이유는, 지표를 여러 개 늘어놓고 어느 하나라도 개선되면 성공이라고 하면 우연히 좋아 보인 지표를 고르게 될 가능성이 크기 때문입니다. 이것이 "다중 비교" 문제이며, 뒤의 절에서 다시 나옵니다.
주요 지표는 가능한 한 비즈니스 성과에 가까운 것으로 고르세요. 버튼 클릭률은 올랐는데 가입은 늘지 않는 일이 생길 수 있습니다. 클릭을 유도하는 문구는 버튼을 누르는 사람을 늘리지만, 그다음 화면이 기대와 다르면 사람들은 떠나 버립니다.
한편 구매나 계약처럼 발생 횟수가 적은 지표는 충분한 데이터를 모으는 데 시간이 더 걸립니다. 트래픽이 한정된 사이트에서는 더 앞 단계의 지표(예: 폼에 도달)를 주요 지표로 삼는 방법도 있습니다. 이 경우 "앞 단계 지표가 개선되어도 최종 성과가 반드시 개선되는 것은 아니다"라는 전제를 기억해 두는 것이 중요합니다.
가설 쓰는 법: 행동 데이터를 변경의 근거로 바꾸기
A/B 테스트의 성패는 가설의 질에 크게 좌우됩니다. 가설 없이 아이디어를 계속 시도하면 차이가 나타나지 않는 테스트만 쌓이고, 차이가 나타나더라도 그것을 발판으로 삼을 수 없습니다.
가설을 다음 형식으로 쓰면 빈틈이 줄어듭니다.
"(데이터에서 보이는 사실) 때문에 (문제에 대한 추측)이라고 생각한다. 따라서 (이런 변경)을 하면 (이 지표)가 개선될 것이다."
예를 들어 다음과 같은 상황을 가정해 봅시다(가상의 예).
- 사실: 요금 페이지에서 가입 버튼이 있는 곳까지 스크롤하는 방문자가 적다
- 문제에 대한 추측: 버튼이 너무 아래쪽에 있어서 가입하고 싶은 방문자도 찾지 못한다
- 변경: 플랜 표 바로 아래에도 가입 버튼을 둔다
- 지표: 가입 완료율
이렇게 써 두면 결과가 나온 뒤에 "추측이 틀렸는지, 변경이 부족했는지"를 되돌아볼 수 있습니다.
가설의 재료가 되는 데이터에는 다음과 같은 것이 있습니다.
- 웹 분석: 이탈이 많은 페이지, 성과가 낮은 유입 경로를 알 수 있습니다. 어느 "페이지"에 문제가 있는지 찾는 데 유용합니다
- 히트맵: 페이지를 어디까지 읽는지, 어디를 클릭하는지, 링크가 아닌 곳을 클릭하는지 알 수 있습니다. 어느 "부분"에 문제가 있는지 찾는 데 유용합니다
- 문의와 영업 또는 고객지원 기록: 방문자가 무엇에 혼란스러워하고 무엇을 걱정하는지 알 수 있습니다
- 사용자 설문과 인터뷰: 숫자로는 드러나지 않는 이유의 실마리를 얻을 수 있습니다
히트맵은 방문자의 행동을 페이지 위에 진하고 옅은 색의 영역으로 겹쳐 보여주는 도구입니다(종류와 읽는 법은 히트맵이란?을 참고하세요). "중요한 버튼이 클릭되지 않는다", "많은 사람이 중간쯤에서 읽기를 멈춘다" 같은 페이지 안의 문제 지점을 찾는 데 도움이 됩니다. 히트맵으로 문제를 찾고 A/B 테스트로 수정을 확인한다는 역할 분담은 히트맵과 A/B 테스트: 차이점과 활용법에서 설명합니다.
가설이 여러 개일 때는 "예상되는 영향의 크기", "근거의 강도", "구현에 드는 노력"이라는 세 가지 기준으로 순위를 매기세요. 예상 영향이 크고 노력이 적게 드는 것부터 시작하면 일이 수월하게 진행됩니다.
표본 크기 이해하기
표본 크기란 테스트에 필요한 데이터의 양, 즉 각 버전을 본 방문자 수입니다. A/B 테스트에서는 실행하기 전에 이를 추정합니다. 데이터가 너무 적으면 실제로 존재하는 차이를 놓치는 일이 잦아지고, 우연히 유의한 차이가 나타나더라도 그 크기가 실제보다 크게 보이기 쉽습니다.
필요한 표본 크기는 주로 다음 네 가지로 결정됩니다.
- 현재 전환율: 낮을수록 더 많은 데이터가 필요합니다
- 검출하고 싶은 차이의 크기: 찾고 싶은 차이가 작을수록 더 많은 데이터가 필요합니다. 그보다 작은 차이는 놓쳐도 괜찮다고 보고 검출하고 싶은 가장 작은 차이를 최소 검출 효과(MDE)라고 합니다
- 유의수준: 차이가 없는데 "차이가 있다"고 판단하는 오류를 얼마나 허용할지를 나타냅니다. 흔히 5%를 사용합니다
- 검정력: 차이가 실제로 있을 때 그것을 찾아낼 확률입니다. 흔히 80%를 사용합니다
이 중에서 영향이 가장 큰 것은 두 번째입니다. 찾고 싶은 차이가 절반으로 줄면 필요한 데이터 양은 약 4배로 늘어납니다.
대략적인 감각을 잡을 수 있도록 계산 예시를 소개합니다. 현재 전환율이 2.0%라고 가정했을 때 버전당 필요한 방문자 수의 대략적인 값입니다(두 비율을 비교하는 표준 공식으로, 양측 검정, 유의수준 5%, 검정력 80%를 적용해 계산했습니다).
| 검출하고 싶은 개선폭(상대) | 변경 후 전환율 | 버전당 필요한 방문자 수(대략) |
|---|---|---|
| +10% | 2.0% → 2.2% | 약 80,700명 |
| +20% | 2.0% → 2.4% | 약 21,100명 |
| +30% | 2.0% → 2.6% | 약 9,800명 |
| +50% | 2.0% → 3.0% | 약 3,800명 |
이 표에서 두 가지를 알 수 있습니다. 첫째, 작은 개선을 확인하려면 생각보다 많은 데이터가 필요합니다. 전환율 2.0%인 페이지에서 10% 개선을 확인하려면 A와 B를 합쳐 16만 명이 넘는 방문자가 필요합니다. 둘째, 변경이 노리는 개선폭이 클수록 판단에 필요한 데이터는 적어집니다.
실제로 추정할 때는 A/B 테스트 도구에 내장된 계산기나 공개된 표본 크기 계산기에 네 가지 값을 입력하면 답을 얻을 수 있습니다. 공식을 외울 필요는 없습니다. 중요한 것은 먼저 "얼마나 큰 차이를 찾고 싶은가"를 정하고, 우리 사이트의 트래픽으로 현실적인 시간 안에 거기에 도달할 수 있는지 확인하는 것입니다.
추정한 필요 수치가 너무 크더라도 테스트를 포기하는 것 말고도 선택지가 있습니다. 더 큰 차이가 날 만한 변경에 집중하기, 트래픽이 많은 페이지에서 테스트하기, 퍼널의 더 앞 단계 지표를 보기입니다. 구체적인 방법은 "트래픽이 적은 사이트에서는 어떻게 할까" 절에서 설명합니다.
테스트 기간 정하는 방법
테스트 기간은 필요한 표본 크기를 테스트 대상 페이지의 하루 방문자 수로 나누어 추정합니다.
예를 들어 보겠습니다. 위 표에서 "버전당 약 21,100명"이 필요하다고 합시다. 대상 페이지의 하루 방문자가 1,000명이고, 전원이 테스트에 포함되어 A와 B로 절반씩 나뉜다고 가정하면 버전당 하루 500명이 됩니다. 21,100 ÷ 500은 약 42일, 즉 약 6주입니다.
기간을 정할 때는 데이터 양 외에 다음 사항도 고려하세요.
주 단위로 정합니다. 방문자의 행동은 요일에 따라 달라집니다. 평일에는 업무 관련 조사를, 주말에는 개인적인 쇼핑을 하는 식으로 방문자의 유형과 목적이 다를 수 있습니다. 월요일부터 목요일까지 나흘만 하고 끝내면 주말 방문자의 반응이 빠집니다. 같은 요일에 시작해 같은 요일에 끝나도록 7일의 배수로 하면 요일 편향을 피할 수 있습니다.
너무 짧은 기간은 피합니다. 트래픽이 매우 많아 며칠 만에 필요한 수에 도달하는 사이트라도, 최소 1주일, 가능하면 2주일은 진행하는 것이 일반적인 경험칙입니다. 요일 편향 외에도 변경 직후에는 새롭다는 이유만으로 반응이 좋아질 수 있고(반대로 재방문자가 당황해서 나빠질 수도 있습니다).
너무 긴 기간도 피합니다. 테스트가 길어질수록 쿠키가 삭제되어 같은 사람이 다른 버전을 보게 되거나, 계절과 시장 상황이 달라지는 등 방해 요소가 끼어듭니다. 추정 결과가 2개월을 크게 넘는다면 테스트의 설계(검출하고 싶은 차이의 크기, 대상 페이지, 지표)를 다시 검토하기를 권합니다.
특이한 시기는 피합니다. 대형 세일이나 연말연시처럼 방문자의 행동이 평소와 크게 다른 시기의 결과는 평상시에는 들어맞지 않을 수 있습니다. 그 시기에만 해당하는 시책을 확인하려는 것이 아니라면 피하는 것이 안전합니다.
통계적 유의성이란? p값과 신뢰 수준 쉽게 이해하기
테스트가 끝나면 "A는 2.0%, B는 2.4%" 같은 결과를 얻습니다. 여기서 생각해야 할 것은 이 차이가 진짜인가, 아니면 우연인가입니다.
완전히 같은 페이지를 두 그룹에 보여주더라도 전환율이 정확히 일치하는 일은 거의 없습니다. 동전을 100번 던져도 항상 정확히 앞면이 50번 나오지는 않는 것처럼, 숫자에는 우연한 변동이 있습니다. 그래서 "관찰된 차이가 우연한 변동만으로 설명할 수 있는 범위 안인지"를 확인하는 절차가 필요합니다. 이것이 통계적 가설 검정이며, 그 결론을 가리키는 용어가 통계적 유의성입니다.
p값이란?
검정에서는 먼저 "A와 B 사이에 진짜로 차이가 없다"고 가정합니다. 그런 다음 차이가 정말로 없다고 할 때, 관찰된 차이 이상으로 큰 차이가 우연히 나타날 확률을 계산합니다. 이 확률이 p값입니다.
- p값이 작다 → 차이가 없다는 가정 아래에서는 이런 차이가 좀처럼 일어나지 않는다 → 차이가 없다는 가정이 의심스럽다
- p값이 크다 → 차이가 없더라도 이 정도 크기의 차이는 우연히 자주 나타난다 → 차이가 있다고 말할 수 없다
유의수준과 신뢰 수준
p값이 얼마나 작아야 "차이가 있다"고 결론 내릴지를 정하는 기준선을 유의수준이라고 합니다. 관례적으로 5%(0.05)를 흔히 사용합니다. p값이 유의수준보다 작아지면 "통계적으로 유의한 차이가 있다"고 말합니다.
A/B 테스트 도구 화면에서는 "신뢰 수준 95%"나 "95% 신뢰도" 같은 표시를 자주 볼 수 있습니다. 보통 이는 도구가 유의수준 5%로 판단하고 있다는 뜻입니다(표시의 의미는 도구마다 다르므로 사용하는 도구의 설명서를 확인하세요).
유의수준 5%는 "실제로는 차이가 없는데 차이가 있다고 판단할 확률을 5%까지는 받아들인다"는 약속입니다. 달리 말하면, 효과가 전혀 없는 변경 20개를 테스트하면 평균적으로 1개는 "유의하다"고 나옵니다. 유의한 차이는 확실하다는 증명이 아니라, 오류의 가능성을 정해 둔 수준 이하로 억제하기 위한 기준입니다.
p값에 대한 흔한 오해
그 밖에 흔한 오해로는 다음과 같은 것이 있습니다.
- "유의하지 않다"는 "차이가 없다"는 뜻이 아닙니다: 차이가 있는지 말할 만큼 데이터가 충분하지 않은 상황도 포함합니다
- 유의한 차이가 반드시 비즈니스에 의미 있는 크기인 것은 아닙니다: 데이터가 매우 많으면 아주 작은 차이도 유의하게 나옵니다. 차이의 크기도 함께 보세요
- p값이 작다고 효과가 큰 것은 아닙니다: p값은 데이터의 양에도 좌우됩니다
계산 예시로 확인하기
가상의 숫자로 확인해 봅시다. A와 B에 각각 10,000명의 방문자가 배정되었다고 합시다.
- 예시 1: A는 전환 200건(2.0%), B는 240건(2.4%)입니다. p값은 약 0.054로, 유의수준 5%를 간발의 차이로 넘습니다. 상대적으로 20%의 차이가 보이더라도 이 정도의 데이터로는 "유의하다"고 할 수 없습니다
- 예시 2: A는 전환 200건(2.0%), B는 250건(2.5%)입니다. p값은 약 0.017로, 유의수준 5%보다 작습니다
비율이 같아도 데이터가 적으면 결론이 달라집니다. A와 B가 각각 방문자 1,000명이고 전환이 A는 20건(2.0%), B는 24건(2.4%)이라면 p값은 약 0.54입니다. 차이가 없더라도 이 정도의 격차는 절반이 넘는 확률로 우연히 나타난다는 뜻입니다.
(이상은 모두 두 비율의 차이에 대한 양측 검정으로 계산한 예시입니다. 실제 판단은 사용하는 도구의 방식을 따르세요.)
신뢰구간도 함께 보기
p값은 "유의한가, 아닌가"라는 이분법의 문제로 흐르기 쉽지만, 신뢰구간을 보면 차이의 크기를 가늠할 수 있습니다. 신뢰구간이란 진짜 차이가 들어 있을 가능성이 높다고 여겨지는 범위입니다.
위의 예시 1에서 전환율의 차이(B에서 A를 뺀 값)는 0.4퍼센트포인트이고, 95% 신뢰구간은 대략 −0.01에서 +0.81퍼센트포인트가 됩니다. 구간이 0을 아슬아슬하게 걸치고 있으므로 "B가 좋아 보이지만 차이가 없을 가능성을 배제할 수 없다"고 읽을 수 있습니다. 구간이 넓다는 것은 아직 데이터가 부족하다는 신호입니다.
"B가 A를 이길 확률"을 보여주는 도구도 있다
일부 도구는 p값 대신 "B가 A를 이길 확률" 같은 숫자를 보여줍니다. 이 값은 베이즈 통계라는 다른 접근법에 바탕을 둔 것으로, 전제와 의미가 p값과 다릅니다. 어느 쪽이 단순히 옳고 그른 것이 아니라 서로 다른 학파의 사고방식입니다. 중요한 것은 지금 보고 있는 숫자가 어느 방식에 의한 것인지 확인하고, 두 가지를 같은 종류의 숫자로 혼동하지 않는 것입니다.
결과 읽는 법과 테스트 후 해야 할 일
기간이 끝나면 다음 순서로 결과를 확인합니다.
- 트래픽 분할이 설계대로 이루어졌는가: 절반씩 나누도록 설정했다면 A와 B의 방문자 수가 심하게 한쪽으로 쏠려 있지 않은가요? 쏠림이 크다면 분할이나 측정에 문제가 있을 수 있으며, 결과를 그대로 믿는 것은 위험합니다
- 주요 지표의 차이와 그 유의성: 차이의 방향과 크기, p값과 신뢰구간
- 가드레일 지표: 주요 지표가 개선되는 동안 다른 중요한 숫자가 나빠지지는 않았는가?
- 보조 지표: 왜 이런 결과가 나왔는지 생각하는 데 쓰는 단서
결과는 크게 세 가지로 나뉩니다.
B가 유의하게 좋았다. B를 정식으로 채택합니다. 적용한 뒤에도 한동안 숫자를 계속 지켜보면서 테스트 때와 같은 경향이 이어지는지 확인하세요.
B가 유의하게 나빴다. A를 유지합니다. 이것은 실패가 아닙니다. 나쁜 변경을 모두에게 보여주기 전에 막았다는 결과입니다. 왜 나빴는지 생각해 보면 다음 가설의 정확도가 높아집니다.
유의한 차이가 없었다. A/B 테스트에서 가장 흔한 결과 중 하나입니다. 이때는 계획한 기간이 끝난 뒤에 "유의해질 때까지 테스트를 연장하는 것"을 피하세요(이유는 다음 절에서 설명합니다). 차이가 없을 때는 가설이 틀렸는지, 변경이 너무 작았는지, 데이터가 부족했는지를 가려내세요. 어느 쪽이든 결과가 같다면 운영하기 쉬운 쪽이나 브랜드 가이드라인에 맞는 쪽을 택해도 괜찮습니다.
기기별, 유입 경로별로 나누어 결과를 보는 것(세그먼트 분석)도 유용하지만 주의가 필요합니다. 잘게 나눌수록 그룹별 데이터가 줄어 우연한 차이를 집어내기 쉬워집니다. 나누어 보다가 발견한 경향은 "결론"이 아니라 "다음에 확인할 가설"로 다루는 편이 안전합니다.
마지막으로 테스트 기록을 남기세요. 가설, 변경 내용, 기간, 데이터 양, 결과, 배운 점을 한곳에 정리해 두면 같은 테스트를 되풀이하는 일을 막을 수 있고, 담당자가 바뀌어도 배운 것이 이어집니다.
A/B 테스트의 흔한 실수와 피하는 방법
A/B 테스트는 구조가 단순하기 때문에 진행 방식이 잘못되면 그럴듯한 숫자가 붙은 잘못된 결론이 나올 수 있습니다. 대표적인 실수를 소개합니다.
| 흔한 실수 | 무엇이 문제인가 | 대처법 |
|---|---|---|
| 결과를 반복해서 확인하다가 유의해지는 즉시 멈춘다 | 우연한 차이를 "유의하다"고 판단하는 오류가 설정한 유의수준보다 잦아진다 | 필요한 데이터와 기간을 미리 정하고, 거기에 도달한 뒤에 판단한다 |
| 많은 요소를 한꺼번에 바꾼다 | 차이가 있어도 무엇이 효과를 냈는지 알 수 없다 | 변경을 하나의 가설이 다루는 범위로 한정한다 |
| 테스트 기간이 짧다 | 요일 편향과 변경 직후의 일시적인 반응에 결과가 좌우된다 | 7일의 배수로, 최소 1~2주일은 진행한다 |
| 트래픽이 적은데 판단한다 | 우연한 변동이 커서 결론이 불안정하다 | 필요한 수를 미리 추정하고, 부족하면 설계를 다시 생각한다 |
| 요일이나 계절의 편향 | 평일만, 혹은 세일 기간만의 결과는 평상시에 들어맞지 않는다 | 같은 요일에 시작하고 끝내며 특이한 시기는 피한다 |
| 지표와 변형안을 많이 늘어놓고 좋은 것만 고른다 | 비교 횟수가 많을수록 우연히 좋아 보이는 것이 나올 가능성이 커진다 | 주요 지표를 하나로 정하고 변형안의 수를 제한한다 |
| 가설 없이 테스트한다 | 결과가 나와도 발판으로 삼을 학습이 남지 않는다 | 시작하기 전에 사실, 문제, 변경, 지표를 적는다 |
| 도중에 설정이나 변형안을 바꾼다 | 전후로 데이터의 성격이 달라져 비교할 수 없다 | 바꾸고 싶으면 멈추고 새 테스트로 처음부터 다시 한다 |
특히 조심해야 할 것은 첫 번째, 이른바 "엿보기(peeking)" 문제입니다. 테스트의 중간 경과를 거의 매일 확인하는 것 자체는 문제를 일찍 발견하기 위해 필요한 일입니다. 문제는 중간 결과에서 유의한 차이가 보인 순간 테스트를 멈추고 승리를 선언하는 것입니다.
p값은 데이터가 쌓이는 동안 오르락내리락합니다. 정말로 차이가 없을 때도 여러 번 확인하다 보면 어느 시점에 우연히 유의수준 아래로 내려갈 수 있습니다. 그 순간에 멈추면 "차이가 없는데 있다고 판단하는 오류"가 계획한 5%보다 잦아집니다. 미리 정해 둔 데이터 양과 기간에 도달할 때까지 판단을 기다리라는 규칙은 이 오류를 막기 위해 존재합니다.
도구에 따라서는 중간에 판단해도 오류가 늘지 않도록 설계된 판정 방식(순차 검정이라고 불리는 것 등)을 갖춘 경우도 있습니다. 그럴 때는 도구가 제시하는 절차를 따르세요.
"한꺼번에 많이 바꾸는 것"에 대해서도 덧붙입니다. 헤드라인, 이미지, 버튼을 한꺼번에 바꾼 B가 이겼다 해도 무엇이 효과를 냈는지 알 수 없습니다. 헤드라인은 좋았는데 이미지가 발목을 잡았을 수도 있습니다. 다만 완전히 새로 만든 페이지를 현재 페이지와 비교하는 것이 목적이라면 함께 바꾸는 것이 타당합니다. 그럴 때는 "어떤 요소가 효과를 냈는지는 알 수 없다"는 점을 받아들이고 리디렉트 테스트 같은 방법으로 비교하세요.
노출 비율과 A/B 분배에 대한 생각
A/B 테스트를 설정할 때는 "비율"에 관한 설정이 두 가지 나옵니다. 헷갈리기 쉬우니 구분해서 이해하세요.
- 노출 비율(실험에 포함할 방문자의 비율): 전체 방문자 중 몇 %를 테스트에 포함할지입니다. 테스트 대상이 아닌 방문자는 그냥 원본 페이지를 봅니다
- A/B 분배: 테스트에 포함된 방문자를 A와 B에 어떤 비율로 나눌지입니다
예를 들어 노출 비율을 20%, A/B 분배를 절반씩으로 설정하면, 전체 방문자의 80%는 테스트 대상이 아니라서 원본 페이지를 보고, 10%는 테스트에 포함되어 A를 보며, 10%는 B를 봅니다.
A/B 분배는 절반씩이 기본값입니다. 방문자 수가 같다면 균등하게 나누는 것이 필요한 데이터를 가장 빨리 모을 수 있습니다. B의 비중을 작게 줄 수도 있지만, 적은 쪽이 충분한 데이터를 모을 때까지 기다려야 하므로 기간이 길어집니다.
노출 비율은 위험과 기간의 균형을 보고 고릅니다. 노출 비율을 낮추면 변경이 역효과를 냈을 때 영향을 받는 방문자 수가 줄어듭니다. 그 대가로 테스트에 포함되는 방문자가 줄어 필요한 데이터를 모으는 데 더 오래 걸립니다. 영향을 예측하기 어려운 큰 변경은 낮은 노출 비율로 시작해 문제가 없는지 확인한 뒤, 이상이 없으면 넓히는 방식이 일반적입니다. 문구 일부를 바꾸는 것처럼 영향이 작은 변경이라면 처음부터 모두를 포함해 기간을 줄이는 편이 합리적입니다.
두 비율의 차이는 A/B 테스트의 "노출 비율"과 "A/B 분배"는 무엇이 다를까?에서, 설계 사상은 노출 비율과 A/B 분배를 별도 설정으로 나누는 이유에서 다룹니다.
A/B 테스트와 SEO: 검색에 미치는 영향 줄이기
"A/B 테스트를 하면 검색 순위가 떨어지지 않을까?" 하는 걱정은 흔합니다. Google은 검색에 미치는 영향을 줄이면서 테스트하는 방법에 대한 가이드를 Google 검색 센터 문서에 공개하고 있습니다. 핵심은 다음과 같습니다.
- 클로킹을 하지 않는다: 검색 엔진 크롤러(페이지를 방문해 읽는 프로그램)와 사람 방문자에게 의도적으로 다른 콘텐츠를 보여주는 것을 클로킹이라고 하며, 스팸 정책 위반입니다. 테스트를 하든 하지 않든 마찬가지입니다. 특정 버전을 크롤러에게만 보여주는 설정은 피하세요
- 별도 URL에서 하는 테스트에는 rel="canonical"을 사용한다: 리디렉트 테스트처럼 여러 URL에 걸쳐 테스트할 때는 테스트 URL에 rel="canonical"(선호하는 URL을 검색 엔진에 알려 주는 태그)을 추가해 원본 URL이 우선할 페이지임을 나타냅니다. 이 목적에는 noindex보다 rel="canonical"을 Google은 권장합니다
- 리디렉트에는 임시 리디렉트(302)를 사용한다: 원본 URL에서 테스트 URL로 리디렉트할 때는 영구 이전을 뜻하는 301이 아니라 임시 이전을 나타내는 302를 사용합니다. JavaScript 리디렉트도 문제없다고 알려져 있습니다
- 필요한 기간만 테스트한다: 충분한 데이터를 모았으면 테스트를 끝내고, 테스트용 URL이나 스크립트 등을 가능한 한 빨리 제거합니다. Google은 필요 이상으로 오래 테스트를 하면 검색 엔진을 속이려는 시도로 해석될 수 있다고 설명합니다
즉, 테스트를 방치하지 않는 것은 통계뿐 아니라 검색에서도 중요합니다. 끝난 테스트는 정리하고, 채택한 버전은 사이트 자체에 반영하는 것까지 한 흐름으로 마무리하세요.
여기서 소개한 것은 Google이 공개한 가이드의 개요입니다. 검색 순위에 미치는 영향은 사이트마다 다르므로, 큰 변경이 따르는 테스트를 하기 전에는 원문과 사용하는 도구의 설명서도 함께 확인하기를 권합니다.
트래픽이 적은 사이트에서는 어떻게 할까
표본 크기 절에서 보았듯이 A/B 테스트에는 어느 정도의 데이터가 필요합니다. 그렇다면 월 방문자가 수천 명인 사이트에서는 A/B 테스트가 의미 없을까요? 꼭 그렇지는 않습니다. 접근법을 바꾸면 판단 근거를 더 얻을 수 있습니다.
큰 변경을 테스트합니다. 찾고 싶은 차이가 클수록 필요한 데이터는 적어집니다. 버튼 문구를 살짝 고치는 것 같은 작은 변경보다는 핵심 소구점 바꾸기, 페이지 구조 재편, 폼 항목 대폭 삭제처럼 큰 차이를 낼 수 있는 변경에 집중하세요.
트래픽이 많은 페이지에서 테스트합니다. 사이트 전체의 트래픽이 적더라도 방문자가 모이는 페이지는 있을 것입니다. 홈페이지나 광고 유입을 받는 페이지처럼 방문자가 가장 많은 곳을 고르세요.
더 앞 단계의 지표를 사용합니다. 구매나 계약은 건수가 적어서 차이를 검출하는 데 시간이 걸립니다. "폼에 도달", "요금 페이지로 이동"처럼 더 자주 일어나는 앞 단계 행동을 주요 지표로 삼으면 필요한 데이터를 낮출 수 있습니다. 다만 앞 단계 지표가 개선되어도 최종 성과의 개선으로 이어진다고는 할 수 없음을 염두에 두세요.
변형안은 두 개로 제한합니다. 세 번째, 네 번째를 추가하면 버전당 데이터가 줄어듭니다. 트래픽이 적은 동안에는 A와 B만 비교하세요.
노출 비율은 100%, A/B 분배는 절반씩으로 설정합니다. 대상을 좁히거나 불균등하게 나누면 기간이 길어집니다.
기간을 길게 잡되, 그래도 부족하면 한계를 받아들입니다. 4~8주 정도를 확보해도 필요한 수에 도달하지 못한다면, A/B 테스트로 결론을 내려는 데 집착하지 않겠다는 판단도 필요합니다.
A/B 테스트가 맞지 않을 때는 다른 방법이 도움이 됩니다.
- 히트맵으로 행동 관찰하기: 트래픽이 적어도 "어디를 읽지 않는지", "어디를 클릭하지 않는지"에 대한 감각을 얻을 수 있습니다
- 사용자에게 직접 묻기: 몇 사람에게 화면을 써 보게 하고 어디서 막히는지 지켜보기만 해도 많은 문제가 드러납니다
- 명백한 문제는 테스트 없이 고치기: 깨진 링크, 읽기 어려운 문장, 작동하지 않는 버튼처럼 고쳐서 나빠질 것이라고는 상상하기 어려운 것은 검증을 기다릴 필요가 없습니다
A/B 테스트 도구의 종류와 고르는 법
A/B 테스트를 하려면 트래픽 분할, 표시 내용 전환, 측정, 보고를 맡아 줄 도구가 필요합니다. 작동 방식에 따라 크게 두 가지 유형이 있습니다.
클라이언트 사이드
- 작동 방식: 페이지에 태그(측정용 짧은 코드 조각)를 추가하고, 방문자의 브라우저에서 페이지 일부를 고쳐 씁니다
- 주로 담당하는 사람: 마케터와 웹 담당자. 화면 조작으로 변경을 만들 수 있는 도구가 많습니다
- 적합한 경우: 문구, 이미지, 색상, 레이아웃 같은 시각적 변경
- 주의할 점: 고쳐 쓰기 전에 원래 화면이 잠깐 보이는 "깜빡임"이 생길 수 있습니다
서버 사이드
- 작동 방식: 서버 쪽 코드가 방문자별로 표시 내용을 전환합니다
- 주로 담당하는 사람: 엔지니어. 코드 변경이 필요합니다
- 적합한 경우: 가격 계산, 검색이나 정렬 방식, 앱 기능처럼 백엔드 처리가 따르는 변경
- 주의할 점: 설정과 운영에 개발 노력이 듭니다
이 글이 상정하는 용도인 웹 페이지의 헤드라인과 버튼을 시험해 보는 경우라면 클라이언트 사이드 도구가 우선 후보입니다.
도구를 고를 때는 다음 사항을 확인하세요.
- 화면 조작으로 변경을 만들 수 있는지, 코드를 써야 하는지
- 판단에 어떤 통계 방식을 쓰고 결과를 어떻게 표시하는지
- 노출 비율과 A/B 분배를 따로 설정할 수 있는지
- 리디렉트 테스트를 지원하는지
- 요금이 무엇에 비례하는지(방문자 수, 측정 이벤트 수, 사용자 수 등)
- 히트맵처럼 가설을 세울 때 쓰는 데이터와 함께 볼 수 있는지
Google Optimize의 종료
무료 A/B 테스트 도구로 널리 쓰이던 Google Optimize는 2023년 9월에 서비스가 종료되었습니다. Google Optimize를 사용하던 사이트는 다른 도구로 옮겨야 했습니다.
지금은 Optimizely, VWO, AB Tasty 같은 A/B 테스트 전문 도구, 일본 기업의 Ptengine와 SiTest 같은 히트맵과 A/B 테스트를 결합한 도구, 개발자용 실험 플랫폼 등 다양한 선택지가 있습니다. 필요한 기능과 예산은 사이트 규모에 따라 크게 달라지므로 자신의 용도에 맞는 것을 고르는 것이 중요합니다. 주요 도구들의 요금대와 접근 방식의 차이는 A/B 테스트 도구 동향 2026을 참고하세요.
히트맵과 온사이트 인게이지먼트를 결합해 개선을 이어 가기
A/B 테스트는 단독으로 쓸 때보다 다른 도구와 결합할 때 더 큰 성과를 냅니다.
개선의 흐름은 "발견 → 수정안 만들기 → 검증"을 되풀이하는 순환입니다.
- 발견: 웹 분석으로 문제가 있는 페이지를 찾고, 히트맵으로 페이지 안의 문제 지점을 특정합니다
- 수정안 만들기: 찾아낸 문제로 가설을 세우고 변경안을 만듭니다
- 검증: A/B 테스트로 변경이 정말 성과를 개선하는지 확인합니다
- 적용하고 다음으로: 성과가 더 좋았던 버전을 적용하고, 변경된 페이지를 다시 히트맵으로 관찰합니다
A/B 테스트 결과가 나온 뒤에 히트맵을 보는 것도 유용합니다. B가 이겼을 때 방문자의 행동이 어떻게 달라졌는지(더 아래까지 읽는지, 클릭하는 위치가 이동했는지) 확인하면 "왜 좋았는가"의 단서가 되고 다음 가설로 이어집니다.
페이지 자체를 바꾸는 대신 팝업이나 고정 바로 안내를 보여주는 온사이트 인게이지먼트 시책에도 A/B 테스트의 사고방식을 그대로 적용할 수 있습니다. 보여줄지 말지, 문구, 표시 타이밍을 비교할 때도 원칙은 같습니다. 방문자를 무작위로 나누어 같은 기간에 비교하는 것입니다. 온사이트 인게이지먼트의 기본은 온사이트 인게이지먼트란?에서 설명합니다.
HeatMapX 소개
HeatMapX는 사이트에 태그를 추가하는 것만으로 히트맵을 측정할 수 있는 도구이며, 무료 Free 플랜으로 시작할 수 있습니다(플랜 상세는 요금 페이지를 참고하세요). A/B 테스트 기능은 단계적으로 제공하고 있습니다. 먼저 히트맵으로 우리 사이트가 어떻게 보이는지 파악하고, 어디서 실험할지에 대한 가설을 준비해 두면 A/B 테스트를 시작할 때 빠르게 움직일 수 있습니다.
다른 제품과 비교해서 히트맵 도구를 고르고 싶다면 히트맵 도구 비교도 함께 참고하세요.
A/B 테스트 FAQ
A/B 테스트란 한마디로 무엇인가요?
방문자에게 같은 기간에 두 가지 버전의 페이지를 무작위로 보여주고 어느 쪽 성과가 더 좋은지 숫자로 비교하는 방법입니다. 변경 전후를 비교하는 것과 달리, 계절이나 광고 같은 다른 요인과 분리해서 변경의 효과를 확인할 수 있습니다.
A/B 테스트는 얼마나 오래 해야 하나요?
필요한 표본 크기를 하루 방문자 수로 나누어 추정합니다. 요일 편향을 피하려면 7일의 배수로 하고, 최소 1~2주일은 진행하는 것이 일반적인 경험칙입니다. 트래픽이 많은 사이트가 며칠 만에 필요한 수에 도달하더라도 1주일은 계속하기를 권합니다. 반대로 추정 결과가 2개월을 크게 넘는다면 설계를 다시 검토하세요.
A/B 테스트를 하려면 트래픽이 얼마나 필요한가요?
하나의 기준은 없습니다. 현재 전환율과 검출하고 싶은 차이의 크기에 따라 달라집니다. 이 글의 계산 예시에서는 전환율 2.0%인 페이지에서 상대적으로 20% 개선을 확인하는 데 버전당 약 21,100명의 방문자가 필요했습니다. 트래픽이 적다면 더 큰 변경에 집중하거나 앞 단계의 지표를 사용해 필요한 수를 줄일 수 있습니다.
유의한 차이가 없으면 어떻게 해야 하나요?
계획한 기간이 끝난 뒤에 유의해질 때까지 테스트를 연장하는 것은 피하세요. "이번 변경에서는 검출하고자 한 크기의 차이가 나타나지 않았다"고 기록하고, 가설이 틀렸는지 변경이 너무 작았는지 돌아보세요. 어느 쪽이든 결과가 같다면 운영하기 쉬운 쪽을 택해도 괜찮습니다. 유의한 차이가 없다는 것은 실패가 아니라 하나의 결과입니다.
p값이 0.05보다 작으면 B가 더 좋다고 말할 수 있나요?
아니요. p값은 "B가 더 좋을 확률"이 아니라 "정말로 차이가 없다고 할 때, 관찰된 차이 이상으로 큰 차이가 우연히 나타날 확률"입니다. 유의수준 5%로 판단하면 효과가 없는 변경 20개 중 약 1개는 그래도 유의한 차이가 나타납니다. 차이의 크기, 신뢰구간, 가드레일 지표도 함께 확인하고, 중요한 변경은 적용한 뒤에도 숫자를 계속 지켜보세요.
A/B 테스트는 SEO에 악영향을 주나요?
Google은 가이드를 따르면 검색에 미치는 영향을 줄일 수 있다는 지침을 공개하고 있습니다. 핵심은 네 가지입니다. 크롤러와 사람에게 다른 콘텐츠를 보여주지 않을 것, 별도 URL 테스트에는 rel="canonical"을 추가할 것, 리디렉트에는 302를 사용할 것, 필요한 기간이 지나면 테스트를 끝내고 설정을 정리할 것입니다. 자세한 내용은 위의 "A/B 테스트와 SEO" 절을 참고하세요.
정리: 먼저 하나의 가설에서 시작하기
A/B 테스트는 방문자를 무작위로 나누어 같은 기간에 비교함으로써 변경의 효과를 다른 요인과 분리해서 확인하는 방법입니다. 이 글의 핵심을 정리합니다.
- 원리: 방문자를 무작위로 배정하고, 두 버전을 같은 기간에 보여주며, 같은 사람에게는 같은 버전을 계속 보여줍니다. 이렇게 하면 차이의 원인이 "바꾼 부분"으로 좁혀집니다
- 진행 방법: 목표와 지표 → 가설 → 변형안 만들기 → 실행 → 판단 → 적용의 6단계입니다. 지표, 데이터 양, 기간, 판단 기준은 실행 전에 정합니다
- 데이터와 기간: 확인하고 싶은 차이가 작을수록 더 많은 데이터가 필요합니다. 7일의 배수로, 최소 1~2주일은 진행합니다
- 유의성: 차이가 우연으로는 설명하기 어려운지를 가늠하는 기준입니다. p값은 "B가 이기고 있을 확률"이 아니며, "유의하지 않다"는 "차이가 없다"는 뜻이 아닙니다
- 실수 피하기: 중간 결과로 멈추지 않고, 변경은 하나의 가설이 다루는 범위로 한정하며, 주요 지표는 하나만 씁니다
- 트래픽이 적을 때: 큰 변경, 트래픽이 많은 페이지, 앞 단계의 지표에 집중하고, 그래도 부족하면 관찰과 인터뷰로 빈틈을 메웁니다
다음 단계로는 우리 사이트에서 성과와 가장 가깝고 방문자가 많은 페이지 하나를 골라 그 페이지의 문제를 데이터로 확인하는 것부터 시작하기를 권합니다. 히트맵과 웹 분석으로 "문제가 있어 보이는 곳"을 찾고, 사실, 문제, 변경, 지표의 네 가지를 분명히 적은 가설을 하나 써 보세요. 가설이 하나 생기면 필요한 데이터와 기간을 추정해 첫 A/B 테스트를 설계할 수 있습니다.
테스트 한 번으로 숫자가 극적으로 바뀌지는 않을 수도 있습니다. 하지만 검증된 사실을 하나씩 쌓아 가는 것이, 직감에 의존하지 않고 사이트를 개선하는 토대가 됩니다.