A/B testing là gì? Hướng dẫn cho người mới về quy trình 6 bước, ý nghĩa thống kê và cỡ mẫu
- ab-testing
- cro
- how-to
- beginners
Tóm tắt bài viết
- A/B testing là phương pháp chia ngẫu nhiên khách truy cập, hiển thị trang gốc (A) và trang đã thay đổi (B) trong cùng một khoảng thời gian, rồi so sánh bằng con số xem bản nào hiệu quả hơn
- So sánh đơn giản trước và sau khi thay đổi không thể tách tác động của thay đổi khỏi tác động của mùa vụ, quảng cáo, ngày trong tuần, v.v. Chạy cả hai phiên bản cùng lúc chính là cốt lõi của A/B testing
- Quy trình gồm 6 bước: mục tiêu và chỉ số → giả thuyết → tạo phiên bản thử nghiệm → chạy → đánh giá → áp dụng. Hãy xác định cỡ mẫu cần thiết (lượng dữ liệu) và thời gian trước khi bắt đầu
- "Ý nghĩa thống kê" là thước đo để xem chênh lệch có khó giải thích chỉ bằng biến động ngẫu nhiên hay không. Giá trị p không phải là "xác suất B đang thắng"
- Phần lớn thất bại đến từ việc "kiểm tra kết quả liên tục rồi dừng sớm", "thay đổi quá nhiều thứ cùng lúc" và "chạy thử nghiệm quá ngắn"
- Với trang web ít lưu lượng, bạn vẫn có thể có thêm cơ sở để quyết định bằng cách đổi cách tiếp cận, chẳng hạn tập trung vào thay đổi lớn hơn hoặc xem một chỉ số ở giai đoạn sớm hơn
"Biết đâu đổi tiêu đề thì sẽ có thêm người đăng ký?" "Nút bấm nên đặt cao hơn trên trang chăng?" Khi vận hành một trang web, ý tưởng cải thiện cứ liên tục xuất hiện. Nhưng một thay đổi thực sự làm mọi thứ tốt hơn hay tệ hơn thì chỉ biết được khi thử. Và ngay cả khi con số tăng lên sau thay đổi, nhiều khi không thể biết công lao thuộc về thay đổi đó hay chỉ là do tuần ấy bạn tình cờ tăng chi phí quảng cáo.
Khi muốn xác nhận hiệu quả của một thay đổi một cách tách biệt khỏi các yếu tố khác, bạn dùng A/B test.
Bài viết này đi qua ý nghĩa và cách hoạt động của A/B testing, sau đó là các bước thực hiện, cách viết giả thuyết, cần bao nhiêu dữ liệu và thời gian, "chênh lệch có ý nghĩa" thực sự nghĩa là gì, và những lỗi người mới hay mắc nhất. Có đề cập một số kiến thức thống kê, nhưng tôi hạn chế công thức đến mức tối thiểu và đặt việc hiểu ý tưởng lên hàng đầu. Mọi ví dụ tính toán trong bài đều dùng số liệu giả định để minh họa.
A/B testing là gì?
A/B testing là phương pháp hiển thị ngẫu nhiên cho khách truy cập một trong hai phiên bản của trang, rồi so sánh bản nào cho kết quả tốt hơn bằng dữ liệu trong cùng một khoảng thời gian. Phương pháp này đôi khi còn được gọi là "split testing" (thử nghiệm chia tách).
- A (control / phiên bản gốc): trang hiện tại. Đây là mốc để so sánh
- B (variant / phiên bản đã thay đổi): trang có một phần được thay đổi. Đây là ý tưởng bạn muốn thử
Ví dụ, bạn hiển thị phiên bản A cho một nửa khách truy cập và phiên bản B cho nửa còn lại, rồi so sánh tỷ lệ người hoàn tất đăng ký ở mỗi nhóm. Tỷ lệ này gọi là tỷ lệ chuyển đổi (CVR). Chuyển đổi là hành động bạn muốn khách thực hiện trên trang web, chẳng hạn mua hàng, đăng ký hoặc yêu cầu tài liệu.
Tên "A/B testing" xuất phát từ việc so sánh hai phiên bản, nhưng bạn cũng có thể so sánh ba phiên bản trở lên cùng lúc (gọi là A/B/n testing). Ý tưởng vẫn như vậy.
Cách hoạt động: chia ngẫu nhiên và so sánh cùng lúc
Có ba cơ chế giúp một A/B test vận hành.
1. Khách truy cập được phân bổ ngẫu nhiên. Việc khách thấy A hay B do công cụ quyết định bằng số ngẫu nhiên. Không phải do con người chọn, và cũng không theo quy tắc kiểu "buổi sáng A, buổi chiều B". Phân bổ ngẫu nhiên nghĩa là sự khác biệt giữa các khách truy cập, như người mới và người quay lại, điện thoại và máy tính, người đến từ quảng cáo và người đến từ tìm kiếm, sẽ được trộn với tỷ lệ gần như bằng nhau ở cả A và B.
2. Cả hai phiên bản chạy trong cùng một khoảng thời gian. A và B được phục vụ đồng thời. Nhờ vậy, các tác động bên ngoài như đợt giảm giá, mùa vụ, việc được nhắc đến trên TV hay biến động theo ngày trong tuần đều ảnh hưởng đến A và B như nhau.
3. Cùng một người luôn thấy cùng một phiên bản. Nếu một người được phân vào B mà lần truy cập sau lại thấy A, bạn không còn biết phiên bản nào đã ảnh hưởng đến việc họ đăng ký. Vì lý do này, hầu hết công cụ dùng một dấu hiệu lưu trong trình duyệt (như cookie) để liên tục hiển thị cùng một phiên bản cho cùng một khách.
Khi ba điều kiện này được đáp ứng, khác biệt duy nhất giữa A và B là "những gì bạn đã thay đổi trên trang". Đó là lý do khi kết quả khác nhau, bạn dễ quy sự khác biệt đó cho thay đổi hơn. Đây là cùng một ý tưởng với các thử nghiệm đối chứng ngẫu nhiên dùng để kiểm tra tác dụng của thuốc, được áp dụng cho trang web.
Vì sao cần A/B testing: những điều so sánh trước và sau không cho bạn biết
Bạn có thể thắc mắc: "Sao không đổi trang rồi so sánh số liệu trước và sau, mà không cần chia khách truy cập?" Cách này gọi là so sánh trước và sau. Nó dễ làm nhưng có một điểm yếu lớn: bạn không thể tách tác động của thay đổi khỏi các yếu tố khác.
Số liệu trên trang web của bạn biến động hằng ngày ngay cả khi bạn không đổi gì trên trang. Các yếu tố làm chúng biến động gồm:
- Mùa vụ và sự kiện: mùa thưởng, cuối năm tài chính, kỳ nghỉ lễ, thời tiết, v.v.
- Quảng cáo và chiến dịch: tăng hoặc giảm chi phí quảng cáo, thay đổi trang đích quảng cáo, gửi bản tin qua email
- Ngày trong tuần và giờ trong ngày: khách truy cập ngày thường và cuối tuần có thể khác nhau về loại hình và mục đích
- Thay đổi nguồn lưu lượng: biến động thứ hạng tìm kiếm, nội dung lan truyền trên mạng xã hội, lượt giới thiệu từ trang khác
- Đối thủ và thị trường: đối thủ giảm giá, tin tức báo chí
Trong so sánh trước và sau, nếu bất kỳ yếu tố nào trong số này trùng với giai đoạn sau khi thay đổi, bạn không thể biết con số biến động đến từ thay đổi của bạn hay từ thứ khác. Ngay cả khi con số tăng sau thay đổi, vẫn có khả năng bản thân thay đổi thực ra gây hại và việc tăng quảng cáo đã che đi điều đó.
A/B test phục vụ A và B trong cùng một khoảng thời gian, nên các yếu tố này ảnh hưởng đến cả hai như nhau. Sau đó bạn xem phần chênh lệch còn lại, nhờ vậy dễ cô lập tác động của riêng thay đổi hơn.
Một lý do khác là trực giác của người xây dựng trang và phản ứng của khách truy cập thường không khớp nhau. Không hiếm trường hợp một ý tưởng mà mọi người trong nội bộ đều thống nhất là "dễ hiểu hơn" lại không gây được tiếng vang với khách thật. A/B testing cũng là cách để quyết định dựa trên những gì khách truy cập thực sự làm, chứ không dựa vào ai nói to nhất hay ai có chức danh cao nhất.
A/B testing cho biết gì và không cho biết gì
A/B testing rất mạnh, nhưng không cho bạn biết mọi thứ. Biết trước nó giỏi và kém ở đâu sẽ giúp bạn tránh hiểu sai kết quả.
Những gì nó cho bạn biết
- Một thay đổi đã làm tăng, giảm hay gần như không làm đổi chỉ số bạn chọn (như tỷ lệ đăng ký)
- Chênh lệch có đủ lớn để chỉ biến động ngẫu nhiên khó giải thích được hay không
Những gì nó không cho biết hoặc không giỏi
- Vì sao có chênh lệch: lý do chỉ là phỏng đoán. Hãy xem xét cùng với các dữ liệu khác
- Tác động dài hạn: nó chỉ thấy hành vi trong thời gian thử nghiệm. Thường không cho biết về tỷ lệ giữ chân hay tỷ lệ hủy sau vài tháng
- So sánh với các ý tưởng bạn chưa thử: bạn biết A hay B tốt hơn, nhưng không biết có phương án C tốt hơn nữa hay không
- Cải thiện nhỏ trên trang ít lưu lượng: có thể không đủ dữ liệu để kết luận dù có chênh lệch hay không (phần bên dưới về chủ đề này nói về cách xử lý)
Ngoài ra, A/B testing là "công cụ để kiểm tra ý tưởng", không phải "công cụ để nghĩ ra ý tưởng hay". Chất lượng của các ý tưởng bạn thử nghiệm do cách bạn xây dựng giả thuyết quyết định.
Các loại A/B test: khác gì với thử nghiệm đa biến và thử nghiệm chuyển hướng
Ngay trong "A/B testing" cũng có nhiều phương pháp liên quan. Dưới đây là những loại hay gặp nhất.
| Loại | So sánh gì | Phù hợp nhất cho | Lưu ý |
|---|---|---|---|
| A/B test | Các phiên bản ở cùng một URL với một phần được thay đổi | Kiểm tra tác động của một thay đổi đơn lẻ, như tiêu đề, nút bấm hoặc hình ảnh | Dạng cơ bản. Hãy bắt đầu từ đây |
| A/B/n test | Ba phiên bản trở lên | Bạn có nhiều tiêu đề dự tuyển và muốn so sánh cùng lúc | Càng nhiều phiên bản thì dữ liệu cho mỗi phiên bản càng ít và thử nghiệm càng dài |
| Thử nghiệm đa biến (multivariate) | Các tổ hợp của nhiều yếu tố (ví dụ 2 tiêu đề × 2 hình ảnh = 4 tổ hợp) | Bạn muốn biết tổ hợp yếu tố nào hiệu quả nhất | Cần dữ liệu cho mọi tổ hợp. Phù hợp với trang có lưu lượng cao |
| Thử nghiệm chuyển hướng (split URL test) | Các trang có thiết kế khác nhau được xây ở các URL riêng | Bạn muốn so sánh một trang mới có bố cục khác hẳn với trang hiện tại | Việc chuyển hướng có thể làm trang hiển thị chậm đi đôi chút. Cần cân nhắc đến công cụ tìm kiếm |
| A/A test | Hai phiên bản giống hệt nhau | Bạn muốn kiểm tra xem việc chia lưu lượng và đo lường của công cụ có hoạt động đúng không | Thử nghiệm để kiểm tra, không phải để cải thiện |
Thử nghiệm đa biến thay đổi nhiều yếu tố cùng lúc và so sánh kết quả cho từng tổ hợp. Nó thậm chí có thể cho thấy các yếu tố phối hợp tốt đến đâu, kiểu "tiêu đề này kết hợp với hình ảnh này hiệu quả nhất". Tuy nhiên, 3 tiêu đề, 3 hình ảnh và 2 nút bấm tạo ra 18 tổ hợp, và mỗi tổ hợp đều cần đủ dữ liệu. Với trang web có lưu lượng hạn chế, chạy các A/B test nối tiếp nhau thực tế hơn.
Thử nghiệm chuyển hướng đưa một số khách truy cập sang một URL khác rồi so sánh kết quả; còn gọi là split URL test. Nó phù hợp với những thay đổi lớn, như xây dựng lại cấu trúc của chính trang. A/B test thông thường, vốn viết lại các yếu tố ngay tại cùng URL, phù hợp để thử nhanh những thay đổi nhỏ như câu chữ hay màu sắc.
Ngoài web, việc gửi hai phiên bản tiêu đề email hoặc nội dung quảng cáo rồi so sánh phản hồi cũng được gọi là A/B testing. Bài viết này nói về A/B testing cho trang web.
Nên thử nghiệm gì trong A/B test
Có rất nhiều yếu tố bạn có thể thử nghiệm. Dưới đây là những yếu tố tiêu biểu.
- Tiêu đề (thông điệp chính): đổi từ mô tả tính năng sang mô tả kết quả mà khách nhận được. Mục tiêu là truyền đạt "điều này liên quan đến tôi" trong vài giây đầu
- CTA (nút kêu gọi hành động): đổi câu chữ, vị trí, kích thước hoặc màu sắc. Mục tiêu là làm rõ hành động tiếp theo
- Hình ảnh hoặc video chính: so sánh ảnh chụp riêng sản phẩm với ảnh sản phẩm đang được sử dụng. Mục tiêu là truyền đạt giá trị một cách trực quan
- Biểu mẫu: giảm số trường, chia thành nhiều bước, thêm ví dụ nhập liệu. Mục tiêu là giảm công sức và sự do dự
- Cách hiển thị giá: cách bố trí giá theo tháng và theo năm, thứ tự các gói, vị trí hiển thị giá đã gồm thuế. Mục tiêu là giúp việc so sánh và quyết định dễ hơn
- Thông tin tạo niềm tin: thành tích với khách hàng, lời chứng thực, vị trí đặt thông tin bảo đảm và hỗ trợ. Mục tiêu là giảm lo lắng trước khi đăng ký
- Bố cục và thứ tự thông tin: chuyển thông tin quan trọng lên cao hơn, rút ngắn trang dài. Mục tiêu là giúp khách đến với thông tin họ cần sớm hơn
- Điều hướng: đổi số lượng mục menu hoặc câu chữ của chúng. Mục tiêu là giảm bối rối và dẫn khách đến trang họ muốn
CTA là viết tắt của "Call To Action". Đó là nút hoặc liên kết thúc đẩy khách hành động, như "Đăng ký" hoặc "Yêu cầu tài liệu".
Theo nguyên tắc, hãy quyết định điểm bắt đầu dựa trên mức độ gần với kết quả và mức độ được nhìn thấy. Những nơi liên kết trực tiếp với kết quả, như nút đăng ký và biểu mẫu, cùng phần đầu trang mà nhiều khách nhìn thấy, là nơi thay đổi dễ cho thấy tác dụng nhất. Ngược lại, một thay đổi nhỏ gần cuối trang mà hầu hết mọi người không bao giờ cuộn tới thì dù có hiệu quả cũng mất rất lâu mới phát hiện được.
"Màu nút" thường được nêu làm ví dụ về A/B testing, nhưng chỉ đổi màu không nhất thiết tạo ra khác biệt lớn. Điều quan trọng hơn bản thân màu sắc là vấn đề có phải nút bị hòa lẫn vào xung quanh nên không ai để ý hay không. Việc cần thay đổi gì nên được suy ngược từ giả thuyết, phần sẽ được trình bày tiếp theo.
Cách chạy A/B test [6 bước]
Một A/B test được tiến hành theo 6 bước sau. Điều quan trọng là xác định chỉ số, lượng dữ liệu cần thiết, thời gian và tiêu chí đánh giá trước khi bắt đầu chạy.
Đặt mục tiêu và chỉ số
Thu hẹp thứ bạn muốn cải thiện xuống còn một điều, và xác định chỉ số để đo nó. Hãy diễn đạt theo cách đo được bằng con số, như "tăng tỷ lệ hoàn tất yêu cầu tài liệu". Chỉ dùng một chỉ số để đánh giá (chỉ số chính).
Xây dựng giả thuyết
Viết ra "vấn đề nằm ở đâu, bạn sẽ thay đổi gì và thay đổi như thế nào, và vì sao bạn nghĩ nó sẽ cải thiện tình hình". Dựa trên dữ liệu như phân tích web và heatmap sẽ giảm bớt việc đoán mò.
Tạo phiên bản để thử nghiệm
Dựa trên giả thuyết, tạo phiên bản đã thay đổi (B). Để biết được điều gì đã có tác dụng, hãy giới hạn thay đổi trong phạm vi một giả thuyết bao quát. Kiểm tra cách hiển thị trên cả điện thoại và máy tính.
Xác định dữ liệu và thời gian cần thiết, rồi chạy
Ước tính cỡ mẫu cần thiết và thời gian thử nghiệm, quyết định phân bổ lưu lượng, rồi mới bắt đầu. Ngay sau khi bắt đầu, hãy kiểm tra xem việc chia lưu lượng và đo lường có hoạt động đúng không.
Đánh giá sau khi kết thúc thời gian
Chỉ xem kết quả sau khi đã đạt thời gian và lượng dữ liệu đã định trước. Kiểm tra chênh lệch ở chỉ số chính và xem chênh lệch đó có nằm trong phạm vi biến động ngẫu nhiên có thể giải thích hay không.
Áp dụng kết quả và chuyển sang giả thuyết tiếp theo
Chính thức áp dụng phiên bản tốt hơn và dọn dẹp các thiết lập thử nghiệm. Ngay cả khi không có chênh lệch, hãy ghi lại những gì bạn học được và dùng cho giả thuyết tiếp theo.
Các phần sau giải thích chi tiết hơn tư duy đằng sau từng bước.
Cách chọn mục tiêu và chỉ số
Sẽ hữu ích khi sắp xếp các chỉ số theo vai trò của chúng.
- Chỉ số chính: chỉ số quyết định ai thắng trong thử nghiệm. Chỉ chọn một. Ví dụ gồm tỷ lệ hoàn tất mua hàng, tỷ lệ hoàn tất yêu cầu tài liệu và tỷ lệ đăng ký dùng thử miễn phí
- Chỉ số phụ: các chỉ số bạn xem để hiểu chỉ số chính đã biến động như thế nào. Ví dụ là tỷ lệ nhấp vào nút, tỷ lệ bắt đầu điền biểu mẫu và độ sâu cuộn trang
- Chỉ số bảo vệ (guardrail): các chỉ số bạn theo dõi để chắc chắn không có gì xấu đi. Ví dụ là tỷ lệ thoát, tốc độ tải trang, số lượt trả hàng hoặc hủy, và số lượng liên hệ
Lý do chỉ giữ một chỉ số chính là nếu bạn liệt kê nhiều chỉ số và coi là thành công khi bất kỳ chỉ số nào cải thiện, bạn rất dễ chọn trúng một chỉ số trông tốt hơn hoàn toàn do ngẫu nhiên. Đây là vấn đề "so sánh nhiều lần" (multiple comparisons), sẽ được nhắc lại ở phần sau.
Hãy chọn chỉ số chính càng gần với kết quả kinh doanh càng tốt. Có thể xảy ra trường hợp tỷ lệ nhấp vào nút tăng mà số đăng ký không tăng. Câu chữ thu hút nhấp chuột khiến nhiều người bấm nút hơn, nhưng nếu bước tiếp theo không khớp với kỳ vọng của họ thì họ rời đi.
Mặt khác, các chỉ số ít xảy ra, như mua hàng hoặc ký hợp đồng, mất nhiều thời gian hơn để thu thập đủ dữ liệu. Với trang web có lưu lượng hạn chế, một lựa chọn là lấy chỉ số ở giai đoạn sớm hơn (như việc đến được biểu mẫu) làm chỉ số chính. Trong trường hợp đó, điều quan trọng là nhớ tiền đề rằng "dù chỉ số giai đoạn sớm cải thiện thì kết quả cuối cùng cũng không nhất thiết cải thiện".
Cách viết giả thuyết: biến dữ liệu hành vi thành lý do để thay đổi
Thành công của một A/B test phụ thuộc rất nhiều vào chất lượng giả thuyết. Nếu bạn cứ thử ý tưởng mà không có giả thuyết, bạn sẽ có một chuỗi thử nghiệm không cho thấy chênh lệch, và ngay cả khi có thì bạn cũng không thể xây dựng tiếp từ đó.
Viết giả thuyết theo dạng sau sẽ giảm bớt thiếu sót.
"Từ (một sự thật thấy trong dữ liệu), chúng tôi cho rằng (một phỏng đoán về vấn đề). Vì vậy nếu (thực hiện thay đổi này) thì (chỉ số này) sẽ cải thiện."
Ví dụ, giả sử có tình huống sau (giả định).
- Sự thật: trên trang bảng giá, rất ít khách cuộn đủ xa để thấy nút đăng ký
- Phỏng đoán về vấn đề: nút nằm quá thấp, nên ngay cả khách muốn đăng ký cũng không tìm thấy
- Thay đổi: đặt thêm một nút đăng ký ngay bên dưới bảng các gói
- Chỉ số: tỷ lệ hoàn tất đăng ký
Viết như vậy cho phép bạn nhìn lại sau khi có kết quả và tự hỏi liệu "phỏng đoán đã sai, hay thay đổi chưa đủ".
Dữ liệu có thể làm nguồn cho giả thuyết gồm những loại sau.
- Phân tích web: trang nào có nhiều lượt rời đi, nguồn lưu lượng nào có kết quả thấp. Phù hợp để tìm ra "trang" nào có vấn đề
- Heatmap: mọi người đọc xuống tới đâu, nhấp vào đâu, có nhấp vào những thứ không phải liên kết hay không. Phù hợp để tìm ra "vị trí" nào có vấn đề
- Liên hệ và hồ sơ bán hàng hoặc hỗ trợ: khách truy cập đang bối rối và lo lắng về điều gì
- Khảo sát và phỏng vấn người dùng: manh mối về những lý do không hiện ra trong con số
Heatmap là công cụ phủ hành vi của khách truy cập lên trang dưới dạng các vùng màu đậm nhạt khác nhau (xem Heatmap là gì? để biết các loại và cách đọc). Nó giúp bạn tìm ra các điểm có vấn đề trong một trang, như "một nút quan trọng không được nhấp" hoặc "nhiều người dừng đọc giữa chừng". Về cách phân vai, khi bạn tìm vấn đề bằng heatmap và kiểm tra bản sửa bằng A/B test, xem Heatmap và A/B testing: khác biệt và cách dùng từng loại.
Khi có nhiều giả thuyết, hãy xếp hạng chúng theo ba điểm: "quy mô tác động kỳ vọng", "độ mạnh của bằng chứng" và "công sức triển khai". Bắt đầu với những giả thuyết có tác động kỳ vọng cao và công sức thấp sẽ giúp mọi việc tiến triển dễ hơn.
Hiểu về cỡ mẫu
Cỡ mẫu là lượng dữ liệu cần cho thử nghiệm, tức là số khách truy cập đã thấy từng phiên bản. Trong A/B test, bạn ước tính con số này trước khi chạy. Nếu dữ liệu quá ít, bạn sẽ thường xuyên không phát hiện được chênh lệch thực sự tồn tại, và ngay cả khi tình cờ xuất hiện chênh lệch có ý nghĩa thì độ lớn của nó có xu hướng trông lớn hơn thực tế.
Cỡ mẫu cần thiết chủ yếu được quyết định bởi bốn yếu tố sau.
- Tỷ lệ chuyển đổi hiện tại: càng thấp thì càng cần nhiều dữ liệu
- Độ lớn của chênh lệch bạn muốn phát hiện: chênh lệch muốn tìm càng nhỏ thì càng cần nhiều dữ liệu. Chênh lệch nhỏ nhất bạn muốn phát hiện được, nơi bạn chấp nhận bỏ sót mọi thứ nhỏ hơn, gọi là hiệu ứng tối thiểu có thể phát hiện (MDE)
- Mức ý nghĩa: bạn sẵn sàng chấp nhận bao nhiêu phần của sai lầm kết luận "có chênh lệch" trong khi thực tế không có. Thường dùng 5%
- Lực thống kê (statistical power): xác suất tìm thấy chênh lệch khi nó thực sự tồn tại. Thường dùng 80%
Trong số này, yếu tố thứ hai có tác động lớn nhất. Khi chênh lệch bạn muốn tìm giảm đi một nửa, lượng dữ liệu cần thiết tăng khoảng 4 lần.
Dưới đây là một ví dụ tính toán để bạn hình dung sơ bộ. Đây là số khách truy cập cần thiết xấp xỉ cho mỗi phiên bản, với giả định tỷ lệ chuyển đổi hiện tại là 2.0% (tính bằng công thức chuẩn để so sánh hai tỷ lệ, dùng kiểm định hai phía, mức ý nghĩa 5% và lực thống kê 80%).
| Mức cải thiện bạn muốn phát hiện (tương đối) | Tỷ lệ chuyển đổi sau thay đổi | Số khách truy cập cần cho mỗi phiên bản (xấp xỉ) |
|---|---|---|
| +10% | 2.0% → 2.2% | khoảng 80,700 |
| +20% | 2.0% → 2.4% | khoảng 21,100 |
| +30% | 2.0% → 2.6% | khoảng 9,800 |
| +50% | 2.0% → 3.0% | khoảng 3,800 |
Bảng này cho thấy hai điều. Thứ nhất, xác nhận một cải thiện nhỏ cần nhiều dữ liệu hơn bạn tưởng. Để xác nhận mức cải thiện 10% trên một trang có tỷ lệ chuyển đổi 2.0%, bạn cần hơn 160,000 khách truy cập tính gộp cả A và B. Thứ hai, thay đổi nhắm tới mức cải thiện càng lớn thì càng cần ít dữ liệu để đánh giá.
Khi thực sự ước tính, các máy tính tích hợp trong công cụ A/B testing hoặc máy tính cỡ mẫu công khai cho phép bạn có câu trả lời chỉ bằng cách nhập bốn giá trị. Bạn không cần ghi nhớ công thức. Điều quan trọng là trước hết quyết định "tôi muốn tìm chênh lệch lớn đến mức nào", rồi kiểm tra xem lưu lượng của trang bạn có đưa bạn tới đó trong một khoảng thời gian thực tế hay không.
Nếu con số cần thiết bạn ước tính quá lớn, vẫn có những lựa chọn khác ngoài việc từ bỏ thử nghiệm: tập trung vào thay đổi có khả năng tạo ra chênh lệch lớn hơn, chạy thử nghiệm trên trang có lưu lượng cao, hoặc xem một chỉ số ở giai đoạn sớm hơn trong phễu. Phần "Nên làm gì với trang web ít lưu lượng" giải thích cách làm.
Cách quyết định thời gian thử nghiệm
Ước tính thời gian thử nghiệm bằng cách chia cỡ mẫu cần thiết cho số người truy cập trang được thử nghiệm mỗi ngày.
Đây là một ví dụ. Giả sử bảng ở trên cho biết bạn cần "khoảng 21,100 cho mỗi phiên bản". Giả sử trang mục tiêu có 1,000 khách truy cập mỗi ngày, và giả định mọi người đều được đưa vào thử nghiệm và chia đôi giữa A và B, nên mỗi phiên bản nhận 500 mỗi ngày. 21,100 ÷ 500 ra khoảng 42 ngày, tức khoảng 6 tuần.
Khi quyết định thời gian, ngoài lượng dữ liệu, hãy cân nhắc các điểm sau.
Dùng số tuần tròn. Hành vi của khách truy cập thay đổi theo ngày trong tuần. Ngày thường có thể là tìm hiểu cho công việc còn cuối tuần là mua sắm cá nhân, nên loại hình và mục đích của khách có thể khác nhau. Nếu kết thúc chỉ sau bốn ngày, từ thứ Hai đến thứ Năm, phản ứng của khách cuối tuần sẽ bị thiếu. Bắt đầu và kết thúc vào cùng một ngày trong tuần, theo bội số của 7 ngày, giúp tránh thiên lệch theo ngày trong tuần.
Tránh khoảng thời gian quá ngắn. Ngay cả với các trang web có lưu lượng rất cao đạt đủ con số cần thiết trong vài ngày, quy tắc kinh nghiệm phổ biến là chạy ít nhất 1 tuần, lý tưởng là 2 tuần. Ngoài thiên lệch theo ngày trong tuần, phản ứng ngay sau khi thay đổi có thể tốt hơn chỉ vì nó mới (hoặc tệ hơn vì khách quay lại bị bỡ ngỡ).
Cũng tránh khoảng thời gian quá dài. Thử nghiệm chạy càng lâu thì càng có nhiều nhiễu xen vào, như cookie bị xóa khiến cùng một người thấy phiên bản khác, hoặc mùa vụ và điều kiện thị trường thay đổi. Nếu ước tính của bạn ra con số vượt xa 2 tháng, chúng tôi khuyên bạn xem lại thiết kế thử nghiệm (độ lớn của chênh lệch muốn phát hiện, trang mục tiêu và chỉ số).
Tránh các giai đoạn bất thường. Kết quả từ những giai đoạn mà hành vi khách truy cập rất khác bình thường, như đợt giảm giá lớn hay kỳ nghỉ cuối năm, có thể không áp dụng cho các giai đoạn bình thường. Trừ khi bạn muốn kiểm tra một biện pháp đặc thù của giai đoạn đó, tránh chúng sẽ an toàn hơn.
Ý nghĩa thống kê là gì? Giải thích dễ hiểu về giá trị p và mức tin cậy
Khi thử nghiệm kết thúc, bạn nhận được kết quả kiểu "A là 2.0%, B là 2.4%". Điều bạn cần suy nghĩ ở đây là chênh lệch này là thật hay chỉ là ngẫu nhiên.
Ngay cả khi hiển thị đúng cùng một trang cho hai nhóm, tỷ lệ chuyển đổi của chúng gần như không bao giờ khớp hoàn toàn. Giống như tung đồng xu 100 lần không phải lúc nào cũng ra đúng 50 lần mặt ngửa, các con số có biến động ngẫu nhiên. Vì vậy bạn cần một quy trình để kiểm tra "chênh lệch quan sát được có nằm trong phạm vi chỉ biến động ngẫu nhiên cũng giải thích được hay không". Đó là kiểm định giả thuyết thống kê, và thuật ngữ cho kết luận của nó là ý nghĩa thống kê.
Giá trị p là gì?
Trong một kiểm định, trước hết bạn giả định rằng "thực sự không có chênh lệch nào giữa A và B". Sau đó bạn tính xác suất thấy một chênh lệch ít nhất bằng chênh lệch quan sát được, do ngẫu nhiên, nếu thực sự không có chênh lệch. Xác suất này là giá trị p.
- Giá trị p nhỏ → với giả định không có chênh lệch, chênh lệch như thế này hiếm khi xảy ra → giả định không có chênh lệch trông đáng ngờ
- Giá trị p lớn → chênh lệch cỡ này xuất hiện thường xuyên do ngẫu nhiên ngay cả khi không có chênh lệch → bạn không thể nói là có chênh lệch
Mức ý nghĩa và mức tin cậy
Ngưỡng xác định giá trị p phải nhỏ đến đâu thì bạn mới kết luận "có chênh lệch" được gọi là mức ý nghĩa. Theo thông lệ, thường dùng 5% (0.05). Khi giá trị p thấp hơn mức ý nghĩa, ta nói "có chênh lệch có ý nghĩa thống kê".
Trên màn hình của các công cụ A/B testing, bạn thường thấy các hiển thị như "mức tin cậy 95%" hoặc "độ tin cậy 95%". Điều này thường có nghĩa là công cụ đang đánh giá ở mức ý nghĩa 5% (ý nghĩa của hiển thị này khác nhau tùy công cụ, nên hãy kiểm tra tài liệu của công cụ bạn dùng).
Mức ý nghĩa 5% là một thỏa thuận rằng "chúng ta chấp nhận tối đa 5% khả năng tuyên bố có chênh lệch trong khi thực sự không có". Nói cách khác, nếu bạn thử nghiệm 20 thay đổi hoàn toàn không có tác dụng, trung bình sẽ có 1 thay đổi hiện ra là "có ý nghĩa". Chênh lệch có ý nghĩa không phải là bằng chứng chắc chắn; nó là thước đo để giữ khả năng sai sót dưới một mức đã định.
Những hiểu lầm thường gặp về giá trị p
Các hiểu lầm phổ biến khác gồm những điều sau.
- "Không có ý nghĩa" không có nghĩa là "không có chênh lệch": nó bao gồm cả tình huống không đủ dữ liệu để nói chênh lệch có tồn tại hay không
- Chênh lệch có ý nghĩa không nhất thiết có độ lớn đáng kể với doanh nghiệp của bạn: với lượng dữ liệu rất lớn, ngay cả chênh lệch rất nhỏ cũng trở nên có ý nghĩa. Hãy xem cả độ lớn của chênh lệch
- Giá trị p càng nhỏ không có nghĩa là hiệu ứng càng lớn: giá trị p còn phụ thuộc vào lượng dữ liệu
Kiểm tra bằng các ví dụ tính toán
Hãy kiểm tra bằng số liệu giả định. Giả sử mỗi nhóm A và B được phân 10,000 khách truy cập.
- Ví dụ 1: A có 200 lượt chuyển đổi (2.0%) và B có 240 (2.4%). Giá trị p khoảng 0.054, chỉ vừa trên mức ý nghĩa 5%. Dù thấy chênh lệch tương đối 20%, bạn không thể gọi nó là "có ý nghĩa" với lượng dữ liệu này
- Ví dụ 2: A có 200 lượt chuyển đổi (2.0%) và B có 250 (2.5%). Giá trị p khoảng 0.017, thấp hơn mức ý nghĩa 5%
Với cùng các tỷ lệ, kết luận thay đổi nếu có ít dữ liệu hơn. Nếu A và B mỗi bên có 1,000 khách truy cập, với 20 lượt chuyển đổi (2.0%) cho A và 24 (2.4%) cho B, giá trị p khoảng 0.54. Điều đó nghĩa là ngay cả khi không có chênh lệch, một khoảng cách cỡ này vẫn xuất hiện do ngẫu nhiên hơn một nửa số lần.
(Tất cả đều là ví dụ được tính bằng kiểm định hai phía cho chênh lệch giữa hai tỷ lệ. Với các đánh giá thực tế, hãy làm theo phương pháp mà công cụ của bạn dùng.)
Hãy xem cả khoảng tin cậy
Giá trị p dễ biến thành câu hỏi có hoặc không kiểu "có ý nghĩa hay không", nhưng xem khoảng tin cậy sẽ cho bạn cảm nhận về độ lớn của chênh lệch. Khoảng tin cậy là một khoảng mà chênh lệch thực được cho là có khả năng nằm trong đó.
Trong Ví dụ 1 ở trên, chênh lệch tỷ lệ chuyển đổi (B trừ A) là 0.4 điểm phần trăm, và khoảng tin cậy 95% tính ra xấp xỉ từ −0.01 đến +0.81 điểm phần trăm. Vì khoảng này chỉ vừa vặn vắt qua số không, bạn có thể hiểu là "B trông tốt hơn, nhưng chúng ta không thể loại trừ khả năng không có chênh lệch". Khoảng rộng là dấu hiệu cho thấy bạn chưa có đủ dữ liệu.
Một số công cụ hiển thị "xác suất B vượt A"
Một số công cụ hiển thị con số kiểu "xác suất B vượt A" thay vì giá trị p. Giá trị này dựa trên một cách tiếp cận khác gọi là thống kê Bayes, và các giả định cũng như ý nghĩa của nó khác với giá trị p. Không cái nào đơn giản là đúng hay sai; chúng là những trường phái tư duy khác nhau. Điều quan trọng là kiểm tra con số bạn đang xem dùng phương pháp nào và không nhầm lẫn chúng là cùng một loại con số.
Cách đọc kết quả và việc cần làm sau thử nghiệm
Khi thời gian kết thúc, hãy kiểm tra kết quả theo thứ tự sau.
- Việc chia lưu lượng có diễn ra đúng thiết kế không: nếu bạn đặt chia đôi, số khách truy cập của A và B có lệch nhau nhiều không? Nếu mất cân đối lớn, có thể có vấn đề với việc chia hoặc đo lường, và tin ngay vào kết quả là nguy hiểm
- Chênh lệch ở chỉ số chính và ý nghĩa của nó: hướng của chênh lệch, độ lớn, giá trị p và khoảng tin cậy
- Chỉ số bảo vệ: trong khi chỉ số chính cải thiện, các con số quan trọng khác có xấu đi không?
- Chỉ số phụ: manh mối để suy nghĩ về lý do bạn có kết quả này
Kết quả chia thành ba trường hợp chính.
B tốt hơn một cách có ý nghĩa. Chính thức áp dụng B. Hãy tiếp tục theo dõi các con số một thời gian sau khi áp dụng để xác nhận xu hướng như trong thời gian thử nghiệm vẫn tiếp diễn.
B tệ hơn một cách có ý nghĩa. Giữ lại A. Đây không phải thất bại; kết quả là bạn đã chặn một thay đổi xấu trước khi hiển thị cho mọi người. Suy nghĩ vì sao nó tệ hơn sẽ nâng cao độ chính xác của giả thuyết tiếp theo.
Không có chênh lệch có ý nghĩa. Trong A/B testing, đây là một trong những kết quả phổ biến nhất. Trong trường hợp này, hãy tránh "kéo dài thử nghiệm cho đến khi nó có ý nghĩa" sau khi hết thời gian đã lên kế hoạch (phần tiếp theo giải thích lý do). Khi không có chênh lệch, hãy tách bạch xem giả thuyết sai, thay đổi quá nhỏ hay dữ liệu không đủ. Nếu kết quả như nhau dù chọn bên nào, bạn có thể chọn bên dễ vận hành hơn hoặc phù hợp với hướng dẫn thương hiệu.
Xem kết quả được chia theo thiết bị hoặc nguồn lưu lượng (phân tích theo phân khúc) cũng hữu ích, nhưng cần thận trọng. Chia càng nhỏ thì mỗi nhóm càng ít dữ liệu và càng dễ bắt gặp những chênh lệch ngẫu nhiên. An toàn hơn là coi các xu hướng tìm thấy khi chia nhỏ như "giả thuyết cần kiểm tra tiếp", không phải "kết luận".
Cuối cùng, hãy lưu hồ sơ thử nghiệm. Gom giả thuyết, các thay đổi, thời gian, lượng dữ liệu, kết quả và bài học vào một chỗ sẽ tránh lặp lại cùng một thử nghiệm và truyền lại những gì đã học ngay cả khi người phụ trách thay đổi.
Các lỗi thường gặp trong A/B testing và cách tránh
Vì cơ chế của A/B testing đơn giản, làm sai cách có thể cho ra kết luận sai kèm những con số trông có vẻ đáng tin. Dưới đây là các lỗi điển hình.
| Lỗi thường gặp | Vấn đề là gì | Cách khắc phục |
|---|---|---|
| Kiểm tra kết quả liên tục và dừng ngay khi nó trở nên có ý nghĩa | Sai lầm gọi một chênh lệch ngẫu nhiên là "có ý nghĩa" xảy ra thường xuyên hơn mức ý nghĩa bạn đã đặt | Xác định trước dữ liệu và thời gian cần thiết, rồi đánh giá sau khi đạt được chúng |
| Thay đổi nhiều yếu tố cùng lúc | Dù có chênh lệch, bạn không biết cái gì đã có tác dụng | Giới hạn thay đổi trong phạm vi một giả thuyết bao quát |
| Thời gian thử nghiệm ngắn | Kết quả bị chi phối bởi thiên lệch ngày trong tuần và phản ứng tạm thời ngay sau thay đổi | Chạy theo bội số của 7 ngày, ít nhất 1 đến 2 tuần |
| Đánh giá khi lưu lượng thấp | Biến động ngẫu nhiên lớn và kết luận không ổn định | Ước tính trước con số cần thiết, và suy nghĩ lại thiết kế nếu không đủ |
| Thiên lệch theo ngày trong tuần hoặc mùa vụ | Kết quả chỉ từ ngày thường hoặc chỉ từ giai đoạn giảm giá không áp dụng cho thời điểm bình thường | Bắt đầu và kết thúc vào cùng một ngày trong tuần và tránh các giai đoạn bất thường |
| Liệt kê nhiều chỉ số và nhiều phiên bản, rồi chỉ chọn cái tốt | Càng so sánh nhiều thì càng dễ có thứ trông tốt do ngẫu nhiên | Chọn một chỉ số chính và hạn chế số phiên bản |
| Thử nghiệm không có giả thuyết | Dù có kết quả, không còn bài học nào để xây dựng tiếp | Viết ra sự thật, vấn đề, thay đổi và chỉ số trước khi bắt đầu |
| Đổi thiết lập hoặc phiên bản giữa chừng | Tính chất của dữ liệu thay đổi trước và sau nên không thể so sánh | Nếu muốn thay đổi, hãy dừng và bắt đầu lại như một thử nghiệm mới |
Lỗi cần đặc biệt cẩn thận là lỗi đầu tiên, vấn đề "nhìn trộm" (peeking). Kiểm tra tiến độ giữa chừng của thử nghiệm gần như mỗi ngày tự nó là việc cần thiết để phát hiện sớm vấn đề. Vấn đề là dừng thử nghiệm và tuyên bố thắng ngay khoảnh khắc kết quả giữa chừng cho thấy chênh lệch có ý nghĩa.
Giá trị p dao động lên xuống khi dữ liệu tích lũy. Ngay cả khi thực sự không có chênh lệch, nếu bạn kiểm tra nhiều lần, đến một lúc nào đó nó có thể tình cờ rơi xuống dưới mức ý nghĩa. Nếu bạn dừng đúng lúc đó, "sai lầm tuyên bố có chênh lệch khi không có" sẽ xảy ra thường xuyên hơn mức 5% bạn đã dự tính. Quy tắc chờ đến khi đạt lượng dữ liệu và thời gian đã định trước rồi mới đánh giá tồn tại để ngăn sai lầm này.
Một số công cụ còn có phương pháp đánh giá được thiết kế để sai sót không tăng lên ngay cả khi bạn đánh giá giữa chừng (như cái gọi là kiểm định tuần tự, sequential testing). Trong trường hợp đó, hãy làm theo quy trình mà công cụ đưa ra.
Cũng xin lưu ý về "thay đổi nhiều thứ cùng lúc". Ngay cả khi một B thay đổi đồng thời tiêu đề, hình ảnh và nút bấm giành chiến thắng, bạn sẽ không biết cái nào đã có tác dụng. Có thể tiêu đề tốt nhưng hình ảnh kéo kết quả xuống. Tuy nhiên, nếu mục tiêu của bạn là so sánh một trang được xây dựng lại hoàn toàn với trang hiện tại, việc thay đổi cùng nhau là hợp lý. Trong trường hợp đó, hãy chấp nhận rằng "bạn sẽ không biết yếu tố nào đã có tác dụng", và so sánh chúng bằng cách như thử nghiệm chuyển hướng.
Cách hiểu về phân bổ lưu lượng và tỷ lệ chia A/B
Hai thiết lập "phần trăm" xuất hiện khi bạn cấu hình một A/B test. Chúng dễ nhầm lẫn, nên hãy hiểu riêng từng cái.
- Phân bổ lưu lượng (tỷ lệ khách truy cập được đưa vào thử nghiệm): bao nhiêu phần trăm tổng số khách truy cập được đưa vào thử nghiệm. Khách nằm ngoài thử nghiệm đơn giản là thấy trang gốc
- Tỷ lệ chia A/B: khách được đưa vào thử nghiệm được chia giữa A và B theo tỷ lệ nào
Ví dụ, nếu bạn đặt phân bổ lưu lượng là 20% và tỷ lệ chia A/B là chia đôi, thì 80% tổng số khách truy cập nằm ngoài thử nghiệm và thấy trang gốc, 10% nằm trong thử nghiệm và thấy A, còn 10% thấy B.
Chia đôi A/B là mặc định. Với cùng số khách truy cập, chia đều thu thập được dữ liệu cần thiết nhanh nhất. Bạn cũng có thể cho B một phần nhỏ hơn, nhưng bạn phải đợi bên nhỏ hơn thu thập đủ dữ liệu nên thời gian sẽ dài hơn.
Chọn phân bổ lưu lượng bằng cách cân bằng giữa rủi ro và thời gian. Giảm phân bổ lưu lượng làm giảm số khách bị ảnh hưởng nếu thay đổi phản tác dụng. Đổi lại, có ít khách hơn trong thử nghiệm nên cần lâu hơn để thu thập dữ liệu cần thiết. Cách tiếp cận phổ biến là bắt đầu một thay đổi lớn với tác động khó đoán ở phân bổ lưu lượng thấp, xác nhận không có vấn đề, rồi mở rộng nếu mọi thứ ổn. Với thay đổi ít tác động, như đổi một số câu chữ, đưa mọi người vào ngay từ đầu và rút ngắn thời gian sẽ hợp lý hơn.
Sự khác biệt giữa hai tỷ lệ phần trăm này được giải thích trong Phân bổ lưu lượng và tỷ lệ chia A/B trong A/B testing, còn tư duy thiết kế được trình bày trong Vì sao phân bổ lưu lượng và tỷ lệ chia A/B nên là hai thiết lập riêng.
A/B testing và SEO: hạn chế tác động lên tìm kiếm
Một nỗi lo phổ biến là liệu "A/B testing có làm hại thứ hạng tìm kiếm của tôi không". Google công bố hướng dẫn về cách chạy thử nghiệm mà vẫn hạn chế tác động lên tìm kiếm, trong tài liệu Google Search Central. Các điểm chính như sau.
- Không cloaking: cố ý hiển thị nội dung khác nhau cho trình thu thập thông tin của công cụ tìm kiếm (chương trình truy cập và đọc các trang) và cho khách truy cập là con người được gọi là cloaking, và vi phạm chính sách chống spam. Điều này đúng dù có đang chạy thử nghiệm hay không. Hãy tránh mọi thiết lập chỉ hiển thị một phiên bản nhất định cho trình thu thập thông tin
- Dùng rel="canonical" cho thử nghiệm ở các URL riêng: khi thử nghiệm trên nhiều URL, như trong thử nghiệm chuyển hướng, hãy thêm rel="canonical" (thẻ cho công cụ tìm kiếm biết URL ưu tiên) vào các URL thử nghiệm để chỉ ra rằng URL gốc là trang cần ưu tiên. Với mục đích này, Google khuyến nghị rel="canonical" hơn là noindex
- Dùng chuyển hướng tạm thời (302) khi chuyển hướng: khi chuyển hướng từ URL gốc sang URL thử nghiệm, hãy dùng 302, mã báo hiệu chuyển hướng tạm thời, chứ không dùng 301, mã báo hiệu chuyển hướng vĩnh viễn. Chuyển hướng bằng JavaScript cũng được cho là ổn
- Chỉ chạy thử nghiệm trong thời gian cần thiết: khi đã thu thập đủ dữ liệu, hãy kết thúc thử nghiệm và gỡ các URL thử nghiệm, script, v.v. càng sớm càng tốt. Google giải thích rằng chạy thử nghiệm lâu hơn mức cần thiết có thể bị hiểu là nỗ lực đánh lừa công cụ tìm kiếm
Nói cách khác, không để thử nghiệm chạy mãi quan trọng không chỉ về mặt thống kê mà còn về mặt tìm kiếm. Hãy hoàn tất toàn bộ quy trình: dọn dẹp các thử nghiệm đã xong và áp dụng phiên bản đã chọn lên chính trang web.
Lưu ý rằng nội dung giới thiệu ở đây là tổng quan về hướng dẫn mà Google đã công bố. Tác động lên thứ hạng tìm kiếm khác nhau tùy từng trang web, nên trước khi chạy thử nghiệm liên quan đến thay đổi lớn, chúng tôi khuyên bạn kiểm tra thêm tài liệu gốc và tài liệu của công cụ bạn dùng.
Nên làm gì với trang web ít lưu lượng
Như đã thấy trong phần về cỡ mẫu, A/B testing cần một lượng dữ liệu khá lớn. Vậy A/B testing có vô nghĩa với những trang web chỉ có vài nghìn lượt truy cập mỗi tháng không? Không nhất thiết. Đổi cách tiếp cận có thể cho bạn thêm cơ sở để quyết định.
Thử nghiệm những thay đổi lớn. Chênh lệch bạn muốn tìm càng lớn thì càng cần ít dữ liệu. Thay vì những thay đổi nhỏ như chỉnh câu chữ nút bấm, hãy tập trung vào những thay đổi có thể tạo ra chênh lệch lớn: đổi điểm hấp dẫn cốt lõi, sắp xếp lại cấu trúc trang hoặc cắt giảm mạnh các trường biểu mẫu.
Chạy thử nghiệm trên các trang có lưu lượng cao. Dù toàn trang web ít lưu lượng, vẫn sẽ có những trang nơi khách tập trung. Hãy chọn những nơi có nhiều khách truy cập nhất, như trang chủ hoặc các trang nhận lưu lượng từ quảng cáo.
Dùng chỉ số ở giai đoạn sớm hơn. Mua hàng và hợp đồng thì ít, nên phát hiện chênh lệch mất thời gian. Lấy một hành động ở giai đoạn sớm hơn và xảy ra thường xuyên hơn làm chỉ số chính, như "đến được biểu mẫu" hoặc "vào trang bảng giá", sẽ giữ lượng dữ liệu cần thiết ở mức thấp. Chỉ cần nhớ rằng cải thiện ở một chỉ số sớm hơn không nhất thiết dẫn đến cải thiện ở kết quả cuối cùng.
Giới hạn ở hai phiên bản. Thêm phiên bản thứ ba và thứ tư sẽ làm giảm dữ liệu cho mỗi phiên bản. Khi lưu lượng còn thấp, chỉ so sánh A và B.
Đặt phân bổ lưu lượng là 100% và tỷ lệ chia A/B là chia đôi. Thu hẹp đối tượng hoặc dùng cách chia không đều sẽ làm thời gian dài hơn.
Cho phép thời gian dài hơn, và chấp nhận giới hạn nếu vẫn chưa đủ. Nếu bạn không đạt được con số cần thiết ngay cả khi dành khoảng 4 đến 8 tuần, bạn cũng cần quyết định không khăng khăng giải quyết bằng A/B test.
Khi A/B testing không phù hợp, các phương pháp khác có thể giúp ích.
- Quan sát hành vi bằng heatmap: ngay cả khi ít lưu lượng, bạn vẫn có thể cảm nhận được "mọi người không đọc ở đâu" và "không nhấp vào đâu"
- Hỏi trực tiếp người dùng: chỉ cần để vài người dùng thử màn hình trong khi bạn quan sát họ vướng ở đâu cũng phát hiện ra nhiều vấn đề
- Sửa các vấn đề rõ ràng mà không cần thử nghiệm: liên kết hỏng, chữ khó đọc, nút không hoạt động và những thứ tương tự, mà khó hình dung việc sửa chúng lại làm mọi thứ tệ hơn, thì không cần chờ kiểm chứng
Các loại công cụ A/B testing và cách chọn
Để chạy A/B test, bạn cần một công cụ đảm nhiệm việc chia lưu lượng, chuyển đổi nội dung hiển thị, đo lường và báo cáo. Xét về cách hoạt động, có hai loại chính.
Phía máy khách (client-side)
- Cách hoạt động: bạn thêm một thẻ (đoạn mã ngắn để đo lường) vào trang, và một phần của trang được viết lại ngay trong trình duyệt của khách truy cập
- Người phụ trách chính: nhân viên marketing và nhân viên web. Nhiều công cụ cho phép tạo thay đổi bằng thao tác trên màn hình
- Phù hợp với: các thay đổi về hình thức như câu chữ, hình ảnh, màu sắc và bố cục
- Cần lưu ý: có thể xảy ra "nháy hình" (flicker), khi hiển thị gốc hiện ra trong chốc lát trước khi được viết lại
Phía máy chủ (server-side)
- Cách hoạt động: mã phía máy chủ chuyển đổi nội dung hiển thị cho từng khách truy cập
- Người phụ trách chính: kỹ sư. Cần thay đổi mã
- Phù hợp với: các thay đổi liên quan đến xử lý phía back-end, như tính giá, cách tìm kiếm hoặc đặt hàng hoạt động, và các tính năng của ứng dụng
- Cần lưu ý: việc thiết lập và vận hành đòi hỏi công sức phát triển
Với mục đích mà bài viết này giả định, thử nghiệm tiêu đề và nút bấm trên các trang web, các công cụ phía máy khách là ứng viên đầu tiên.
Khi chọn công cụ, hãy kiểm tra các điểm sau.
- Bạn có thể tạo thay đổi bằng thao tác trên màn hình hay cần viết mã
- Nó dùng phương pháp thống kê nào để đánh giá và hiển thị kết quả ra sao
- Bạn có thể đặt phân bổ lưu lượng và tỷ lệ chia A/B riêng biệt không
- Nó có hỗ trợ thử nghiệm chuyển hướng không
- Mức giá tăng theo yếu tố nào (số khách truy cập, số sự kiện được theo dõi, số người dùng, v.v.)
- Bạn có thể xem cùng với dữ liệu dùng để xây dựng giả thuyết, như heatmap, không
Sự kết thúc của Google Optimize
Google Optimize, công cụ A/B testing miễn phí từng được dùng rộng rãi, đã ngừng hoạt động vào tháng 9 năm 2023. Các trang web từng dùng Google Optimize đã phải chuyển sang công cụ khác.
Ngày nay có nhiều lựa chọn khác nhau: các công cụ A/B testing chuyên dụng như Optimizely, VWO và AB Tasty; các công cụ kết hợp heatmap và A/B testing, như Ptengine và SiTest có trụ sở tại Nhật Bản; và các nền tảng thử nghiệm dành cho lập trình viên. Tính năng và ngân sách bạn cần khác nhau rất nhiều theo quy mô trang web, nên điều quan trọng là chọn thứ phù hợp với nhu cầu của chính bạn. Về sự khác biệt về khoảng giá và cách tiếp cận giữa các công cụ lớn, xem Toàn cảnh công cụ A/B testing 2026.
Kết hợp heatmap và web engagement để liên tục cải thiện
A/B testing mang lại nhiều giá trị hơn khi kết hợp với các công cụ khác so với khi dùng riêng lẻ.
Quy trình cải thiện là một vòng lặp "tìm → tạo bản sửa → kiểm chứng".
- Tìm: dùng phân tích web để xác định các trang có vấn đề, và heatmap để chỉ ra chính xác các điểm có vấn đề trong trang
- Tạo bản sửa: xây dựng giả thuyết từ vấn đề bạn tìm thấy và tạo ra thay đổi
- Kiểm chứng: dùng A/B test để kiểm tra xem thay đổi có thực sự cải thiện kết quả không
- Áp dụng và tiếp tục: áp dụng phiên bản tốt hơn, và quan sát lại trang đã thay đổi bằng heatmap
Xem heatmap sau khi có kết quả A/B test cũng hữu ích. Khi B thắng, việc kiểm tra hành vi khách truy cập đã thay đổi thế nào (mọi người có đọc xa hơn không, những chỗ họ nhấp có dịch chuyển không) cho bạn manh mối về "vì sao nó tốt hơn" và dẫn đến giả thuyết tiếp theo.
Tư duy A/B testing cũng áp dụng nguyên vẹn cho các biện pháp web engagement, nơi thay vì thay đổi chính trang, bạn hiển thị hướng dẫn trong popup hoặc thanh cố định. Dù bạn đang so sánh hiển thị với không hiển thị, câu chữ hay thời điểm hiển thị, nguyên tắc vẫn như nhau: chia khách truy cập ngẫu nhiên và so sánh trong cùng một khoảng thời gian. Những điều cơ bản về web engagement được giải thích trong Web engagement là gì?.
Về HeatMapX
HeatMapX là công cụ cho phép bạn đo heatmap bằng cách thêm một thẻ vào trang web, và bạn có thể bắt đầu với gói Free miễn phí (xem trang bảng giá để biết chi tiết các gói). Tính năng A/B testing đang được triển khai theo từng giai đoạn. Hãy bắt đầu bằng việc dùng heatmap để hiểu trang web của bạn đang được nhìn nhận ra sao, và chuẩn bị sẵn giả thuyết về nơi cần thử nghiệm sẽ giúp bạn hành động nhanh khi bắt đầu A/B testing.
Nếu bạn muốn so sánh các công cụ heatmap với những sản phẩm khác trước khi chọn, hãy xem thêm So sánh các công cụ heatmap.
Câu hỏi thường gặp về A/B testing
A/B testing là gì, nói đơn giản?
Đây là phương pháp hiển thị ngẫu nhiên cho khách truy cập hai phiên bản của một trang trong cùng một khoảng thời gian và so sánh bằng con số xem bản nào hiệu quả hơn. Khác với việc so sánh trước và sau khi thay đổi, nó cho phép bạn kiểm tra tác động của thay đổi một cách tách biệt khỏi các yếu tố khác như mùa vụ và quảng cáo.
A/B test nên chạy trong bao lâu?
Hãy ước tính bằng cách chia cỡ mẫu cần thiết cho số khách truy cập mỗi ngày. Để tránh thiên lệch theo ngày trong tuần, hãy dùng bội số của 7 ngày; quy tắc kinh nghiệm phổ biến là chạy ít nhất 1 đến 2 tuần. Ngay cả khi một trang web có lưu lượng cao đạt con số cần thiết trong vài ngày, chúng tôi khuyên bạn tiếp tục trong một tuần. Ngược lại, nếu ước tính vượt xa 2 tháng, hãy xem lại thiết kế.
Cần bao nhiêu lưu lượng để chạy A/B test?
Không có một tiêu chuẩn duy nhất. Nó phụ thuộc vào tỷ lệ chuyển đổi hiện tại của bạn và độ lớn của chênh lệch bạn muốn phát hiện. Trong ví dụ tính toán của bài viết này, để xác nhận mức cải thiện tương đối 20% trên một trang có tỷ lệ chuyển đổi 2.0% cần khoảng 21,100 khách truy cập cho mỗi phiên bản. Nếu lưu lượng của bạn thấp, bạn có thể giảm con số cần thiết bằng cách tập trung vào những thay đổi lớn hơn hoặc dùng chỉ số ở giai đoạn sớm hơn.
Nếu không có chênh lệch có ý nghĩa thì nên làm gì?
Hãy tránh kéo dài thử nghiệm cho đến khi nó có ý nghĩa sau thời gian đã lên kế hoạch. Hãy ghi lại rằng "thay đổi này không cho thấy chênh lệch ở mức chúng tôi muốn phát hiện", và xem lại xem giả thuyết sai hay thay đổi quá nhỏ. Nếu kết quả như nhau dù chọn bên nào, bạn có thể chọn bên dễ vận hành hơn. Không có chênh lệch có ý nghĩa không phải là thất bại; đó là một loại kết quả.
Nếu giá trị p dưới 0.05 thì có thể nói B tốt hơn không?
Không. Giá trị p là "xác suất thấy một chênh lệch ít nhất lớn như chênh lệch quan sát được, do ngẫu nhiên, nếu thực sự không có chênh lệch", chứ không phải "xác suất B tốt hơn". Khi đánh giá ở mức ý nghĩa 5%, cứ khoảng 1 trong 20 thay đổi không có tác dụng vẫn sẽ cho thấy chênh lệch có ý nghĩa. Hãy kiểm tra thêm độ lớn của chênh lệch, khoảng tin cậy và các chỉ số bảo vệ, và với những thay đổi quan trọng, hãy tiếp tục theo dõi các con số sau khi áp dụng.
A/B testing có làm hại SEO không?
Google công bố hướng dẫn cho biết tác động lên tìm kiếm có thể được hạn chế nếu bạn làm theo. Bốn điểm chính là: không hiển thị nội dung khác nhau cho trình thu thập thông tin và cho con người, thêm rel="canonical" trong các thử nghiệm ở URL riêng, dùng 302 cho chuyển hướng, và kết thúc thử nghiệm rồi dọn dẹp thiết lập khi đã qua khoảng thời gian cần thiết. Để biết chi tiết, xem phần "A/B testing và SEO" ở trên.
Tóm tắt: hãy bắt đầu từ một giả thuyết
A/B testing là phương pháp chia ngẫu nhiên khách truy cập và so sánh họ trong cùng một khoảng thời gian, để bạn có thể xác nhận tác động của một thay đổi một cách tách biệt khỏi các yếu tố khác. Dưới đây là các điểm chính của bài viết.
- Cách hoạt động: phân bổ khách truy cập ngẫu nhiên, phục vụ cả hai phiên bản trong cùng một khoảng thời gian, và luôn hiển thị cùng một phiên bản cho cùng một người. Điều này thu hẹp nguyên nhân của mọi chênh lệch về "những gì bạn đã thay đổi"
- Cách tiến hành: 6 bước gồm mục tiêu và chỉ số → giả thuyết → tạo phiên bản thử nghiệm → chạy → đánh giá → áp dụng. Xác định chỉ số, lượng dữ liệu, thời gian và tiêu chí đánh giá trước khi chạy
- Dữ liệu và thời gian: chênh lệch bạn muốn xác nhận càng nhỏ thì càng cần nhiều dữ liệu. Dùng bội số của 7 ngày, ít nhất 1 đến 2 tuần
- Ý nghĩa: thước đo xem chênh lệch có khó giải thích bằng ngẫu nhiên hay không. Giá trị p không phải là "xác suất B đang thắng", và "không có ý nghĩa" không có nghĩa là "không có chênh lệch"
- Tránh sai lầm: không dừng dựa trên kết quả giữa chừng, giới hạn thay đổi trong phạm vi một giả thuyết bao quát và dùng một chỉ số chính
- Khi lưu lượng thấp: tập trung vào thay đổi lớn, trang có lưu lượng cao và chỉ số ở giai đoạn sớm hơn, và bù đắp khoảng trống bằng quan sát và phỏng vấn nếu như vậy vẫn chưa đủ
Bước tiếp theo, chúng tôi khuyên bạn chọn một trang trên website của bạn gần với kết quả nhất và có nhiều khách truy cập, và bắt đầu bằng việc kiểm tra các vấn đề của trang đó bằng dữ liệu. Dùng heatmap và phân tích web để tìm ra "nơi có vẻ có vấn đề", rồi viết một giả thuyết nêu rõ bốn điểm: sự thật, vấn đề, thay đổi và chỉ số. Với một giả thuyết trong tay, bạn có thể ước tính dữ liệu và thời gian cần thiết rồi thiết kế A/B test đầu tiên của mình.
Một thử nghiệm đơn lẻ sẽ không nhất thiết làm con số của bạn thay đổi đột ngột. Nhưng tích lũy từng sự thật đã được kiểm chứng là nền tảng để cải thiện một trang web mà không dựa vào linh cảm.