
Kiểm thử a/b theo Bayesian cho SEO có thể giúp bạn khám phá các yếu tố tạo nên sự thay đổi, nhưng trước tiên bạn cần học cách thiết lập một thử nghiệm tốt.
Hai tuần trước, khi tôi viết về tư duy Bayes trong Tăng trưởng, tôi đã mắc một lỗi nghiêm trọng: quá lý thuyết mà thiếu tính ứng dụng thực tiễn. Các mô hình giúp bạn hiểu và áp dụng đúng phương pháp cho đúng vấn đề, nhưng khi quá thiên về lý thuyết, chúng trở nên trừu tượng và khó áp dụng. Hãy để tôi sửa sai bằng cách cung cấp cho bạn hướng dẫn thực tế hơn nhé.
Ý tưởng chính đằng sau thử nghiệm Bayes
Tóm tắt nhanh, điểm đột phá của thử nghiệm Bayes, so với thử nghiệm kiểu Tần Suất (Frequentist), là sử dụng thông tin bạn đã có để thử nghiệm chính xác hơn. Hãy tưởng tượng bạn đang cố ném bóng vào rổ từ phía sau lưng. Người theo trường phái Tần Suất sẽ nghĩ: “Nếu tôi ném bóng với góc X, xác suất ném vào rổ là Y.” Người theo tư duy Bayes lại nghĩ: “Dựa trên những lần ném trước đây, góc ném của tôi có lẽ phải nằm trong khoảng từ Y đến Z để trúng rổ.” Tần Suất nhìn nhận các thử nghiệm theo cách biệt lập, còn Bayes sẽ xét cả bối cảnh xung quanh.
Công thức của Định lý Bayes:
P(B∣A)=P(A∣B)×P(B)P(A)P(B|A) = \frac{P(A|B) \times P(B)}{P(A)}P(B∣A)=P(A)P(A∣B)×P(B)
Bạn muốn tìm xác suất của A (bóng vào rổ) dựa trên xác suất của B (các lần ném trước trúng rổ). Nó tương đương với xác suất của B dựa trên A (góc ném khiến bóng vào rổ), nhân với xác suất của A (bóng sẽ vào rổ), rồi chia cho xác suất của B (những lần ném trước vào rổ).
Con người chúng ta thường làm điều này một cách trực giác: thu thập bằng chứng mới để tiếp tục điều chỉnh sao cho càng gần “sự thật” càng tốt. Nhưng thay vì định nghĩa một con số chính xác, chúng ta suy nghĩ theo khoảng giá trị. Thử nghiệm Bayes cũng vậy: nó tìm kiếm phân phối xác suất (probability distribution).
Thử nghiệm A/B kiểu Tần Suất cố gắng bác bỏ giả thuyết “null” – kết quả hiện tại (của tiêu đề hay CTA) – sai. Nói cách khác, bạn cố gắng tìm một “treatment” (thay đổi) hoạt động tốt hơn cái bạn đang có. Điều này cũng đồng nghĩa là bạn chỉ tìm một con số duy nhất.
Thử nghiệm A/B kiểu Bayes cho SEO
Thử nghiệm A/B trong SEO là thử nghiệm dạng giả định vì bạn chỉ có một mẫu: Google. Thiếu tính ngẫu nhiên, nên nó không phải là “thử nghiệm thống kê thực sự”. Nhưng không sao cả. Thay vì ngẫu nhiên hóa người dùng, ta ngẫu nhiên hóa treatment (cách thay đổi) và sử dụng một nhóm người dùng duy nhất.
Bạn có thể thực hiện thử nghiệm giả định A/B bằng bảng tính Excel, Python, R hoặc sử dụng các công cụ của bên thứ ba như Clickflow, Metaclickpro, SplitSignal hay SEOtesting. Tuy nhiên, đối với thử nghiệm Bayes trong SEO, chúng ta cần tiến hành một loại thử nghiệm gọi là “diff in diff” (difference in difference), so sánh sự thay đổi giữa nhóm kiểm soát và nhóm thử nghiệm theo thời gian. Hai công cụ có thể thực hiện việc này là Searchpilot (tôi đã trò chuyện với Will Critchlow về chủ đề này trên podcast Tech Bound) và SplitSignal.
Hãy cùng đi qua một ví dụ minh họa.
- Xây dựng giả thuyết
Giả sử, bạn nghĩ rằng việc thêm tên thương hiệu hai lần vào tiêu đề sẽ giúp tăng lượng truy cập tự nhiên (chỉ là ví dụ giả định). - Chọn “prior”
Bạn cần một dữ liệu ban đầu (prior) để làm cơ sở, có thể từ một thử nghiệm trước đó bạn đã thực hiện hoặc từ thử nghiệm của người khác. Ví dụ, thử nghiệm “brand-in-title” của Searchpilot cho thấy việc thêm tên thương hiệu vào tiêu đề giúp tăng 15% lưu lượng truy cập tự nhiên.
Lập luận sẽ là: “Tôi biết rằng thêm tên thương hiệu vào tiêu đề có khả năng giúp tăng 15%, vì vậy thêm nó hai lần có thể tăng ít nhất là 15%, nhưng có lẽ không đến 100%.” Trong ví dụ này, tôi tự đưa ra khoảng giá trị, nhưng trong một thử nghiệm thực tế, bạn sẽ phải tính toán. - Chọn URL để thử nghiệm và xác định nhóm kiểm soát
Để thử nghiệm “diff-in-diff” có hiệu lực, bạn cần chọn một nhóm kiểm soát có mối tương quan mạnh về lưu lượng truy cập với nhóm thử nghiệm. - Chạy thử nghiệm trong khoảng thời gian đã tính toán
(Bạn có thể sử dụng các công cụ tính thời gian như calculator này). - Đảo ngược treatment
Sau khi thử nghiệm xong, bạn cần quay lại trạng thái ban đầu để xem liệu lưu lượng truy cập có trở lại mức cơ bản hay không và kiểm chứng giả thuyết. Nếu không, bạn sẽ gặp vấn đề vì treatment không phải là nguyên nhân dẫn đến sự thay đổi. Đây là bước thường bị quên nhất trong thử nghiệm SEO. - Đánh giá tác động biên của lưu lượng truy cập tự nhiên
Nhìn vào mức tăng trưởng của các URL được thử nghiệm và tính toán mức độ tăng trưởng (sử dụng công cụ như calculator này). Đây là lúc bạn xác định liệu treatment có mang lại mức tăng trưởng đáng kể hay không và mức tăng trưởng đó lớn đến đâu.
Lấy thông số thử nghiệm đúng là một trong những phần khó nhất của quá trình
Và thế là xong! Bạn có thể tiếp tục thử nghiệm dựa trên bằng chứng mới để tiến gần hơn đến tác động thực sự. Ví dụ, nếu thử nghiệm cho thấy CTR tăng trưởng thấp hơn 15%, bạn biết rằng con số thật sự nằm trong khoảng bạn tìm được và 15%.
Đó là phác thảo cơ bản của thử nghiệm. Để tìm hiểu chi tiết hơn về các kỹ thuật, bạn có thể xem phần tài liệu chuyên sâu.
Thử nghiệm có tác động càng cao thì kết quả càng nhanh
Thách thức trong thử nghiệm là kích thước mẫu. Nếu bạn thử nghiệm trên một trang có 1.000 lượt truy cập mỗi tuần và tỷ lệ chuyển đổi 1% với hai biến thể, mỗi biến thể nhận 500 lượt truy cập, bạn cần chạy thử nghiệm trong 6 tuần để phát hiện sự thay đổi với độ tin cậy 72%. Nói cách khác, bạn cần nhiều thời gian và lưu lượng truy cập để thử nghiệm những yếu tố có tác động thấp. Đó là lý do tôi khuyến nghị nên thử nghiệm các yếu tố có tác động lớn như tiêu đề hoặc rich snippets để thấy kết quả nhanh và tiếp tục thử nghiệm từ đó.