A/B 테스트
A/B 테스트는 대상을 두 집단에 무작위로 나눠 A안과 B안의 결과를 비교하는 실험입니다. 한 요소만 바꾸면 차이의 원인을 해석하기 쉽지만, 실험에 따라 여러 요소가 묶인 두 경험을 비교하기도 합니다.
가설, 주요 지표, 대상, 종료 기준을 시작 전에 정합니다. 광고 소재뿐 아니라 제목, 랜딩 구성, 가입 흐름에도 적용할 수 있습니다.
실험 전에 성공 기준을 적습니다
A/B 테스트를 시작하기 전에 어떤 변화가 왜 도움이 될 것인가라는 가설을 적습니다. 예를 들어 가격표를 첫 화면에 올리면 상담 전 필요한 정보를 더 빨리 찾게 될 것이라고 생각했다면 주요 지표는 단순 스크롤이 아니라 유효 상담이나 구매일 수 있습니다.
두 대안을 무작위로 나누지 않거나 서로 다른 요일에만 보여 주면 날씨, 프로모션, 수요 변화가 영향을 줄 수 있습니다. 실험 도중 여러 지표 중 좋아 보이는 것만 골라 성공이라고 하지 않습니다. 표본과 기간이 충분한지, 예상치 못한 부작용이 없는지 확인한 뒤 채택합니다.
결과를 해석할 때 우연을 고려합니다
A안이 전환 12건, B안이 14건을 만들었다면 B가 항상 더 낫다고 말하기 어렵습니다. 방문자 수와 배정 방식, 실험 기간을 알아야 차이를 판단할 수 있습니다. 통계적 검토가 필요한 큰 결정이라면 적절한 방법을 사용하고, 작은 실험은 학습 방향을 정하는 단서로 다루되 확정적 효과처럼 발표하지 않습니다.
무엇을 바꿨는지에 따라 결론의 범위가 달라집니다
버튼 문구만 다르면 어떤 문구가 더 나았는지 해석할 수 있습니다. 반대로 가격·이미지·양식을 한꺼번에 바꾼 A안과 B안의 차이가 나더라도 어느 요소가 원인인지는 알 수 없습니다. 이 경우 결론은 B라는 전체 경험이 A보다 나았다까지입니다. 실험 설계에서 먼저 필요한 결론의 수준을 정하세요.
결과를 보고 유리한 시점에 실험을 멈추면 우연한 차이를 효과로 오해하기 쉽습니다. 종료 기준과 주요 지표를 시작 전에 정해 두세요.