A/B Testing : Test Your Own Hypotheses & Prepare to be Wrong - Stuart Frisby at Booking.com
Booking.com의 선임 디자이너인 Stuart Frisby가 2015년도에 O'Reilly 컨퍼런스에서 발표한 A/B 테스팅과 관련된 발표 자료에 대한 대략적인 설명입니다.
- 왜 테스트해야 하는가?
1. 우리가 '좋다'라고 생각하는게 대부분은 틀린 경우가 많다.2. 우리가 추가하는 feature들이 생산적이었으면 좋겠다.
3. 제품의 개발이 이루어지기 위해서는 고객들의 의견이 필요하기 때문이다.
4. 사실에 기반한 제품 생산을 원하기 때문이다.
- 왜 테스트 하면 안되는가?
1. 아직 충분한 트래픽이 없을때2. 아직 key metrics가 준비가 되지 않았을때 => 테스트에 대한 결과를 증명할만한 key metrics가 있어야 한다.
3. 당신이 어느 분야의 '전문가'라고 자처한다면 하지 마라. => 중립적인 입장에서 데이터를 통해 분석할 줄 알아야 한다.
- A/B 테스팅의 일반적인 실수들
1. Big Shot AB Testing쉽게 접하는 가장 일반적인 실수이다. 전체 페이지를 다 바꾸고, 모든걸 다 변경한 후에 테스트를 하고 나서 지표가 좋아졌다고 하더라도 정확히 어떤 요구사항을 만족시켜서 지표가 좋아졌는지 정확히 판단하기 어렵다.
2. Fringe AB Testing
명확하고 구체적인 것에 포커싱 해야 한다. sign up을 늘리기 위해서 landing page를 redesign하는 것도 좋지만이 business metrics에 기반한 분석이 가능하도록 목적을 명확하게 하고 좀 더 작게 테스트를 하는 것이 좋다.
3. Assumed Reproducibility
테스트의 결과가 다른 곳에도 똑같이 생산적으로 반영될 것이라고 생각하지 말아라. 햄버거 메뉴같은 경우에도 어떤 서비스에서는 향상이 있었음에도 불구하고 booking.com에서는 아무런 효과가 없었다. context에 기반하여 동작한다.
댓글
댓글 쓰기