위클리 페이퍼 #8

 

A/B 테스트의 장점과 단점, 그리고 단점을 해결하기 위한 방안들을 설명해 주세요.

 

장점

1. 차이에 대해서 명확하게 확인이 가능

동일한 조건에서 특정 요소만 바꿔서 차이를 확인하기에 어떤 요소가 영향을 줬는지 알 수 있다

2. 실제 사용자 행동기반으로 설득력이 높아짐

단순한 추측이나 설계로만 구성된 것이 아닌 실제 사용자 행동 측정을 통하기에 의사결정에 용이하다.

 

단점

1. 시간과 리소스가 많이 든다.

표본 수가 부족하면 통계적으로 무의미하며, 오랜 기간 테스트를 했을 때 가치가 있기 때문]

2. 실험 설계가 잘못되거나 모든 문제에 적용되는 것이 아님

정확한 상황에 정확한 설계가 필요하기에 결과가 무의미해질 수 있음

3. 단기 지표에만 매몰될 수 있음

오랜 기간이라고 해도, 몇 일 ~ 몇 주일의 실험이기에 그보다 더 오랜 기간의 결과를 보장하긴 어려움

 

 

A/B 테스트 결과에서 한 버전이 통계적으로 유의미하게 더 나은 결과를 보여주지 않는다면,

이를 어떻게 해석하고 다음 단계는 무엇인가요?

 

1. A/B 테스트를 시행할 때, 문제가 있진 않았는 지 확인

 

2. 문제가 없었다면 '더 나은 결과'가 아닌 결과도 비즈니스 목표에 맞게 유의미하게 설계할 수 있을 지 확인한다.

 

3. 추가적인 결과가 필요하다면 새로운 A/B 테스트를 진행하거나 설정이나 지표를 수정해서 다시 테스트한다.

 

 

이벤트 데이터 로그 설계(Event Taxonomy)의 주요 구성 요소는 무엇이며, 각 요소가 어떤 역할을 하는지 설명해 주세요.

 

1. 이벤트 유형(Event Category)

이벤트의 유형을 정하기 위한 단위로, 유사한 이벤트들을 하나로 묶어서 관리할 때 유용한 요소이다. 

ex) 회원가입, 제품 구매

 

2. 이벤트 (Event)

사용자의 ‘의미 있는 행동’ 단위로 UI가 아닌 의사결정의 행동 기준

ex) 로그인 버튼 클릭, 관심상품 추가

 

3. 속성(Property)

웹 문서의 동적인 객체 속성을 뜻하고, 사용자 혹은 이벤트가 가진 동적인 특성

ex) 회원가입 일자, 회원가입 방법