기본 용어:
Treatment:subject에게 노출될 something(약물, 뉴스제목, 가격 등)
Treatment group:특정 treatment에 노출된 집단, 실험군
Control group:standard treatment에 노출된 집단(e.g. no drug나 현재 기본적으로 사용하는 약물을 사용하는 집단), 대조군
Randomization:subjects에게 treatments를 랜덤하게 assign하는 과정
Subjects:treatments에 노출된 items(웹 방문자들, 환자들 etc)
Test statistic:특정 treatment의 효과를 measure하기 위한 metric
Randomization으로부터 treatment A가 B보다 낫다는 결론이 나오는 것에서
-정말 A가 B보다 낫거나
-randomization으로부터 뽀록으로 A가 B보다 좋게 나왔거나
대개 A/B test에서는 treatment의 효과를 확인하기 위한 metric을 binary로 쓴다면
예를 들면 click or no click, buy or don't buy 등, column에는 treatments를, row에는 metric을 사용하여 table을 작성한다.
만약, 가격A(as treatment)와 가격B, 그리고 페이지 방문당 순이익을 따지는(continuous을 metric)경우라면
Revenue/page with price A, mean:3.87, std:51.10
Revenue/page with price B, mean:4.11, std:62.98
형태로 비교
Control group이 필요한 이유, 즉 "그냥 treatment A 적용하고, 적용하기 이전과 비교하면 되잖아?"라는 물음에
->control group이 없다면 "all other things are equal."이란 보장을 받기가 힘들다.
blind test란, subjects가 어떤 treatment를 택하는지 모르게 두는 테스트로, 이는 subject가 이것을 aware한다는 사실이 response에 영향을 줄 수 있기 때문
double-blind test란, subject뿐만 아니라 조사관, 즉 의사나 간호사 등도 subject가 어떠한 treatment를 assign받았는지 모르게 하는 테스트
treatment가 너무 명료할 때(transparent), blind test가 불가능하기도 하다.
Test statistic은 반드시 test전에 정해져야한다. 테스트 이후엔 일종의 편견이 생기기 마련이다.
그리고 Treatment A or B 둘 중 하나를 택해야 한다면, 결국 multiple test statistics(수집은 하되)가 아니라 single test statistic이 필요하다.
A/B testing, 꼭 A와 B, 2개여야만 하냐? Nope, 여러개 가능