한 페이지에 각각 다른 3개의 실험을 동시에 진행하려 하는데요, 아래와 같은 궁금증이 있습니다.
1. 세팅 시의 트래픽 할당을 각각 33% 주면 가능해 보이는데요, 이렇게 진행하는 것이 맞을까요?
2. 위와 같이 진행하는 것이 맞다면, 각 실험에 할당된 고객군(33%)는 다른 실험에 노출되지 않는 걸까요?
감사합니다.
전체 1
Ratel
2022-05-16 21:24
안녕하세요, 모큐님!
한 페이지에 여러 개의 실험을 동시에 진행하게 된다면, 각각의 실험 내용이 다른 실험에게 영향을 줄 수 있기 때문에 권장드리지 않습니다. (실험 결과에 바이어스bias가 생길 가능성이 높습니다. ) 되도록이면 각 실험의 우선순위를 배정하여, 우선순위가 높은 순으로 하나씩 진행하시는 것을 권장드려요.
질문 답변) 트래픽 할당은 각각의 실험에 독립적으로 수행되므로 트래픽이 겹치게 됩니다. 실험 3개 중에서 1개에만 할당되는게 아닌, 각각의 실험에 참여할 확률이 33%라고 이해하시면 됩니다. 그래서 특정 사용자는 실험 3개에 모두 참여할 수도 있고, 모두 참여하지 못할 수도 있습니다.
안녕하세요, 모큐님!
한 페이지에 여러 개의 실험을 동시에 진행하게 된다면, 각각의 실험 내용이 다른 실험에게 영향을 줄 수 있기 때문에 권장드리지 않습니다. (실험 결과에 바이어스bias가 생길 가능성이 높습니다. ) 되도록이면 각 실험의 우선순위를 배정하여, 우선순위가 높은 순으로 하나씩 진행하시는 것을 권장드려요.
부득이하게 실험을 한꺼번에 진행해야할 경우에는 실험 유형을 "다변수 테스트"로 설정해서 진행하시면 됩니다. 다만, 이 경우에는 각각의 변형의 조합 별로 트래픽이 분산되기 때문에 실험 결과를 얻는데 오랜 시간이 소요될 수 있습니다.
- 참고 강의 : https://dachata.com/google-optimize/post/types-of-experiments-in-google-optimize/
질문 답변) 트래픽 할당은 각각의 실험에 독립적으로 수행되므로 트래픽이 겹치게 됩니다. 실험 3개 중에서 1개에만 할당되는게 아닌, 각각의 실험에 참여할 확률이 33%라고 이해하시면 됩니다. 그래서 특정 사용자는 실험 3개에 모두 참여할 수도 있고, 모두 참여하지 못할 수도 있습니다.