ab-test-designer

Skill: A/B 테스트 설계

A/B 테스트 필요 여부 판단

필요한 경우 (아래 중 1개 이상 해당)

• 두 가지 이상의 구현 방향이 존재하며 어느 쪽이 나은지 불확실
• 사용자 행동 변화를 직접 측정해야 함 (클릭률, 전환율, 리텐션 등)
• Confidence 점수가 7 미만 (근거 부족 → 실험으로 검증 필요)
• 이해관계자 간 의견 불일치 → 데이터로 해소

불필요한 경우

• 버그 수정, 접근성 개선 등 명백히 이로운 변경
• 트래픽/샘플이 너무 작아 유의미한 결과를 얻기 어려운 상황
• 단순 콘텐츠 교체 (브랜드 방침에 따른 변경)

---

설계 포맷

[A/B TEST: H{N}]
필요 여부: YES / NO
(NO인 경우) 사유: ...

--- YES인 경우 아래 작성 ---

실험 목적: 무엇을 검증하는가
가설 문장: "우리가 [변경]을 하면 [지표]가 [방향]으로 바뀔 것이다"

Control (A): 현재 상태 / 기준안 설명
Variant (B): 변경안 설명

측정 지표:
  - Primary: (1개만) 예) 7일 리텐션율
  - Secondary: (1~2개) 예) 클릭률, 완료율

성공 기준: Primary 지표 X% 이상 개선 (통계적 유의수준 p < 0.05)
예상 실험 기간: N주 (근거: 필요 샘플 수 추정)
주요 리스크:

---

완료 체크

✅ 각 가설마다 A/B 필요 여부 판단 완료
✅ YES인 경우 Control/Variant 명확히 구분
✅ Primary 지표 1개만 지정
✅ 성공 기준 수치 포함