1·2주차에서 관찰한 콘텐츠 형식의 차이는 새로운 상품에서도 같은 방향으로 나타날까?
검증할 가설
특정 상품에만 생긴 차이가 아니라면 새 상품에서도 주요 지표가 같은 방향을 보일 수 있습니다.
예상하는 방향이며, 확인된 사실은 아닙니다.왜 이 질문을 하나요?
한 번의 긍정 결과를 작성 규칙으로 만들지 않으려면 새로운 상품에서 같은 절차를 다시 실행해야 합니다.
앞선 두 실험 중 사전 기준으로 하나를 고르고, 새로운 상품 5개에서 같은 절차로 재현합니다.
연구 질문과 가설
1·2주차에서 관찰한 콘텐츠 형식의 차이는 새로운 상품에서도 같은 방향으로 나타날까?
특정 상품에만 생긴 차이가 아니라면 새 상품에서도 주요 지표가 같은 방향을 보일 수 있습니다.
예상하는 방향이며, 확인된 사실은 아닙니다.한 번의 긍정 결과를 작성 규칙으로 만들지 않으려면 새로운 상품에서 같은 절차를 다시 실행해야 합니다.
광고는 유지하고
설명의 구성을 변경
앞선 두 비교 가운데 하나를 고른 뒤 새로운 상품 5개에서 같은 절차로 반복합니다.
앞선 실험의 기준 자료 형식을 새 상품에 적용합니다.
같은 실험의 비교 자료 형식을 새 상품에 적용합니다.
첫 실험과 새 상품의 상품·질문 단위 차이를 나란히 봅니다.
재현과 불일치를 평균 하나로 숨기지 않고 사례별로 기록합니다.
새 상품만 바꾸고 질문 구성, 모델, 검색 미사용, 반복, 채점 규약과 비용 상한은 유지합니다.
형식 비교나 예외 위치 비교 중 하나를 10월 12일에 고정하고, 앞선 실험에 쓰지 않은 상품 5개로 반복합니다.
제안하는 연구 순서
효과 크기만 보지 않고 실험 유효성, 실무 영향, 불확실성 기준으로 10월 12일에 선택 이유를 고정합니다.
새 상품 2개로 24답변을 실행해 자료와 정답표가 같은 규약을 지키는지 확인합니다.
새 상품 5개로 180답변을 수집하고 첫 실험과 같은 방향, 혼재, 반대 방향을 구분합니다.
효과가 크게 나온 실험을 사후 선택하지 않습니다. 선택 이유와 버전을 10월 12일 결과 확인 전에 고정합니다.
평가 항목과 해석 범위
| 평가 항목 | 확인 방법 | 주의할 점 |
|---|---|---|
| 주요 지표 재현 | 선택된 실험의 정답률 또는 예외 포함률을 같은 규칙으로 계산 | 원실험과 새 실험의 결과를 단순 합산하지 않음 |
| 상품별 일관성 | 다섯 상품의 방향과 오류 사례를 별도 표시 | 평균만으로 재현을 선언하지 않음 |
| 실행 일치 | 모델·질문·채점·반복·비용 설정의 차이를 점검 | 설정이 달라지면 직접 재현으로 보지 않음 |
미리 정할 판단 방식
조건을 명시한 실행 규칙 후보로 종합 검토
상품 특성과 질문 차이를 포함한 조건부 결과로 기록
원실험의 일반화를 중단하고 반례로 종합
재현 대상 선택과 상품 교체가 결과를 유리하게 만드는지 검토합니다. 같은 방향이라는 이유만으로 E3 처방으로 승격하지 않습니다.
아직 확정하지 않은 항목
확인한 안내와
연구를 제안한 이유
1주차의 형식 비교 또는 2주차의 예외 위치 비교 가운데 하나를 선택합니다. 실험 유효성, 실무 영향, 불확실성을 기준으로 고르고 새 상품 5개를 사용합니다.
질문, 모델, 채점 규약과 180답변 규모를 유지합니다. 반복 3회를 독립 표본으로 부풀리지 않고 상품과 질문 단위로 비교합니다.
첫 실험과 같은 방향인지, 상품마다 다른지, 재현되지 않았는지를 모두 결과로 기록합니다. 결과 리포트에는 선택 이유와 차이를 함께 남깁니다.