RESEARCH PROPOSAL연구 계획서

다른 상품에서도 같은 결과가 나올까?

앞선 두 실험 중 사전 기준으로 하나를 고르고, 새로운 상품 5개에서 같은 절차로 재현합니다.

문서 버전
실행안 01
작성 기준일
2026-09-26
설계 상태
선택 기준 확정 / 대상 실험 미정
실행 일정
2026.10.11–10.17

확인하고 싶은 것

연구 질문과 가설

1·2주차에서 관찰한 콘텐츠 형식의 차이는 새로운 상품에서도 같은 방향으로 나타날까?

검증할 가설

특정 상품에만 생긴 차이가 아니라면 새 상품에서도 주요 지표가 같은 방향을 보일 수 있습니다.

예상하는 방향이며, 확인된 사실은 아닙니다.

왜 이 질문을 하나요?

한 번의 긍정 결과를 작성 규칙으로 만들지 않으려면 새로운 상품에서 같은 절차를 다시 실행해야 합니다.

무엇을 비교할까

광고는 유지하고
설명의 구성을 변경

앞선 두 비교 가운데 하나를 고른 뒤 새로운 상품 5개에서 같은 절차로 반복합니다.

두 안에서 유지할 것같은 모델 · 질문 규약 · 채점 기준 · 180답변 규모
A

선택된 기준 조건

앞선 실험의 기준 자료 형식을 새 상품에 적용합니다.

B

선택된 비교 조건

같은 실험의 비교 자료 형식을 새 상품에 적용합니다.

두 안을 각각 확인
재현 방향주요 지표가 같은 방향인가?

첫 실험과 새 상품의 상품·질문 단위 차이를 나란히 봅니다.

조건 차이어떤 상품에서 달라지는가?

재현과 불일치를 평균 하나로 숨기지 않고 사례별로 기록합니다.

사람의 반응과 AI의 답변을 별도로 비교합니다. 한쪽 결과로 다른 쪽 효과를 대신하지 않습니다.

같게 맞출 조건

새 상품만 바꾸고 질문 구성, 모델, 검색 미사용, 반복, 채점 규약과 비용 상한은 유지합니다.

여행 가방으로 예를 들면

형식 비교나 예외 위치 비교 중 하나를 10월 12일에 고정하고, 앞선 실험에 쓰지 않은 상품 5개로 반복합니다.

어떻게 진행할까

제안하는 연구 순서

  1. 재현 대상 사전 선택

    효과 크기만 보지 않고 실험 유효성, 실무 영향, 불확실성 기준으로 10월 12일에 선택 이유를 고정합니다.

  2. 새 상품 사전 점검

    새 상품 2개로 24답변을 실행해 자료와 정답표가 같은 규약을 지키는지 확인합니다.

  3. 본 측정과 원실험 비교

    새 상품 5개로 180답변을 수집하고 첫 실험과 같은 방향, 혼재, 반대 방향을 구분합니다.

효과가 크게 나온 실험을 사후 선택하지 않습니다. 선택 이유와 버전을 10월 12일 결과 확인 전에 고정합니다.

무엇을 기록할까

평가 항목과 해석 범위

평가 항목확인 방법주의할 점
주요 지표 재현선택된 실험의 정답률 또는 예외 포함률을 같은 규칙으로 계산원실험과 새 실험의 결과를 단순 합산하지 않음
상품별 일관성다섯 상품의 방향과 오류 사례를 별도 표시평균만으로 재현을 선언하지 않음
실행 일치모델·질문·채점·반복·비용 설정의 차이를 점검설정이 달라지면 직접 재현으로 보지 않음

결과를 어떻게 볼까

미리 정할 판단 방식

새 상품에서도 같은 방향이 반복됨

조건을 명시한 실행 규칙 후보로 종합 검토

일부 상품에서만 반복됨

상품 특성과 질문 차이를 포함한 조건부 결과로 기록

반대 방향이거나 차이가 사라짐

원실험의 일반화를 중단하고 반례로 종합

재현 대상 선택과 상품 교체가 결과를 유리하게 만드는지 검토합니다. 같은 방향이라는 이유만으로 E3 처방으로 승격하지 않습니다.

시작 전에 정할 것

아직 확정하지 않은 항목

10월 12일
A 또는 B 중 재현 대상과 선택 이유 고정
새 상품
앞선 실험과 겹치지 않는 5개
본 측정
사전 24답변 + 본 180답변
비용
경고 $2 · 상한 $3

이번 계획의 범위

  • 한 차례의 새 상품 재현은 외부 맥락 재현과 같지 않습니다.
  • 제품 자료 직접 제공 조건이므로 웹 발견과 인용 결과로 바꾸지 않습니다.
  • 결과가 재현되지 않아도 계획대로 완료된 실험으로 보고합니다.

배경과 출처

확인한 안내와
연구를 제안한 이유

Verisca 한 달 실험 일정

월간 연구 계획의 세 번째 비교로, 앞선 설계를 새 상품에서 반복합니다.

자료 확인일 2026-09-26

연구 배경 자세히 읽기기존 설명과 가상 예시 전체

무엇을 반복할까

1주차의 형식 비교 또는 2주차의 예외 위치 비교 가운데 하나를 선택합니다. 실험 유효성, 실무 영향, 불확실성을 기준으로 고르고 새 상품 5개를 사용합니다.

측정 범위

질문, 모델, 채점 규약과 180답변 규모를 유지합니다. 반복 3회를 독립 표본으로 부풀리지 않고 상품과 질문 단위로 비교합니다.

공개 기준

첫 실험과 같은 방향인지, 상품마다 다른지, 재현되지 않았는지를 모두 결과로 기록합니다. 결과 리포트에는 선택 이유와 차이를 함께 남깁니다.