정보량이 같을 때 질문과 예외를 분명히 나눈 형식이 일반 설명문보다 AI 답변의 정확성을 높이고 조건 누락을 줄일까?
검증할 가설
질문과 예외가 구분된 형식은 답변에 필요한 사실과 제한 조건을 찾기 쉽게 해 정확성을 높일 수 있습니다.
예상하는 방향이며, 확인된 사실은 아닙니다.왜 이 질문을 하나요?
읽기 쉬운 형식이 실제 답변 정확도에 도움이 되는지는 콘텐츠 제작 규칙으로 쓰기 전에 같은 조건에서 확인해야 합니다.
RESEARCH PROPOSAL연구 계획서
같은 사실도 글의 형식에 따라 AI 답변이 달라질까?
일반 설명문과 질문·예외 형식을 비교해, 제품 정보의 정확성과 조건 누락이 달라지는지 확인합니다.
- 문서 버전
- 실행안 01
- 작성 기준일
- 2026-09-26
- 설계 상태
- 일정 확정 / 측정 전
- 실행 일정
- 2026.09.27–10.03
확인하고 싶은 것
연구 질문과 가설
무엇을 비교할까
광고는 유지하고
설명의 구성을 변경
같은 제품 사실을 일반 설명문과 질문·예외 형식으로 나눠 비교합니다.
A
일반 설명문
제품 사실과 제한 조건을 자연스러운 연속 문단으로 작성합니다.
B
질문·예외 형식
같은 사실을 고객 질문과 예외 조건이 드러나는 구조로 작성합니다.
두 안을 각각 확인
주요 지표정답률이 달라지는가?
사전에 고정한 정답표와 답변을 대조해 상품·질문 단위로 비교합니다.
보조 지표조건을 덜 놓치는가?
예외 누락, 근거 없는 주장, 답변 비용을 별도로 기록합니다.
같게 맞출 조건
상품 사실, 질문, 모델, 추론 설정, 검색 미사용, 반복 수를 고정하고 조건 순서를 섞습니다. 글자 수가 아니라 정보 항목의 동일성을 우선 확인합니다.
여행 가방으로 예를 들면
500mL 용량, 보온 시간, 식기세척기 사용 불가 같은 동일 사실을 일반 문단과 질문·예외 항목으로 각각 제공합니다.
어떻게 진행할까
제안하는 연구 순서
자료와 판정 기준 고정
공개 상품 5개, 질문 6개, 정답표와 두 형식의 자료를 결과 확인 전에 버전으로 고정합니다.
사전 점검
상품 2개와 질문 3개로 24답변을 실행해 저장, 채점, 정보량과 비용을 확인합니다. 이 답변은 본 분석에 넣지 않습니다.
본 측정과 검수
두 조건을 각각 세 번 반복해 180답변을 수집하고, 자동 채점 불일치와 조건별 표본을 원자료에 대조합니다.
9월 28일까지 실행 경로를 재검증하고, 준비 검사를 통과한 경우에만 9월 29일부터 본 측정을 시작합니다.
무엇을 기록할까
평가 항목과 해석 범위
| 평가 항목 | 확인 방법 | 주의할 점 |
|---|---|---|
| 정답률 | 사전 정답표와 답변의 사실 단위를 대조 | 반복 3회를 독립 표본으로 계산하지 않음 |
| 조건 누락 | 사용 제한과 예외가 답변에 포함됐는지 기록 | 질문이 요구하지 않은 정보는 누락으로 세지 않음 |
| 근거 없는 주장 | 제공 자료에 없는 기능과 장점을 별도 표시 | 표현 차이와 사실 추가를 구분 |
| 비용 | 응답과 채점 호출의 실제 비용 집계 | 에이전트 운영비와 인프라 비용은 제외 |
결과를 어떻게 볼까
미리 정할 판단 방식
질문·예외 형식이 상품과 질문 전반에서 같은 방향
새 상품 재현 후보로 올림
일부 상품이나 질문에서만 차이가 남
조건별 결과로 기록하고 공통 규칙으로 확정하지 않음
저장·채점·비용 검사가 실패함
효과 측정을 시작하지 않고 차단 사유와 복구 기한을 공개
차이가 작거나 혼재하면 효과 없음과 표본 부족을 구분합니다. 사람 검수가 없는 결과는 자동 검수 파일럿으로 제한합니다.
시작 전에 정할 것
아직 확정하지 않은 항목
- 9월 28일
- 상품·질문·정답표·실제 실행 경로 확정
- 사전 점검
- 24답변 · 본 분석 제외
- 본 측정
- 180답변 · 상품/질문 단위 비교
- 비용
- 경고 $2 · 상한 $3
이번 계획의 범위
- 자료를 직접 제공하는 답변 실험이며 웹 발견과 인용 효과를 검증하지 않습니다.
- 공개 상품 5개의 소표본 파일럿이므로 모든 상품 유형에 일반화하지 않습니다.
- 가상 상품으로 수행한 기술 점검은 실행 경로 확인일 뿐 본 결과에 포함하지 않습니다.
배경과 출처
확인한 안내와
연구를 제안한 이유
연구 배경 자세히 읽기기존 설명과 가상 예시 전체
비교할 내용
공개 상품 5개의 같은 사실을 두 형식으로 준비합니다. 한쪽은 일반 설명문, 다른 쪽은 고객 질문과 예외 조건을 분명하게 나눈 형식입니다. 정보량은 같게 맞춥니다.
측정 범위
사전 점검 24답변을 본 분석에서 제외하고, 준비 검사를 통과하면 180답변을 수집합니다. 정답률을 주요 지표로 보고 조건 누락, 근거 없는 주장, 비용을 따로 기록합니다.
공개 기준
결과가 좋을 때만 발행하지 않습니다. 완료 수, 오류, 원시 근거, 차이, 불확실성, 한계를 검토한 뒤 결과 리포트를 이 계획과 연결합니다.