방법론 v0.6
이 문서가 이 프로젝트의 심장입니다. 판정문은 소모품이지만 방법론은 자산입니다. 방법론을 바꿀 때는 버전을 올리고, 바꾼 이유를 하단 이력에 남깁니다.
0. 판정문 작성 원칙 — 다른 모든 조항보다 앞선다
참값은 정보 제공자입니다. 판단은 하지 않습니다. 판단은 독자가, 그리고 필요하다면 의료·법률 전문가가 합니다. 이 원칙이 우리를 법적으로 지키고(사실 전달은 명예훼손이 성립하기 어렵습니다), 신뢰의 원천이 되며(입장 없는 심판이 가장 신뢰받습니다), 무엇보다 각 독자가 자기 맥락에서 옳은 결정을 하게 합니다.
1) 독자의 결정 질문부터 답한다
판정문은 "이거 사, 말아? 먹던 거 계속 먹어?"라는 독자의 질문에 먼저 답하고, 학술 근거는 그다음입니다. 결론 → 근거 순서.
2) 사실을 전달하되 행동을 지시하지 않는다
"연구가 무엇을 보여주는가"에서 문장을 멈춥니다. "사라·사지 마라·돈이 아깝다·과장이다·효과 있다·없다" 같은 행동 명령과 가치판단을 쓰지 않습니다.
| "돈값 못 합니다" | → "독립 연구에서는 효과가 확인되지 않았습니다" |
|---|---|
| "사지 마세요" | → "이 점을 알고 결정하세요" |
| "광고가 과장입니다" | → "광고는 '주름 개선'을 말하지만, 그 주장을 뒷받침하는 독립 근거는 찾지 못했습니다" |
3) 명확하되 명령하지 않는다
결론은 흐리지 않습니다 — 오히려 광고보다 선명하게. 단 그것이 "사실의 결론"이지 "행동의 명령"이 아니게 합니다. "판단 안 함"을 애매하게 뭉개는 핑계로 쓰지 않습니다 — 그것은 정보 제공이 아니라 책임 회피입니다.
1. 판정 단위 — 등급은 성분이 아니라 주장에 붙는다
주장 = 성분 × 효능 × 용량(및 기간)
"콜라겐은 피부에 좋다"는 판정 불가능한 문장입니다. "저분자 콜라겐 펩타이드 2.5~10g/일, 8주 이상 섭취 시 피부 수분·탄력 개선"은 판정 가능한 주장입니다. 하나의 성분에 여러 주장이 있으면 각각 따로 판정합니다 — 콜라겐×피부와 콜라겐×관절은 별개의 판정입니다. 판정은 특정 상품이 아니라 주장 단위로 서술하며, 광고 문구를 인용할 때는 캡처와 수집일을 함께 보관합니다.
2. 효과 등급
| A | 잘 설계된 인체 무작위대조시험(RCT) 다수 + 메타분석에서 일관된 효과. 효과 크기가 체감 가능한 수준. |
|---|---|
| B | 인체 RCT가 존재하나 수가 적거나, 규모가 작거나, 결과가 갈리거나, 산업 자금 비중이 높음. |
| C | 인체 관찰연구·간접 근거뿐. 기전은 그럴듯하나 사람 대상 입증 부족. |
| D | 동물·세포 실험뿐. 사람에게는 근거 없음. |
| F | 양질의 연구에서 효과 없음이 반복 확인되었거나, 주장 자체가 반증됨. |
| ? | 문헌 자체가 부족해 판정할 수 없음. "판정불가"도 정당한 결론이다. |
등급 보정 요소 (모든 판정문에 명시)
- 산업 자금 편향 — 해당 주장의 연구 중 제조사 자금 연구 비중. 높으면 한 단계 하향 검토.
- 출판 편향 — 긍정 결과만 출판된 정황(소규모 연구 일색, 사전등록 부재 등).
- 효과 크기 — 통계적으로 유의해도 체감 불가능한 크기면 판정문에 그대로 씁니다. "효과는 있으나 자로 재야 보이는 수준."
- 용량 격차 — 연구에서 쓴 용량 대비 한국 시판 제품의 실제 함량. 근거가 A여도 시판 제품이 연구 용량의 절반이면 그 사실을 판정문 최상단에 씁니다. 한국어권에서 이것을 판정 체계로 일관되게 하는 곳을 우리는 아직 찾지 못했습니다 — 찾으면 여기에 링크하겠습니다.
2-1. 등급 경계 규칙 v0.5 · 재판정에서 학습
등급이 엇갈릴 때 반복해서 문제가 되는 경계를, 재판정 절차(6-2)가 드러낸 대로 명문화합니다.
- ① 1차 종점 우선 (B/C 경계). 등급은 그 RCT의 사전지정 1차 종점 결과를 기준으로 합니다. 1차 종점이 비유의하고 2차·사후 하위군·대리지표에서만 유의하면 최대 C. (예: 루테인 — AREDS2 1차 주분석 HR 0.90 P=.12 비유의 → C.)
- ② 독립성 우선 (C/D 경계). 메타분석이 유의해도 가장 크거나 이해상충 없는 독립 RCT가 무효이거나 고품질 하위집합에서 유의성이 소멸하면 D. (예: 폴리코사놀·가르시니아 → D.)
- ②-b 독립 재현 부재 (B/C 경계). 무효로 판명된 독립 RCT는 없으나 양성이 전부 제조사 연구에 집중되고 독립 재현이 부재하면 D가 아니라 최대 C. 인체 신호는 있으나(→D 아님) 독립적으로 재현된 적이 없으므로(→B 아님). '무효'는 D, '부재'는 최대 C. (예: 히알루론산·세라마이드 → B에서 C로.)
- ③ 복합 주장 집계. 한 주장에 여러 종점이 묶이면 종점별로 채점하고, 근거 전무 성분이 있으면 반등급 하향 검토하며 그 사실을 분리해 밝힙니다. (예: 밀크씨슬 — 간 건강은 C, 피로는 근거 0건 → 명시.)
- ④ 규제 인정은 가점이 아니다. 식약처 기능성 인정은 상향 요인이 아니라 중립 메타데이터로 별도 표기합니다(원료·표시 규제일 뿐 효과·임상 이득 보증이 아님).
2-2. 등급 옆 점수 병기 v0.6 · 0~100
등급(A~F)은 구간이고, 그 안의 위치를 0~100점으로 함께 표기합니다 — 예: "등급 C · 47점". 등급은 큰 분류, 점수는 그 등급 안에서 근거가 하한에 가까운지 상한에 가까운지를 보여줍니다.
- A 80~100 · B 60~79 · C 40~59 · D 20~39 · F 0~19 · ? 판정불가(점수 없음)
점수는 근거 강도(인체 RCT의 유무·규모 · 독립성 · 1차 종점 충족 · 효과 크기 · 결과 일관성)를 종합해 구간 안에서 정합니다. 정밀한 계측이 아니라 등급 안의 방향 표시이며(47점과 49점은 사실상 같습니다), 그 근거를 판정문에 함께 적습니다. v0.6 이후 신규 판정부터 적용합니다.
3. 안전성 표기 (효과 등급과 별도 축)
- 양호 — 연구 용량에서 중대한 이상반응 보고 드묾.
- 주의 — 특정 조건(임신, 약물 병용, 간·신질환 등)에서 주의 필요. 조건을 명시.
- 경고 — 보고된 중대 이상반응 있음. 내용을 명시.
- 불명 — 장기 안전성 데이터 부족.
4. 판정 절차 — 7단계, 전부 공개
- ① 주장 수집 — 실제 광고·상세페이지 문구를 원문 그대로 인용합니다(캡처·수집일 보관). 허수아비를 만들지 않습니다.
- ② 문헌 검색 — 검색원(PubMed 등), 검색식, 검색일을 판정문에 기록합니다. 누구나 재현할 수 있어야 합니다.
- ③ 선별 — 인체 연구 우선, RCT·메타분석 우선. 제외한 연구는 제외 사유를 남깁니다.
- ④ 초안 — AI(Claude)가 작성합니다. 이 사실을 숨기지 않습니다.
- ⑤ 승인·서명 — 참값 편집부가 근거 목록을 직접 확인하고 승인하며, 판정문에 편집부 이름으로 서명합니다. 승인 전에는 어떤 판정도 공개되지 않습니다.
- ⑥ 공개·정정 — 오류 제보 창구를 엽니다. 정정 시 원문은 취소선으로 남기고 정정문과 날짜를 붙입니다.
- ⑦ 이의 제기 — 판정 대상 주장과 이해관계가 있는 사업자는 근거 문헌을 첨부해 이의를 제기할 수 있습니다. 접수 후 14일 이내에 검토 결과를 회신하고, 타당한 이의는 정정 절차로 처리하며, 기각된 이의는 사유와 함께 판정문 하단에 기록합니다.
5. 이해충돌 정책
판정 대상과 관련된 어떤 금전 관계도 맺지 않습니다 — 판매, 제휴, 광고, 원고료, 샘플 수령을 포함합니다. 기업용 감시 서비스의 고객 여부는 공개 판정의 대상 선정과 등급에 어떤 영향도 주지 않으며, 판정 대상과 감시 서비스 고객이 겹치는 경우 해당 판정문 최상단에 그 사실을 고지합니다.
6. AI 사용 고지
초안 작성과 문헌 정리에 AI를 사용합니다. AI는 출처를 지어낼 수 있으므로, 모든 인용 문헌은 승인 전에 실제 존재와 내용 일치를 사람이 확인합니다. 확인 전 문헌은 [검증 필요] 표시를 달고, 이 표시가 남아 있는 판정문은 공개할 수 없습니다.
6-1. 실패 패턴 도감 (학습 고리)
검증에서 걸러낸 "정보가 틀리는 방식"을 도감에 적립합니다. 이것은 정답 목록이 아니라 질문(함정) 목록이며, 판정마다 검증을 더 날카롭게 하되 검증을 대체하지 않습니다. 새 판정의 검증 단계는 이 도감을 확인 항목으로 읽고, 새로 걸러낸 패턴은 도감에 적립합니다. 예: "자금 없음 위장", "대리지표를 체감 효과로 확대", "흡수 입증 연구를 효능 근거로 전용", "제형 혼용(경구·구강점막·부착)". 정정 장부의 반박은 도감을 거꾸로 교정합니다 — 시간이 갈수록 검증이 빠르고 정확해집니다.
6-2. 검증·재판정 절차 v0.3
모든 판정은 아래 공정을 거칩니다. 이 공정이 등급 하나하나의 신뢰를 만듭니다.
- ① 초안 — AI가 문헌을 검색·종합해 등급 초안을 낸다.
- ② 2번 블라인드 교차검증 — 우리 등급을 모르는 독립 감사관 2명이 각자 인용을 원문으로 열어 확인하고 스스로 등급을 매긴다.
- ③ 분류 — 합치(둘 다 같음)/살핌(한 명만 다름)/엇갈림(둘 다 다름).
- ④ 엇갈림 재판정(변증법 · 이종 모델 교대) — 높은 등급·낮은 등급을 각각 다른 에이전트가 실제 근거를 새로 찾아 겨루게 한다. 검증은 코덱스(다른 모델 계열)와 참값의 AI가 번갈아 맡아 한쪽의 판단을 다른 쪽이 이어받아 검증하고, 편집부가 최종 판결한다.
- ⑤ 애매하면 한 번 더, 안 좁혀지면 강제하지 않는다 — 판결이 애매하면 교차검증을 한 번 더 돌리고, 그래도 등급이 좁혀지지 않으면 한 등급을 억지로 짜내지 않는다. "근거가 갈리는 판정"으로 양쪽을 이유와 함께 나란히 싣고 그대로 공개한다.
- ⑥ 경계의 학습 — 재판정이 드러낸 등급 정의의 모호함은 방법론 명확화(2-1장)로 적립한다.
각 판정문의 "교차 검증" 항목에서 그 판정이 이 절차의 어느 경로(합치/재판정 하향·조정)를 거쳤는지 공개합니다.
7. 한계 고지
모든 판정은 승인일까지 공개된 문헌에 근거하며, 새 연구가 나오면 등급은 바뀔 수 있습니다. 이곳의 어떤 내용도 의학적 조언이 아닙니다. 복용 결정은 의사·약사와 상의하세요.
방법론 변경 이력
- v0.2 (2026-07-05) — 0장 "판정문 작성 원칙" 신설. 판정문은 독자의 결정 질문부터 답하고(결론→근거), 사실을 전달하되 행동을 지시하지 않으며, 명확하되 명령하지 않는다.
- v0.3 (2026-07-06) — 6-1장 실패 패턴 도감·6-2장 검증·재판정 절차 신설. 초안→2번 블라인드 교차검증→엇갈림은 변증법 재판정. 억지 결론 금지.
- v0.4 (2026-07-06) — 2-1장 등급 경계 규칙 신설(1차 종점 우선·독립성 우선·복합 주장 집계·규제 인정은 중립).
- v0.5 (2026-07-06) — 2-1장 ②-b "독립 재현 부재" 규칙 신설. 판정 013~032를 이종 모델(코덱스 최상위)로 2번 더 필터링하며 학습: 독립 RCT가 '무효'면 D, '부재'면 최대 C.
- v0.6 (2026-07-06) — 2-2장 점수 병기(A~F 옆 0~100점) + 6-2장 교대 교차검증·미수렴 양론 병기 신설. 검증은 코덱스·참값 AI가 번갈아, 판결이 안 좁혀지면 강제하지 않고 갈림을 그대로 공개. 판정 051(아쿠아포린)에서 첫 적용.
- v0.1 (2026-07-04) — 최초 작성. (2026-07-05 이의 제기 절차 추가)