벤치마킹 보고서 3종 검토 (페이블)

원본: KKIRI_BENCHMARK_REVIEW.md

작성: 페이블 · 2026-09-05
대상: 쏠 KKIRI_DESIGN_BENCHMARK.md · 소넷 KKIRI_BENCHMARK.md · 스파크 KKIRI_BENCHMARK_REPORT.md
검증 방법: 본문 주장을 목업 소스(mockup/app.js, styles.css)·라이브 사이트(kkiri-plan.pages.dev)·출처 URL에 직접 대조. 대비 수치는 sRGB 휘도 공식으로 재계산.

1. 총평

2. 쏠 디자인 벤치마킹

검증된 것

• #7057ff/#fbfaf8 4.48:1, #ff7657/흰색 2.63:1, 권장 4색 5.14~5.44:1 — 재계산 결과 소수점까지 일치.
• 인용한 app.js 줄 번호(137 상한 체크박스, 178-188 조율, 199-212 결과, 228-247 재확인) 전부 실제 위치와 일치. 7단계 진행바(flowTop(…, 7))도 일치.
• Doodle 3상태 응답, Loomio 4상태 응답, Rallly 3단계 랜딩, Airbnb 2024 공유 위시리스트 — 사실과 부합.

고칠 것

1. "조율 로그를 4단계 검증 진행으로 교체"(P0) — 목업은 이미 4단계 진행 리스트(app.js:179 stages: 익명 구조화 → 거부권 제외 → 최저 만족도 비교 → 이유 생성)를 로그와 함께 보여준다. 실제 제안은 "단계 추가"가 아니라 "이모지 대리인과 대화 로그 삭제"다. 문서를 그렇게 고쳐야 P0 범위가 정확해진다.
2. "30초 넘으면 규칙 기반 전환 배너" — LLM_TIMEOUT_MS = 30000 폴백과 시스템 로그 문구가 이미 있다. 위치(로그 안 → 배너)만 바꾸는 제안으로 좁혀야 한다.
3. "다른 후보 비교 — 접힌 상태" — 이미 <details>로 접혀 있다. 삭제해도 되는 항목.
4. 사이트에 안 올라가 있다. /docs/design-benchmark가 200을 돌려주지만 그건 Cloudflare Pages 폴백(존재하지 않는 /docs/nonexistent-xyz-check와 같은 12,936바이트 index.html)이다.

3. 소넷 유사 서비스 벤치마킹

검증된 것

• 출처 링크 10개 전부 실제 존재 (arXiv 2607.18806 / 2602.12089 / 2603.21696 / 2507.00535 제목 일치, Springer 챕터 200, Negomate 200).
• "세 조건을 모두 만족하는 상용 서비스 없음"은 한계 절에서 검색 범위를 명시해 과장이 아님.

고칠 것

1. 가장 가까운 논문을 본문에서 안 썼다. arXiv 2602.12089 "Choose Your Agent: AI Advisors, Coaches, and Delegates in Multi-Party Negotiation"은 끼리 구조(개인별 AI 대리인 = delegate, 다자 협상) 그 자체다. MIND(2603.21696, 여행 협상 대화)와 2507.00535(생성형 AI 시대 그룹 추천)도 출처에만 있고 본문 비교표에 없다. 표에 3행 추가하면 "학술 선례" 주장이 훨씬 단단해진다.
2. Doodle "원문 전원 공개 X"는 과장. Doodle은 주최자만 응답을 보는 hidden poll 옵션이 있다(스파크 표도 "숨은 참가자 목록(옵션)"으로 적음). Loomio도 익명 투표·결과 비공개 옵션이 있다(쏠 근거 노트). "기본값은 공개"로 바꿔야 반박당하지 않는다.
3. "끼리의 5분 안에 주장" — 제출 원문·페이블 1페이저에는 5분이 없다. 소넷 본인 1페이저 타임라인("5분 4명 전원 응답 완료")이 출처다. "소넷 1페이저의 5분 시나리오 기준"으로 명시해야 한다.
4. Wanderlog/TripIt "투표 공개", Calendly "자동 확정"은 이번 검토에서 확인하지 못했다. 한계 절에 이미 "직접 사용 안 함"이 있으니 치명적이진 않다.

4. 스파크 유사 서비스 벤치마킹

좋은 것

• 3-3 "후보 탈락 사유 1문장 고정", "설명: 집계 기반 / 제약 기반 신뢰도 라벨", 4장 KPI 3개(재협상 발생률·거부권 반영 성공률·이유 이해도)는 셋 중 가장 실무적이고 목업에 바로 붙는다.

고칠 것 (문서 품질)

1. 검색 도구 인용 표식이 그대로 남음. 로컬 md와 라이브 /raw/KKIRI_BENCHMARK_REPORT.md에 cite…turn0search0… 형태의 비가시 문자 표식이 4곳. HTML 페이지에서는 표식이 지워져 결과적으로 인용이 하나도 없는 표가 됐다. 5장 참고 링크로 각주를 다시 달아야 한다.
2. "아래 8개 서비스로 비교"라 쓰고 표는 10행(Doodle, When2meet, WhenToMeet, Google Forms, Typeform, SurveyMonkey, Polly, Loomio, Polis, Decidim).
3. WhenToMeet은 5장 참고 링크에 없다. 도메인은 존재하지만 어떤 제품을 봤는지 알 수 없다.
4. 3-2 "실패 패턴(벤치마킹에서 반복 확인)" 3개는 출처가 없다. 관찰이 아니라 가정이면 그렇게 써야 한다.
5. When2meet 링크에 LinkedIn 추적 파라미터(?trk=public_post_share…)가 붙어 있다. 스파크가 보고한 사이트 경로 /Users/minsoo/.scratch/kkiri-site는 이 머신에 존재하지 않는다(로컬 소스 위치 미확인).

5. 세 보고서 사이 충돌 — 결정이 필요한 것

대리인 발언 로그를 남길 것인가.

• 스파크 3-3: "[고우선] 익명 발언 로그 템플릿 고정" (남기고 형식을 고정)
• 쏠 D절: "'대리인 A가 말했다' 같은 가상 대사는 없앤다" (P0)
• 페이블 1페이저 MVP: "협상 단계에서 대리인 발언 로그(익명화) 표시" (남김)

세 문서가 정반대를 P0로 두고 있다. 페이블 권고는 쏠 쪽이다. 1페이저 약점 1번이 "AI가 아니라 규칙 아닌가"인데, 규칙 엔진이 만든 가짜 대사는 심사 Q&A에서 그 의심을 키운다. 로그는 빼고, 쏠의 4단계 진행 + 결과 화면의 "양보 지점·익명 집계"(이미 있음) + 스파크의 신뢰도 라벨("설명: 제약 기반")을 합치면 두 보고서의 의도를 다 살린다.

벤치마킹 문서 2개 병존. 사이트 내비에 "벤치마킹"(스파크)과 "벤치마킹(소넷)"이 나란히 있다. 외부 독자는 어느 게 공식인지 모른다. 소넷 본문(1~3장, 5장 권고)에 스파크 3-3·4장을 붙여 한 문서로 합치는 것을 권한다.

6. 권고 액션 순서

1. 로그 존폐 결정 → 쏠 P0 목록 확정
2. 스파크 문서 인용 복구·개수·출처 수정 (또는 소넷 문서로 통합)
3. 소넷 표에 논문 3편 추가, Doodle/Loomio 비공개 옵션 각주, 5분 출처 명시
4. 쏠 디자인 보고서 사이트 게시 (배포이므로 승인 후)