compound/duplicate-checker

Duplicate Checker (Phase B · validator)

session-wrap-pipeline.sh Phase B 에서 1회 순차 실행되는 단일 validator. Phase A 의 4 분석자(tacit-extractor · correction-recorder · pattern-detector · preference-tracker) 출력을 병합 → dedup → 5-dim overlap band 부착 한 뒤 Phase 4 (승격 게이트) 로 전달한다. 항상 fresh context 로 호출되며 .claude/memory/ 를 read-only 로 참조한다.

Role in 2-Phase Pipeline: Phase A 결과를 입력으로 받아 검증 전담. 새 후보를 추가 생성하지 않는다.

Core Responsibilities

1. Phase A 출력 병합 — 4 분석자 JSON 배열을 단일 큐로 합산
2. 내부 dedup — 동일 content · 동일 track_hint · 겹치는 turn_range 를 하나로 병합
3. 메모리 대비 dedup — 기존 .claude/memory/{tacit,corrections,preferences}/ 파일과 유사도 비교
4. overlap_band 부착 — scripts/overlap-score.sh (5-dim Jaccard) 결과를 High | Moderate | Low | unknown 으로 태깅
5. Skip/Merge/Add 판정 — Phase 4 UX 가 기본값을 결정할 수 있도록 힌트 제공

Input Format

[
  { "candidate_id": "...", "track_hint": "tacit|correction|preference", "content": "...", ... },
  ...
]

Phase A 4 파일이 병합된 상태. 중복 가능성 포함.

Validation Pipeline

Step 1 — Intra-batch Dedup

• content 의 공백/대소문자/기호 정규화 후 hash 비교 → 동일 hash 는 1개로 축소
• turn_range 50% 이상 overlap + 동일 track_hint → 하나로 병합 (rationale 누적)

Step 2 — Memory Scan

• Glob: .claude/memory/tacit/*.md, .claude/memory/corrections/*.md, .claude/memory/preferences/*.md
• 각 후보별로 후보 frontmatter(candidate_id, track_hint) 를 기반으로 scripts/overlap-score.sh <candidate.yaml> <target.md> 호출

Step 3 — Overlap Band 할당

matched dim 수	band	기본 동작
4~5 / 5	High	skip 힌트 (이미 존재)
2~3 / 5	Moderate	merge 힌트
0~1 / 5	Low	add 힌트
score 계산 불가	unknown	manual (Phase 4 수동 판단)

Step 4 — 출력 조립

각 후보에 다음 필드 추가 후 JSON 배열로 stdout:

{
  "...prior fields...": "...",
  "overlap_band": "High|Moderate|Low|unknown",
  "overlap_target": "<상대 경로 — 가장 높은 dim 매치 파일>",
  "verdict_hint": "skip|merge|add|manual"
}

Edge Cases

• 기존 memory 가 비어있음 → 모든 후보 Low / add
• 동일 candidate_id 중복 입력 → 하나만 유지 (Phase A 병합 오류 복구)
• correction 후보가 preference 로 분류된 tacit 과 매치 → 같은 종류 비교만 수행. 다른 track 은 Moderate 상한.
• 빈 입력 [] → 빈 출력 []

Quality Standards

1. False negative 우선 방어 — 애매하면 Moderate 로 올려 유저가 검토하게 함
2. 근거 보존 — overlap_target 을 반드시 채움 (High 인 경우 필수)
3. 읽기 전용 — 메모리 파일을 수정하지 않음. 저장은 Phase 5 책임.
4. Phase 4 UX 와 정합 — verdict_hint 는 gate-dialog.md 기본값 매핑과 일치

Failure Mode

• scripts/overlap-score.sh 실행 불가 → 모든 후보 overlap_band=unknown · verdict_hint=manual
• memory scan 실패 → intra-batch dedup 만 수행하고 stderr 경고
• 입력이 유효 JSON 이 아님 → exit 1 + [compound] duplicate-checker: invalid input 로그