fithia2/dev/phase3_deliverables/quality_assurance_and_review.md

Quality Assurance and Manual Review

1. 목표

Phase 3의 성공 기준은 parser가 돌아가는 것만이 아니라, 신뢰할 수 있는 구조화 레코드와 피처를 만드는 것입니다.

2. 품질 프레임워크

품질은 아래 4층으로 관리합니다.

1. Schema quality
   • JSON validation 통과율
   • required field completeness
2. Extraction quality
   • 핵심 필드 정확도
   • evidence 일치율
3. Dataset quality
   • null rate
   • distribution drift
   • leakage 없음
4. Operational quality
   • 파이프라인 성공률
   • retry rate
   • manual review backlog

3. Gold set 운영

목적

• parser 품질의 기준점 유지
• prompt/model 변경 시 회귀 검출

구성 원칙

• event_type별 대표 샘플 포함
• high quality / low quality / ambiguous 케이스 혼합
• earnings / contract / regulatory / misc 분산
• issuer 규모와 섹터 다양성 확보

최소 컬럼

• raw document reference
• human canonical labels
• evidence spans
• notes
• gold_version

4. review queue 우선순위

P0

• schema invalid
• event_type unknown
• direction 충돌
• filing timestamp 이상

P1

• guidance ambiguous
• one-off likely
• confidence 낮음

P2

• evidence 부족
• minor categorical mismatch

5. 수동 검수 workflow

1. review item 생성
2. reviewer가 원문/증거/span 확인
3. canonical 수정
4. reviewer note 작성
5. disposition 저장
6. gold set 후보이면 승격

필수 기록:

• reviewer_id
• review_started_at
• review_completed_at
• field_overrides
• root_cause
• resolution_type

6. Root cause taxonomy

필수 분류:

• rule_parser_bug
• llm_misclassification
• prompt_ambiguity
• source_document_noise
• taxonomy_gap
• timestamp_error
• xbrl_mapping_error
• feature_builder_bug

7. 주간 품질 리포트

최소 포함 항목:

• parser success rate
• schema validation pass rate
• average confidence
• review queue inflow/outflow
• top root causes
• null rate by feature family
• label availability rate
• drift summary

8. 배포 게이트

아래 중 하나라도 충족 못 하면 parser/feature 변경 배포 금지:

• gold set accuracy 하락
• schema invalid 증가
• review backlog 폭증
• 핵심 feature null rate 급증
• leakage 점검 실패

9. 테스트 외 수동 점검

매 릴리스 전 20~50개 샘플 수동 점검 권장:

• 실적 release
• 가이던스 상향/하향
• one-off 착시 케이스
• ambiguous press release
• 6-K 외국 발행사 케이스