You cannot select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
120 lines
2.5 KiB
Markdown
120 lines
2.5 KiB
Markdown
# Quality Assurance and Manual Review
|
|
|
|
## 1. 목표
|
|
|
|
Phase 3의 성공 기준은 parser가 돌아가는 것만이 아니라, **신뢰할 수 있는 구조화 레코드와 피처**를 만드는 것입니다.
|
|
|
|
## 2. 품질 프레임워크
|
|
|
|
품질은 아래 4층으로 관리합니다.
|
|
|
|
1. **Schema quality**
|
|
- JSON validation 통과율
|
|
- required field completeness
|
|
2. **Extraction quality**
|
|
- 핵심 필드 정확도
|
|
- evidence 일치율
|
|
3. **Dataset quality**
|
|
- null rate
|
|
- distribution drift
|
|
- leakage 없음
|
|
4. **Operational quality**
|
|
- 파이프라인 성공률
|
|
- retry rate
|
|
- manual review backlog
|
|
|
|
## 3. Gold set 운영
|
|
|
|
### 목적
|
|
- parser 품질의 기준점 유지
|
|
- prompt/model 변경 시 회귀 검출
|
|
|
|
### 구성 원칙
|
|
- event_type별 대표 샘플 포함
|
|
- high quality / low quality / ambiguous 케이스 혼합
|
|
- earnings / contract / regulatory / misc 분산
|
|
- issuer 규모와 섹터 다양성 확보
|
|
|
|
### 최소 컬럼
|
|
- raw document reference
|
|
- human canonical labels
|
|
- evidence spans
|
|
- notes
|
|
- gold_version
|
|
|
|
## 4. review queue 우선순위
|
|
|
|
### P0
|
|
- schema invalid
|
|
- event_type unknown
|
|
- direction 충돌
|
|
- filing timestamp 이상
|
|
|
|
### P1
|
|
- guidance ambiguous
|
|
- one-off likely
|
|
- confidence 낮음
|
|
|
|
### P2
|
|
- evidence 부족
|
|
- minor categorical mismatch
|
|
|
|
## 5. 수동 검수 workflow
|
|
|
|
1. review item 생성
|
|
2. reviewer가 원문/증거/span 확인
|
|
3. canonical 수정
|
|
4. reviewer note 작성
|
|
5. disposition 저장
|
|
6. gold set 후보이면 승격
|
|
|
|
필수 기록:
|
|
- reviewer_id
|
|
- review_started_at
|
|
- review_completed_at
|
|
- field_overrides
|
|
- root_cause
|
|
- resolution_type
|
|
|
|
## 6. Root cause taxonomy
|
|
|
|
필수 분류:
|
|
- rule_parser_bug
|
|
- llm_misclassification
|
|
- prompt_ambiguity
|
|
- source_document_noise
|
|
- taxonomy_gap
|
|
- timestamp_error
|
|
- xbrl_mapping_error
|
|
- feature_builder_bug
|
|
|
|
## 7. 주간 품질 리포트
|
|
|
|
최소 포함 항목:
|
|
- parser success rate
|
|
- schema validation pass rate
|
|
- average confidence
|
|
- review queue inflow/outflow
|
|
- top root causes
|
|
- null rate by feature family
|
|
- label availability rate
|
|
- drift summary
|
|
|
|
## 8. 배포 게이트
|
|
|
|
아래 중 하나라도 충족 못 하면 parser/feature 변경 배포 금지:
|
|
- gold set accuracy 하락
|
|
- schema invalid 증가
|
|
- review backlog 폭증
|
|
- 핵심 feature null rate 급증
|
|
- leakage 점검 실패
|
|
|
|
## 9. 테스트 외 수동 점검
|
|
|
|
매 릴리스 전 20~50개 샘플 수동 점검 권장:
|
|
- 실적 release
|
|
- 가이던스 상향/하향
|
|
- one-off 착시 케이스
|
|
- ambiguous press release
|
|
- 6-K 외국 발행사 케이스
|