fithia2/dev/phase8_deliverables/testing_checklist.md

Phase 8 Testing Checklist

1. 전략 확장 테스트

• strategy registry에 새 전략 등록/비활성화/승격 가능
• draft 상태 전략이 live로 잘못 라우팅되지 않음
• 동일 종목 long/short 동시 포지션 금지 규칙 동작
• strategy_id 별 리스크 버킷 분리
• shadow / paper / live_limited / live_full 상태 전이 검증

2. 숏 엔진 테스트

• borrow unavailable이면 자동 no-trade
• locate/borrow 오류가 주문 제출 전에 감지
• HTB 비용 임계값 초과 시 진입 차단
• short-specific kill switch 동작
• 상승 갭 against position 시 emergency handling 동작

3. 모델 고도화 테스트

• baseline model이 항상 fallback으로 남음
• 새 모델 shadow inference가 production decision에 영향 없음
• model disagreement 로그 저장
• calibration 리포트 생성
• feature set version 불일치 시 배포 차단

4. 실행 최적화 테스트

• optimized execution off 시 baseline execution 복귀
• partial fill / no fill / delayed fill 재현
• implementation shortfall 계산 정확
• replay 결과와 live metric 포맷 일치
• broker adapter failure 시 no-trade 또는 baseline fallback

5. 연구 자동화 테스트

• post-trade review assistant가 입력 부족 시 안전 실패
• drift diagnosis가 과도한 경보를 남발하지 않음
• experiment recommender가 unsupported feature를 요구하지 않음
• 자동 요약이 원본 로그 링크 포함
• 자동화 결과가 rule 변경을 직접 수행하지 않음

6. 플랫폼/운영 테스트

• registry snapshot 복구 가능
• feature flag 롤백 가능
• config diff review 없이 production rollout 차단
• 권한 없는 사용자가 live config 변경 불가
• incident record 감사 가능

7. 통합 테스트

• 새 전략 추가 후 backtest → shadow → paper → live_limited 경로 동작
• core strategy attribution과 새 전략 attribution 분리
• degraded mode에서 core strategy만 남기고 나머지 off 가능
• 운영 재시작 후 registry / flags / runtime state 복구