You cannot select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
50 lines
2.2 KiB
Markdown
50 lines
2.2 KiB
Markdown
# Phase 8 Testing Checklist
|
|
|
|
## 1. 전략 확장 테스트
|
|
- [ ] strategy registry에 새 전략 등록/비활성화/승격 가능
|
|
- [ ] draft 상태 전략이 live로 잘못 라우팅되지 않음
|
|
- [ ] 동일 종목 long/short 동시 포지션 금지 규칙 동작
|
|
- [ ] strategy_id 별 리스크 버킷 분리
|
|
- [ ] shadow / paper / live_limited / live_full 상태 전이 검증
|
|
|
|
## 2. 숏 엔진 테스트
|
|
- [ ] borrow unavailable이면 자동 no-trade
|
|
- [ ] locate/borrow 오류가 주문 제출 전에 감지
|
|
- [ ] HTB 비용 임계값 초과 시 진입 차단
|
|
- [ ] short-specific kill switch 동작
|
|
- [ ] 상승 갭 against position 시 emergency handling 동작
|
|
|
|
## 3. 모델 고도화 테스트
|
|
- [ ] baseline model이 항상 fallback으로 남음
|
|
- [ ] 새 모델 shadow inference가 production decision에 영향 없음
|
|
- [ ] model disagreement 로그 저장
|
|
- [ ] calibration 리포트 생성
|
|
- [ ] feature set version 불일치 시 배포 차단
|
|
|
|
## 4. 실행 최적화 테스트
|
|
- [ ] optimized execution off 시 baseline execution 복귀
|
|
- [ ] partial fill / no fill / delayed fill 재현
|
|
- [ ] implementation shortfall 계산 정확
|
|
- [ ] replay 결과와 live metric 포맷 일치
|
|
- [ ] broker adapter failure 시 no-trade 또는 baseline fallback
|
|
|
|
## 5. 연구 자동화 테스트
|
|
- [ ] post-trade review assistant가 입력 부족 시 안전 실패
|
|
- [ ] drift diagnosis가 과도한 경보를 남발하지 않음
|
|
- [ ] experiment recommender가 unsupported feature를 요구하지 않음
|
|
- [ ] 자동 요약이 원본 로그 링크 포함
|
|
- [ ] 자동화 결과가 rule 변경을 직접 수행하지 않음
|
|
|
|
## 6. 플랫폼/운영 테스트
|
|
- [ ] registry snapshot 복구 가능
|
|
- [ ] feature flag 롤백 가능
|
|
- [ ] config diff review 없이 production rollout 차단
|
|
- [ ] 권한 없는 사용자가 live config 변경 불가
|
|
- [ ] incident record 감사 가능
|
|
|
|
## 7. 통합 테스트
|
|
- [ ] 새 전략 추가 후 backtest → shadow → paper → live_limited 경로 동작
|
|
- [ ] core strategy attribution과 새 전략 attribution 분리
|
|
- [ ] degraded mode에서 core strategy만 남기고 나머지 off 가능
|
|
- [ ] 운영 재시작 후 registry / flags / runtime state 복구
|