# Source Integration Specs

## 1. Yahoo Finance RSS
### 목적
티커 관련 뉴스 headline burst와 publisher breadth 측정.

### 수집 방식
- RSS feed polling
- 종목 또는 회사명 기반 기사 매칭
- 기사 URL canonicalization 및 deduplication

### 저장 필드
- source_name
- fetched_at
- article_guid
- url
- title
- publisher
- published_at
- matched_symbols[]
- confidence

### 주요 feature
- `headline_count_6h`
- `headline_count_24h`
- `publisher_breadth_24h`
- `headline_burst_zscore`

### 주의
- 같은 보도자료가 여러 매체에 재유통될 수 있으므로 dedupe 필수
- 본문 전체를 크롤링하지 말고 headline-level feature 중심 유지

## 2. YouTube Data API
### 목적
유명 투자 채널의 종목 언급과 초기 확산 속도 측정.

### 수집 방식
- whitelist channel registry 기반 추적
- `uploads` playlist polling 우선
- 필요 시 제한적 search
- video metadata + comment count 수집

### 저장 필드
- channel_id
- channel_title
- video_id
- published_at
- title
- description
- view_count
- like_count
- comment_count
- matched_symbols[]
- channel_weight
- collection_snapshot_at

### 주요 feature
- `youtube_mentions_24h`
- `youtube_weighted_views_24h`
- `youtube_influence_score`
- `youtube_comment_velocity`

### 주의
- 자막 다운로드 의존 금지
- 전체 유튜브 검색 전수화 금지
- 채널 whitelist와 alias matcher 품질이 중요

## 3. Wikimedia Pageviews
### 목적
리테일 관심 급증을 정량화.

### 수집 방식
- ticker/company ↔ wiki page map 유지
- daily pageviews ingestion

### 저장 필드
- page_title
- date
- views
- project
- access
- agent
- mapped_symbol

### 주요 feature
- `wiki_views_1d`
- `wiki_views_3d_change`
- `wiki_pageview_zscore_30d`
- `wiki_attention_shock_flag`

### 주의
- 다의어 페이지 매핑 오류 주의
- 회사 페이지와 제품/인물 페이지 혼동 방지

## 4. Google Trends (Experimental)
### 목적
개별 종목보다는 테마/섹터 관심도 측정.

### 수집 방식
- 제한된 topic registry 유지
- 일/주 단위 시계열 수집

### 저장 필드
- trend_topic_id
- topic_label
- geography
- granularity
- observed_at
- interest_value
- mapped_themes[]

### 주요 feature
- `theme_heat_7d`
- `theme_acceleration_7d`
- `theme_heat_regime`

### 주의
- individual ticker trigger로 직접 사용 금지
- experimental source로 분류

## 5. FINRA overlay loader
### 목적
crowding/short pressure overlay 계산.

### 입력
Phase 2 적재 완료된 short sale volume dataset 재사용.

### 주요 feature
- `short_volume_ratio`
- `short_volume_spike_zscore`
- `off_exchange_crowding_flag` (if available from OTC transparency datasets)

### 주의
- short interest와 혼동 금지
- post-close feature only