You cannot select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
136 lines
2.7 KiB
Markdown
136 lines
2.7 KiB
Markdown
# Source Integration Specs
|
|
|
|
## 1. Yahoo Finance RSS
|
|
### 목적
|
|
티커 관련 뉴스 headline burst와 publisher breadth 측정.
|
|
|
|
### 수집 방식
|
|
- RSS feed polling
|
|
- 종목 또는 회사명 기반 기사 매칭
|
|
- 기사 URL canonicalization 및 deduplication
|
|
|
|
### 저장 필드
|
|
- source_name
|
|
- fetched_at
|
|
- article_guid
|
|
- url
|
|
- title
|
|
- publisher
|
|
- published_at
|
|
- matched_symbols[]
|
|
- confidence
|
|
|
|
### 주요 feature
|
|
- `headline_count_6h`
|
|
- `headline_count_24h`
|
|
- `publisher_breadth_24h`
|
|
- `headline_burst_zscore`
|
|
|
|
### 주의
|
|
- 같은 보도자료가 여러 매체에 재유통될 수 있으므로 dedupe 필수
|
|
- 본문 전체를 크롤링하지 말고 headline-level feature 중심 유지
|
|
|
|
## 2. YouTube Data API
|
|
### 목적
|
|
유명 투자 채널의 종목 언급과 초기 확산 속도 측정.
|
|
|
|
### 수집 방식
|
|
- whitelist channel registry 기반 추적
|
|
- `uploads` playlist polling 우선
|
|
- 필요 시 제한적 search
|
|
- video metadata + comment count 수집
|
|
|
|
### 저장 필드
|
|
- channel_id
|
|
- channel_title
|
|
- video_id
|
|
- published_at
|
|
- title
|
|
- description
|
|
- view_count
|
|
- like_count
|
|
- comment_count
|
|
- matched_symbols[]
|
|
- channel_weight
|
|
- collection_snapshot_at
|
|
|
|
### 주요 feature
|
|
- `youtube_mentions_24h`
|
|
- `youtube_weighted_views_24h`
|
|
- `youtube_influence_score`
|
|
- `youtube_comment_velocity`
|
|
|
|
### 주의
|
|
- 자막 다운로드 의존 금지
|
|
- 전체 유튜브 검색 전수화 금지
|
|
- 채널 whitelist와 alias matcher 품질이 중요
|
|
|
|
## 3. Wikimedia Pageviews
|
|
### 목적
|
|
리테일 관심 급증을 정량화.
|
|
|
|
### 수집 방식
|
|
- ticker/company ↔ wiki page map 유지
|
|
- daily pageviews ingestion
|
|
|
|
### 저장 필드
|
|
- page_title
|
|
- date
|
|
- views
|
|
- project
|
|
- access
|
|
- agent
|
|
- mapped_symbol
|
|
|
|
### 주요 feature
|
|
- `wiki_views_1d`
|
|
- `wiki_views_3d_change`
|
|
- `wiki_pageview_zscore_30d`
|
|
- `wiki_attention_shock_flag`
|
|
|
|
### 주의
|
|
- 다의어 페이지 매핑 오류 주의
|
|
- 회사 페이지와 제품/인물 페이지 혼동 방지
|
|
|
|
## 4. Google Trends (Experimental)
|
|
### 목적
|
|
개별 종목보다는 테마/섹터 관심도 측정.
|
|
|
|
### 수집 방식
|
|
- 제한된 topic registry 유지
|
|
- 일/주 단위 시계열 수집
|
|
|
|
### 저장 필드
|
|
- trend_topic_id
|
|
- topic_label
|
|
- geography
|
|
- granularity
|
|
- observed_at
|
|
- interest_value
|
|
- mapped_themes[]
|
|
|
|
### 주요 feature
|
|
- `theme_heat_7d`
|
|
- `theme_acceleration_7d`
|
|
- `theme_heat_regime`
|
|
|
|
### 주의
|
|
- individual ticker trigger로 직접 사용 금지
|
|
- experimental source로 분류
|
|
|
|
## 5. FINRA overlay loader
|
|
### 목적
|
|
crowding/short pressure overlay 계산.
|
|
|
|
### 입력
|
|
Phase 2 적재 완료된 short sale volume dataset 재사용.
|
|
|
|
### 주요 feature
|
|
- `short_volume_ratio`
|
|
- `short_volume_spike_zscore`
|
|
- `off_exchange_crowding_flag` (if available from OTC transparency datasets)
|
|
|
|
### 주의
|
|
- short interest와 혼동 금지
|
|
- post-close feature only
|