You cannot select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.

2.7 KiB

Raw Blame History

Source Integration Specs

1. Yahoo Finance RSS

목적

티커 관련 뉴스 headline burst와 publisher breadth 측정.

수집 방식

RSS feed polling
종목 또는 회사명 기반 기사 매칭
기사 URL canonicalization 및 deduplication

저장 필드

source_name
fetched_at
article_guid
url
title
publisher
published_at
matched_symbols[]
confidence

주요 feature

headline_count_6h
headline_count_24h
publisher_breadth_24h
headline_burst_zscore

주의

같은 보도자료가 여러 매체에 재유통될 수 있으므로 dedupe 필수
본문 전체를 크롤링하지 말고 headline-level feature 중심 유지

2. YouTube Data API

목적

유명 투자 채널의 종목 언급과 초기 확산 속도 측정.

수집 방식

whitelist channel registry 기반 추적
uploads playlist polling 우선
필요 시 제한적 search
video metadata + comment count 수집

저장 필드

channel_id
channel_title
video_id
published_at
title
description
view_count
like_count
comment_count
matched_symbols[]
channel_weight
collection_snapshot_at

주요 feature

youtube_mentions_24h
youtube_weighted_views_24h
youtube_influence_score
youtube_comment_velocity

주의

자막 다운로드 의존 금지
전체 유튜브 검색 전수화 금지
채널 whitelist와 alias matcher 품질이 중요

3. Wikimedia Pageviews

목적

리테일 관심 급증을 정량화.

수집 방식

ticker/company ↔ wiki page map 유지
daily pageviews ingestion

저장 필드

page_title
date
views
project
access
agent
mapped_symbol

주요 feature

wiki_views_1d
wiki_views_3d_change
wiki_pageview_zscore_30d
wiki_attention_shock_flag

주의

다의어 페이지 매핑 오류 주의
회사 페이지와 제품/인물 페이지 혼동 방지

4. Google Trends (Experimental)

목적

개별 종목보다는 테마/섹터 관심도 측정.

수집 방식

제한된 topic registry 유지
일/주 단위 시계열 수집

저장 필드

trend_topic_id
topic_label
geography
granularity
observed_at
interest_value
mapped_themes[]

주요 feature

theme_heat_7d
theme_acceleration_7d
theme_heat_regime

주의

individual ticker trigger로 직접 사용 금지
experimental source로 분류

5. FINRA overlay loader

목적

crowding/short pressure overlay 계산.

입력

Phase 2 적재 완료된 short sale volume dataset 재사용.

주요 feature

short_volume_ratio
short_volume_spike_zscore
off_exchange_crowding_flag (if available from OTC transparency datasets)

주의

short interest와 혼동 금지
post-close feature only