배경: 공시, 뉴스, 매크로 지표 등 다양한 소스를 수동으로 확인하는 것은 비효율적. n8n으로 수집 → DB 저장 → 알림까지 자동화
워크플로 분류 체계
네이밍 컨벤션: [카테고리]: [이름] [이모지]
카테고리
태그
역할
예시
📊 Data
data
시장 데이터 수집
Market Indicators, Coinglass
📰 News
news
뉴스 수집/분석
Auto Fetcher, Market Briefings
👁️ Watch
watch
공시/규제 모니터링
DART, EDGAR, Congress
🔎 Discovery
discovery
종목 발굴
KO/US Stocks
⚡ Trade
trade
트레이딩 실행
Executor, Order Monitor
1. 공시 Watcher
DART 공시 Watcher (한국)
OpenDART API로 15분 주기 공시 수집 → 상장사 중요 공시만 AI 분석 → 텔레그램 알림
파이프라인
graph LR
A["Schedule<br/>(15분)"] --> B["Fetch<br/>(유가/코스닥/지분)"]
B --> C["Format &<br/>Dedupe"]
C --> D["UPSERT<br/>DB"]
C --> E["원문 크롤링<br/>→ Qdrant"]
D --> F["AI 분석<br/>(Gemini)"]
F --> G["Telegram<br/>알림"]
주요 기능
기능
상세
데이터 소스
OpenDART API (유가 주요사항, 코스닥 주요사항, 지분공시)
중요 공시 필터
유상증자, 합병, 자기주식, 최대주주변경 등 키워드 기반
AI 분석
Gemini Flash로 투자 임팩트 판정 (impact, score, summary)
카테고리 분류
major_event, financial, governance, regular
관심 종목 연동
market_targets 테이블 매칭 → 우선 처리
EDGAR Filing Watcher (미국)
SEC EDGAR에서 8-K, Form 4, S-1 공시를 15분 주기로 수집 → AI 분석 → 텔레그램 알림
파이프라인
graph LR
A["Schedule<br/>(15분)"] --> B["Fetch<br/>(8-K/Form 4/S-1)"]
B --> C["Parse &<br/>Dedupe"]
C --> D["UPSERT<br/>DB"]
C --> E["본문 추출<br/>→ Qdrant"]
D --> F["AI 분석<br/>(Gemini)"]
F --> G["Telegram<br/>알림"]
주요 기능
기능
상세
데이터 소스
SEC EFTS API (Elasticsearch JSON)
중복 방지
최근 3일 accession_no 조회 → 기존 건 스킵
본문 추출
SEC Submissions API → Primary Document 직접 fetch
AI 분석
Gemini 투자 영향도 점수 (-1.0 ~ 1.0)
트러블슈팅: SEC API URL이 www.sec.gov/cgi-bin/browse-edgar → efts.sec.gov로 변경되어 EFTS API로 전환. XML 파싱 대신 JSON 직접 반환으로 간소화.
2. 매크로 데이터 수집
FRED 경제지표
Data Watchers 워크플로에서 FRED API를 통해 주요 경제지표 자동 수집
심볼
지표
빈도
T10Y2Y
US 10Y-2Y Spread (경기침체 선행)
일간
BAMLH0A0HYM2
US High Yield Spread
일간
DEXKOUS
USD/KRW 환율
일간
DFF
Fed Funds Rate
일간
IRLTLT01KRM156N
한국 10Y 국채금리
월간
IRSTCI01KRM156N
한국 콜금리 (기준금리 대용)
월간
트러블슈팅: OpenBB API의 limit=1 파라미터가 가장 오래된 데이터를 반환하는 문제 발견 (1960년대 값이 현재 값으로 저장됨). start_date를 90일 전으로 지정하고 마지막 행을 사용하여 해결.
파생상품/옵션 데이터
워크플로
데이터
소스
주기
Coinglass Derivatives
OI, 청산, Funding Rate (BTC/ETH/SOL 등)
Coinglass API
4시간
CBOE Put/Call Ratio
SPY 옵션 P/C Ratio
OpenBB API
평일 1회
KRX KOSPI200 Options
CALL/PUT 거래량, 미결제약정
KRX Open API
평일 장마감 후
Naver Investor Flow
프로그램매매 순매수
네이버 금융 API
평일 2회
3. 멀티소스 스크래퍼
동일한 패턴(Schedule → Fetch → Filter → UPSERT → Qdrant)으로 다양한 외부 데이터 수집
워크플로
데이터 소스
수집 내용
주기
Tech Trend Watcher
HackerNews + GitHub
Top 30 스토리, stars > 100 레포
6시간
Corporate Intel Watcher
EDGAR S-1 + HN Hiring
IPO 신청, 채용 공고
1일
Policy Watcher
정책브리핑 RSS + 법제처 API
정책 뉴스, 제/개정 법령
6시간
Real Estate US Watcher
FRED (OpenBB 경유)
Case-Shiller, 모기지, 착공 건수
주 1회
Real Estate KR Watcher
data.go.kr
아파트 실거래가, 분양 정보
1일
Congress Watcher
US Congress API
미국 의회 법안
1일
Central Bank Speech
중앙은행 API
연설/성명 모니터링
1일
4. 공통 아키텍처
데이터 흐름
graph TB
subgraph 수집
A["API 호출<br/>(OpenDART, SEC, FRED...)"]
end
subgraph 처리
B["Format & Filter"]
C["중복 제거<br/>(DB 기존 건 체크)"]
end
subgraph 저장
D["PostgreSQL<br/>(구조화 데이터)"]
E["Qdrant<br/>(벡터 임베딩)"]
end
subgraph 알림
F["AI 분석<br/>(Gemini)"]
G["Telegram<br/>알림"]
end
A --> B --> C
C --> D --> F --> G
C --> E
