errors
- tier_classifier.py error jika
avg_turnover_20dNULL:TypeError: '>=' not supported between instances of 'NoneType' and 'int' - tiered_fetcher.py fetch di luar jam market: banyak "No data — skip" log padahal API call sudah terlanjur dilakukan
Tidak ada error runtime — proyek ini murni pengembangan fitur baru. Namun kondisi awal menunjukkan inefisiensi sistemik: realtime_updater.py memanggil API yfinance untuk 956 stocks dengan frekuensi identik tiap 5 menit, menghasilkan ~11.472 API calls/jam. Sebagian besar calls ini percuma karena 615 stocks (64%) adalah saham tidur dengan turnover < Rp1M/hari.
context
Tier system sudah didesain dan disetujui di tahap perencanaan sebelumnya. Sekarang saatnya implementasi penuh: (1) classifier untuk mengisi kolom fetch_tier yang masih kosong di tabel stocks, dan (2) tiered fetcher sebagai pengganti realtime_updater.py. Lingkungan: shared .venv, database PostgreSQL mrcuan_db, semua service via PM2.
problem
- Tidak ada classifier — kolom
fetch_tierdi tabelstocksmasih NULL untuk 956 baris. Tidak ada mekanisme untuk mengkategorikan saham berdasarkan aktivitas perdagangan. - Tidak ada tiered fetcher —
realtime_updater.pymemperlakukan semua saham sama: fetch tiap 5 menit tanpa memedulikan turnover. - API boros — 956 stocks × tiap 5 menit = ~11.472 calls/jam. Untuk saham tidur dengan volume < Rp1M/hari, data harga 5 menit tidak memberikan nilai tambah apapun.
investigation
Menganalisis distribusi turnover 20 hari dari seluruh 956 stocks untuk menentukan threshold tier. Data menunjukkan: - Hanya 55 stocks dengan turnover ≥ Rp50M/hari (sangat aktif) - 134 stocks dengan turnover Rp5-50M/hari (aktif) - 152 stocks dengan turnover Rp1-5M/hari (semi aktif) - 615 stocks dengan turnover < Rp1M/hari (tidur)
Dari situ disusun korelasi: makin tinggi turnover, makin penting data real-time-nya. Saham tidur cukup di-update nightly via fetcher batch.
root-cause
Ketidakmampuan sistem lama (realtime_updater.py) untuk membedakan tingkat aktivitas saham menyebabkan alokasi sumber daya seragam — API calls dan waktu CPU dihabiskan sama banyak untuk saham aktif maupun saham tidur. Akar masalahnya: tidak ada kolom klasifikasi (fetch_tier) dan tidak ada logika berbasis turnover.
solution
tier_classifier.py(file baru): cron0 1 * * *(08:00 WIB), updatefetch_tierberdasarkan average turnover 20 hari:- ≥ Rp50M →
sangat_aktif - ≥ Rp5M →
aktif - ≥ Rp1M →
semi - < Rp1M →
tidur
Klasifikasi dengan guard untuk NULL:
python
def classify_stock(avg_turnover):
if avg_turnover is None:
return 'tidur' # default untuk stocks tanpa data turnover
if avg_turnover >= 50_000_000_000:
return 'sangat_aktif'
elif avg_turnover >= 5_000_000_000:
return 'aktif'
elif avg_turnover >= 1_000_000_000:
return 'semi'
else:
return 'tidur'
tiered_fetcher.py(file baru): menggantikanrealtime_updater.py:sangat_aktif(55 stocks) → tiap 5 menitaktif(134 stocks) → tiap 10 menitsemi(152 stocks) → tiap 2 jamtidur(615 stocks) → nightly via fetcher_batch
Market hours guard: ```python from datetime import datetime, time, timezone, timedelta
def should_fetch(): now = datetime.now() wib = now.astimezone(timezone(timedelta(hours=7))) if wib.weekday() >= 5: return False market_open = time(8, 30) market_close = time(18, 0) if not (market_open <= wib.time() <= market_close): return False return True ```
- Tetap upsert ke
ohlc_5mdan updatecurrent_price/volume_spike/price_updated_at realtime_updater.pydi-deprecate (tidak langsung dihapus, untuk fallback)
insight
Efisiensi data pipeline bukan cuma soal kode — tapi soal memahami pola data. Dengan mengelompokkan stocks berdasarkan turnover, kita bisa menghemat 88% API calls (~11.472/hr → ~1.356/hr) tanpa mengorbankan kualitas data untuk saham-saham penting. Pelajaran: jangan seragamkan treatment untuk data yang heterogen.
gotchas
- Threshold turnover perlu ditinjau berkala — inflasi dan perubahan bursa bisa mengubah distribusi turnover. Pastikan classifier jalan tiap malam untuk update otomatis.
- Transisi tier — saham yang naik dari
tidurkesemiharus segera terdeteksi oleh classifier nightly, bukan menunggu manual. - Deprecation strategy —
realtime_updater.pyjangan langsung dihapus; simpan sebagai fallback sampai tiered_fetcher teruji stabil minimal 1 minggu. - Race condition — classifier dan tiered fetcher jangan berjalan bersamaan; jadwalkan classifier di luar jam market (08:00 WIB, sebelum market buka).
- UTC vs WIB conversion — jebakan klasik!
python # System timezone adalah UTC. Kalau bandingin jam langsung: # datetime.now() # 03:00 UTC → 10:00 WIB ✅ (jam market) # Tapi kalau dibandingin dengan 08:30 langsung: # if 8 <= datetime.now().hour <= 17: ❌ — ini 08:00 UTC = 15:00 WIB!
Comments