← Kembali

Tier Implementation — Classifier & Tiered Fetcher

efisiensi fetcher implementasi tier

errors

  • tier_classifier.py error jika avg_turnover_20d NULL: TypeError: '>=' not supported between instances of 'NoneType' and 'int'
  • tiered_fetcher.py fetch di luar jam market: banyak "No data — skip" log padahal API call sudah terlanjur dilakukan

Tidak ada error runtime — proyek ini murni pengembangan fitur baru. Namun kondisi awal menunjukkan inefisiensi sistemik: realtime_updater.py memanggil API yfinance untuk 956 stocks dengan frekuensi identik tiap 5 menit, menghasilkan ~11.472 API calls/jam. Sebagian besar calls ini percuma karena 615 stocks (64%) adalah saham tidur dengan turnover < Rp1M/hari.

context

Tier system sudah didesain dan disetujui di tahap perencanaan sebelumnya. Sekarang saatnya implementasi penuh: (1) classifier untuk mengisi kolom fetch_tier yang masih kosong di tabel stocks, dan (2) tiered fetcher sebagai pengganti realtime_updater.py. Lingkungan: shared .venv, database PostgreSQL mrcuan_db, semua service via PM2.

problem

  1. Tidak ada classifier — kolom fetch_tier di tabel stocks masih NULL untuk 956 baris. Tidak ada mekanisme untuk mengkategorikan saham berdasarkan aktivitas perdagangan.
  2. Tidak ada tiered fetcher — realtime_updater.py memperlakukan semua saham sama: fetch tiap 5 menit tanpa memedulikan turnover.
  3. API boros — 956 stocks × tiap 5 menit = ~11.472 calls/jam. Untuk saham tidur dengan volume < Rp1M/hari, data harga 5 menit tidak memberikan nilai tambah apapun.

investigation

Menganalisis distribusi turnover 20 hari dari seluruh 956 stocks untuk menentukan threshold tier. Data menunjukkan: - Hanya 55 stocks dengan turnover ≥ Rp50M/hari (sangat aktif) - 134 stocks dengan turnover Rp5-50M/hari (aktif) - 152 stocks dengan turnover Rp1-5M/hari (semi aktif) - 615 stocks dengan turnover < Rp1M/hari (tidur)

Dari situ disusun korelasi: makin tinggi turnover, makin penting data real-time-nya. Saham tidur cukup di-update nightly via fetcher batch.

root-cause

Ketidakmampuan sistem lama (realtime_updater.py) untuk membedakan tingkat aktivitas saham menyebabkan alokasi sumber daya seragam — API calls dan waktu CPU dihabiskan sama banyak untuk saham aktif maupun saham tidur. Akar masalahnya: tidak ada kolom klasifikasi (fetch_tier) dan tidak ada logika berbasis turnover.

solution

  1. tier_classifier.py (file baru): cron 0 1 * * * (08:00 WIB), update fetch_tier berdasarkan average turnover 20 hari:
  2. ≥ Rp50M → sangat_aktif
  3. ≥ Rp5M → aktif
  4. ≥ Rp1M → semi
  5. < Rp1M → tidur

Klasifikasi dengan guard untuk NULL: python def classify_stock(avg_turnover): if avg_turnover is None: return 'tidur' # default untuk stocks tanpa data turnover if avg_turnover >= 50_000_000_000: return 'sangat_aktif' elif avg_turnover >= 5_000_000_000: return 'aktif' elif avg_turnover >= 1_000_000_000: return 'semi' else: return 'tidur'

  1. tiered_fetcher.py (file baru): menggantikan realtime_updater.py:
  2. sangat_aktif (55 stocks) → tiap 5 menit
  3. aktif (134 stocks) → tiap 10 menit
  4. semi (152 stocks) → tiap 2 jam
  5. tidur (615 stocks) → nightly via fetcher_batch

Market hours guard: ```python from datetime import datetime, time, timezone, timedelta

def should_fetch(): now = datetime.now() wib = now.astimezone(timezone(timedelta(hours=7))) if wib.weekday() >= 5: return False market_open = time(8, 30) market_close = time(18, 0) if not (market_open <= wib.time() <= market_close): return False return True ```

  1. Tetap upsert ke ohlc_5m dan update current_price/volume_spike/price_updated_at
  2. realtime_updater.py di-deprecate (tidak langsung dihapus, untuk fallback)

insight

Efisiensi data pipeline bukan cuma soal kode — tapi soal memahami pola data. Dengan mengelompokkan stocks berdasarkan turnover, kita bisa menghemat 88% API calls (~11.472/hr → ~1.356/hr) tanpa mengorbankan kualitas data untuk saham-saham penting. Pelajaran: jangan seragamkan treatment untuk data yang heterogen.

gotchas

  • Threshold turnover perlu ditinjau berkala — inflasi dan perubahan bursa bisa mengubah distribusi turnover. Pastikan classifier jalan tiap malam untuk update otomatis.
  • Transisi tier — saham yang naik dari tidur ke semi harus segera terdeteksi oleh classifier nightly, bukan menunggu manual.
  • Deprecation strategy — realtime_updater.py jangan langsung dihapus; simpan sebagai fallback sampai tiered_fetcher teruji stabil minimal 1 minggu.
  • Race condition — classifier dan tiered fetcher jangan berjalan bersamaan; jadwalkan classifier di luar jam market (08:00 WIB, sebelum market buka).
  • UTC vs WIB conversion — jebakan klasik! python # System timezone adalah UTC. Kalau bandingin jam langsung: # datetime.now() # 03:00 UTC → 10:00 WIB ✅ (jam market) # Tapi kalau dibandingin dengan 08:30 langsung: # if 8 <= datetime.now().hour <= 17: ❌ — ini 08:00 UTC = 15:00 WIB!

Terakhir diperbarui 31 Jul 2026 00:15

Comments