← Kembali

Tier System Design — Analisis Turnover & Threshold

analisis efisiensi system-design tier

errors

  • Pemborosan API quota masif — 956 stocks di-fetch tiap 5 menit tanpa terkecuali. Total: ~11.472 API calls per jam, ~275.328 per hari. Sebagian besar untuk saham tidur yang volume tradingnya cuma 100 lembar/hari.

Log fetcher menunjukkan: 2026-07-30 19:17:32 - __main__ - WARNING - 50 consecutive failures — rate limited. Pausing 120s...

  • Bandwidth terbuang — Data OHLC 5m untuk saham tidur hampir selalu flat (no change). Fetch tiap 5 menit cuma dapet data yang sama terus.
  • Yahoo Finance rate limiting risk — Semakin banyak API calls, makin besar risiko kena rate limit. Satu batch gagal gara-gara limit bisa nge-reset semua progress.
  • Tidak ada prioritas data — Saham yang lagi aktif banget (turnover puluhan miliar) dapat treatment yang sama dengan saham mati suri. Data real-time untuk saham aktif jadi kurang optimal.
  • Systemic issue: 956 stocks × tiap 5 menit = ~11.472 API calls/jam. yfinance rate limit di 2000-5000 requests/jam untuk IP publik. 80% API calls terbuang untuk saham tidur (volume < Rp1M/hari).

context

Sistem real-time fetching berjalan dengan satu frekuensi seragam: 5 menit untuk semua stocks. Tiered fetcher (radar/utils/realtime_updater.py) jalan via PM2 cron */5 * * * *. Selama ini pendekatan "one size fits all" dianggap cukup. Tapi setelah berjalan beberapa minggu, ketahuan: 615 dari 956 stocks masuk kategori tidur (turnover < Rp1M/hari). Fetch tiap 5 menit untuk 615 stocks ini jelas mubazir.

problem

Masalah utamanya adalah inefisiensi resource — API calls, bandwidth, CPU time, dan database writes yang terbuang untuk saham yang datanya jarang berubah. Root cause-nya: tidak ada klasifikasi atau tiering berdasarkan aktivitas saham. Semua dianggap sama penting. Ini masalah system design yang fundamental — skalanya 956 stocks tapi di-fetch dengan strategi yang cocok untuk 50 stocks.

investigation

  1. Analisis distribusi turnover: query database untuk 20-day average turnover dari data ohlc_5m dan ohlc_daily. Group by stock_id, sort descending.

sql -- Analisis distribusi turnover untuk threshold tier SELECT CASE WHEN avg_turnover_20d >= 50000000000 THEN 'sangat_aktif' WHEN avg_turnover_20d >= 5000000000 THEN 'aktif' WHEN avg_turnover_20d >= 1000000000 THEN 'semi' ELSE 'tidur' END as tier, COUNT(*) as count FROM smart_stock_scores GROUP BY 1 ORDER BY 1;

Actual result: tier | count --------------+------- sangat_aktif | 55 aktif | 134 semi | 152 tidur | 615

  1. Identifikasi natural breakpoints: plot distribusi turnover — ada gap jelas di Rp50M, Rp5M, dan Rp1M per 5 menit.
  2. Hitung coverage tier: klasifikasi 956 stocks ke 4 tier berdasarkan turnover:
  3. Sangat aktif (≥50M): 55 stocks — butuh real-time tiap 5m
  4. Aktif (≥5M): 134 stocks — tiap 10m cukup
  5. Semi (≥1M): 152 stocks — tiap 2 jam
  6. Tidur (<1M): 615 stocks — cukup sekali nightly
  7. Proyeksi penghematan: dari 11.472 API calls/jam → estimasi turun ke ~2.000 calls/jam. Hemat ~80%.

root-cause

Satu frekuensi fetch untuk semua stocks adalah desain yang nggak scalable. Keputusan awal "fetch semua tiap 5 menit" diambil pas jumlah stocks masih sedikit dan belum ada data turnover untuk referensi. Setelah 956 stocks dengan variasi aktivitas ekstrem, pendekatan ini jadi bottleneck resource dan risiko rate limit.

Satu frekuensi fetch untuk 956 stocks adalah pemborosan sistemik. Tidak ada diferensiasi antara saham likuid (BBRI, BBCA) dengan saham tidur. yfinance rate limit ~2000 request/jam, kita butuh 11.472 — 5.7× di atas batas.

solution

  1. Tambah kolom fetch_tier ke tabel stocks — VARCHAR(20) dengan nilai: sangat_aktif, aktif, semi, tidur. Default: tidur.
  2. Threshold berbasis data real — bukan tebakan, tapi berdasarkan distribusi 20-day avg turnover dari database:
  3. sangat_aktif ≥ Rp50M per 5 menit
  4. aktif ≥ Rp5M per 5 menit
  5. semi ≥ Rp1M per 5 menit
  6. tidur < Rp1M per 5 menit
  7. Draft tier_classifier.py — script untuk update fetch_tier otomatis tiap malam. Query ohlc_5m aggregate, hitung avg turnover 20 hari, update kolom.
  8. Fondasi untuk tiered fetcher — nanti radar/utils/tiered_fetcher.py bakal ganti realtime_updater.py, baca fetch_tier dari DB, dan tentukan frekuensi fetch berdasarkan tier.

insight

  • One size fits all itu jahat di scale. Design yang cocok untuk 50 stocks belum tentu cocok untuk 956 stocks. Selalu design dengan scaling in mind — atau set least, siap-siap refactor pas scale berubah.
  • Data-driven decision > intuition. Threshold Rp50M/Rp5M/Rp1M bukan tebakan — berdasarkan analisis distribusi turnover aktual. Ini bikin klasifikasi lebih akurat dan defensible.
  • Pareto principle (80/20 rule) berlaku di sini. ~20% stocks (aktif + sangat aktif) responsible buat ~80% volume trading. Fetch strategy harus reflect ini.
  • Classification itu iteratif. Tier bukan sesuatu yang statis — saham bisa pindah tier. Makanya tier_classifier.py jalan tiap malam, bukan sekali doang.

gotchas

  • Turnover bisa berubah drastis kalau ada corporate action (stock split, right issue, merger). Saham yang tadinya tidur bisa jadi sangat_aktif dalam sehari. Tier classifier harus jalan minimal daily.
  • Threshold dalam Rupiah — perlu adjust kalau inflasi atau nilai tukar berubah drastis. Might need periodic review (tahunan).
  • Kolom fetch_tier di stocks table — pastikan ada index untuk query WHERE fetch_tier IN ('sangat_aktif', 'aktif'). Tanpa index, query filtering bisa lambat untuk 956 rows (meskipun kecil, better practice).
  • Jangan hapus realtime_updater.py sebelum tiered_fetcher.py selesai dan tested. Migration harus gradual — dual running dulu, lalu cut over.
  • Ada edge case: saham IPO baru (listing < 20 hari) belum punya 20-day avg turnover. Harus fallback ke tier semi atau aktif berdasarkan sector peer.
  • ohlc_5m mungkin belum punya data 20 hari penuh untuk semua stocks — query perlu handle NULL/insufficient data gracefully.

Terakhir diperbarui 31 Jul 2026 00:15

Comments