← Kembali

Major Pipeline Overhaul — Priority Analysis, TP Tracking & Dead Code Cleanup

cleanup pipeline priority tracking

errors

  1. accum_validity threshold impossible: kondisi total_score > 7 digunakan untuk validasi akumulasi, padahal score maksimum yang mungkin dari sistem scoring adalah 5.92. Akibatnya: 0 stocks pernah lolos validasi akumulasi — fitur ini mati total tanpa ada yang sadar. python # accumulator_validity di signal_tracker.py: # ❌ SEBELUM (salah, impossible): # WHERE total_score > 7 → max score = 5.92, jadi TIDAK PERNAH qualified # ✅ SESUDAH (benar): # WHERE accumulation_score >= 1.5 AND total_score >= 3.5
  2. Data health monitor false alarm: coverage check melaporkan 0% untuk hari libur karena membandingkan max(date) dengan CURRENT_DATE, bukan dengan last market day.
  3. runner.py errors saat stock tidak ditemukan: python # runner.py line 73 — ValueError saat stock tidak ditemukan: raise ValueError(f"Saham '{symbol}' tidak ditemukan di database.") # runner.py line 78 — RuntimeError saat OHLC kosong: raise RuntimeError(f"Tidak ada data OHLCV untuk {symbol} (timeframe={timeframe}).") # runner.py line 82 — RuntimeError saat dataframe kosong: raise RuntimeError(f"DataFrame OHLCV kosong untuk {symbol}.") # runner.py line 91 — RuntimeError validasi gagal: raise RuntimeError(f"Validasi OHLC gagal untuk {symbol}: {message}") Real log dari scheduler: ❌ BBRI — Saham 'BBRI' tidak ditemukan di database [0.05s] ❌ BBCA — Tidak ada data OHLCV untuk BBCA (timeframe=1d)

context

Pipeline analisis MrCuan Radar perlu ditingkatkan untuk mendukung real-time priority stocks. Beberapa bug serius ditemukan di threshold scoring, belum ada target price tracking, dan banyak dead code dari project JorbelBot lama yang mengotori repository.

problem

  1. Tidak ada quick analysis — full analysis 956 stocks makan waktu ~30-45 menit, tidak bisa jalan tiap 10 menit untuk memonitor pergerakan intraday.
  2. accum_validity threshold salah — menggunakan total_score > 7 yang impossible (max score = 5.92). Seluruh logika validasi akumulasi tidak pernah aktif.
  3. Tidak ada TP (Target Price) tracking — entry analysis memberikan rekomendasi beli tapi tidak ada mekanisme untuk melacak kapan saham mencapai target harga.
  4. Data health monitor false alarm — coverage check tidak akurat di weekend/holiday, memicu alert palsu tiap Senin pagi.
  5. Dead code bertumpuk — 5 file/direktori dari JorbelBot lama: realtime_updater.py, sniper/AGENTS.md, sniper/first_setup/, sniper/config/, sniper/web_view/. Membingungkan developer baru.

investigation

  1. Score analysis: mencetak semua komponen score untuk beberapa sampel stocks. Ditemukan bahwa komponen accumulation = 2.0, trend = 2.0, momentum = 1.92 → total max = 5.92. Threshold 7 tidak pernah tercapai.
  2. Debug data health: tambah logging untuk menampilkan max(date) vs CURRENT_DATE vs last market day. Ternyata di hari Senin, data terakhir adalah Jumat (3 hari sebelumnya).
  3. Inventory dead code: find sniper/ -name "*.py" | wc -l sebelum dan sesudah — 47 file superfluous ditemukan di direktori lama.
  4. Quick analysis feasibility test: jalankan analysis untuk ~120 stocks tanpa yfinance (hanya DB reads) — selesai dalam 2 menit 47 detik.

root-cause

  1. Threshold tidak divalidasi — nilai 7 ditebak tanpa melihat distribusi score aktual. Tidak ada unit test atau assertion untuk memastikan threshold realistis.
  2. Tidak ada konsep "last market day" — data health monitor menggunakan logika naif: max_date == CURRENT_DATE. Ini gagal di akhir pekan dan libur.
  3. Evolusi project tanpa cleanup — JorbelBot → sniper → MrCuan Radar. Setiap iterasi meninggalkan file lama yang tidak dihapus.
  4. Full analysis terlalu lambat untuk intraday — proses 956 stocks dengan yfinance untuk data real-time memakan waktu terlalu lama.

solution

  1. radar-analysis-quick: service PM2 baru cron */10 1-10 * * 1-5 (08:00-17:50 WIB, Senin-Jumat). Proses ~120 priority stocks dalam ~3 menit. Zero yfinance — hanya DB reads dari ohlc_5m dan indicators.

python # radar-analysis-quick — hanya proses priority stocks (~120) # Tidak panggil yfinance sama sekali! Hanya baca dari DB. # Karena data OHLC sudah di-fetch oleh sniper-fetcher (setiap 03:00 WIB) # atau oleh tiered_fetcher (setiap 5-10 menit untuk 5m data). # # Quick analysis flow: # 1. SELECT * FROM stocks WHERE fetch_tier IN ('sangat_aktif', 'aktif') # 2. Untuk setiap stock, ambil OHLC dari DB # 3. Compute indicators via IndicatorCalculator # 4. Update score di smart_stock_scores # Total: ~120 stocks selesai dalam ~3 menit 2. accum_validity fix: total_score > 7 → accumulation_score >= 1.5 AND total_score >= 3.5 + spike trigger. Hasil: 8 stocks langsung lolos setelah fix. 3. TP1/TP2 Tracking: tp1_price = entry × 1.05, tp2_price = entry × 1.15. Disimpan di database dan ditampilkan sebagai colored badges di halaman performance. 4. Data health monitor fixes: - Coverage dihitung terhadap last market day (bukan latest DB date) - UTC offset handling diperbaiki - Timeout dinaikkan ke 2400s - Skip check di luar jam market 5. Dead code removed: 5 file/direktori dihapus. Termasuk radar/utils/realtime_updater.py (sudah diganti tiered_fetcher), sniper/AGENTS.md, sniper/first_setup/, sniper/config/, sniper/web_view/. 6. Cleanup UI: "Best Picks" → "Radar Picks", simplified views.

insight

Bug threshold adalah bug paling berbahaya karena tidak bikin error. Sistem jalan normal, tidak ada exception, tidak ada crash — tapi fitur mati total tanpa ada yang tahu. Selalu validasi threshold terhadap data aktual, dan idealnya punya dashboard monitoring untuk metrik seperti "berapa stocks yang lolos accum_validity tiap hari".

Juga: quick analysis membuktikan bahwa yfinance adalah bottleneck utama. Dengan menghindari panggilan yfinance intraday dan hanya mengandalkan data DB lokal, analysis bisa jalan 10× lebih cepat.

gotchas

  • Cron timezone — */10 1-10 * * 1-5 menggunakan UTC. Di WIB: 08:00-17:50. Pastikan tidak ada service yang pakai campuran UTC dan WIB. Semua PM2 cron harus UTC.
  • Coverage check di hari libur — meskipun sudah pakai last market day, tetap perlu fallback kalau libur panjang (Idul Fitri, Natal). Pertimbangkan penyempurnaan dengan kalender bursa IDX.
  • Data health monitor weekend fix: python # ❌ SEBELUM — selalu expect data terbaru: # if max_date < today: mark as STALE → false alarm di weekend # ✅ SESUDAH — compare dengan last market day: # market_days = pd.bdate_range(end=today, periods=5) # if max_date >= market_days[-2]: # kemarin atau hari market terakhir
  • TP tracking butuh entry price yang valid — kalau entry analysis tidak menghasilkan harga entry, TP1/TP2 tidak bisa dihitung. Pastikan entry analysis selalu menghasilkan nilai entry.
  • Dead code cleanup — backup dulu — sebelum hapus direktori, pastikan tidak ada reference di file lain. Grep dulu. Yang sudah dihapus tidak bisa dikembalikan (kecuali dari git).
  • Accum_validity spike trigger — spike trigger bisa memberikan false positive saat saham mengalami lonjakan volume satu kali karena berita besar. Mungkin perlu minimal 2 periode berturut-turut.

Terakhir diperbarui 31 Jul 2026 00:15

Comments