← Kembali

Final Optimizations — Market Hours, Database Cleanup & PM2 Finalisasi

cleanup database optimasi pm2

errors

  • Real log dari data health monitor: 2026-06-24 00:00:01 - data_health_monitor - WARNING - Still stale after fix: 1d, 1h ❌ 2026-06-24 00:00:01 - data_health_monitor - WARNING - 1d: Fetcher failed ❌ 2026-06-24 00:00:01 - data_health_monitor - WARNING - 1h: Fetcher failed ❌

Pemborosan sumber daya sistemik: tiered fetcher berjalan 24/7 termasuk di luar jam market dan akhir pekan, padahal harga saham hanya berubah pukul 08:30-18:00 WIB, Senin-Jumat. Database indicators membengkak hingga 15.2 juta rows (4GB) untuk data historis yang tidak pernah dipakai. Sniper-fetcher berjalan di jam sibuk (19:00 WIB) dan mengganggu real-time system.

context

Tier system telah berjalan sejak kemarin (2026-06-24). Sekarang giliran optimasi tambahan: membatasi fetch hanya pada jam market aktif, membersihkan database yang membengkak, dan menyesuaikan jadwal semua service PM2. Lingkungan: semua service berjalan di PM2, database PostgreSQL, tiered fetcher aktif.

problem

  1. Fetch di luar jam market — harga saham tidak berubah di luar 08:30-18:00 WIB, namun tiered fetcher tetap memanggil API setiap 5-10 menit.
  2. Weekend tetap fetch — Sabtu-Minggu bursa libur, API yfinance tetap dipanggil untuk data yang sama (close Jumat).
  3. Database indicators 4GB — 15.2 juta rows indicators historis > 30 hari menumpuk. Data RSI/MACD/ADX untuk periode lama tidak pernah dirujuk oleh analisis apa pun.
  4. Sniper-fetcher jam salah — jalan 19:00 WIB (jam sibuk market AS), mengganggu real-time system karena berebut resource.

investigation

Audit menyeluruh terhadap jadwal cron dan penggunaan resource: - Cek log PM2: tiered fetcher menghasilkan output kosong ("No data — skip") di luar jam market - Query DB: SELECT COUNT(*), pg_size_pretty(pg_total_relation_size('indicators')) — 15.2M rows, 4GB - Analisis umur data: indicators > 30 hari = 14.8M rows (97% dari total) - Cek beban server: sniper-fetcher jam 19:00 WIB berbarengan dengan radar-analysis dan realtime fetcher

root-cause

  1. Tidak ada guard clause di tiered fetcher untuk jam market dan hari libur — fungsi should_fetch() belum diimplementasikan.
  2. Tidak ada mekanisme retensi data — indicators ditulis tanpa pernah dihapus. Akumulasi 4 bulan data > 30 hari tidak diperlukan karena analisis hanya pakai 14-20 hari terakhir.
  3. Jadwal cron tidak dikoordinasikan — sniper-fetcher, radar-analysis, dan tiered fetcher dijadwalkan oleh developer berbeda di waktu berbeda tanpa melihat satu sama lain.

solution

  1. Market hours filter: tambahkan logika di tiered_fetcher.py:
  2. Cek 08:30 <= current_WIB <= 18:00
  3. Skip weekend (day != 5 and day != 6)
  4. Hemat ~65% API calls dari tiered fetcher

  5. Indicator cleanup: buat scripts/cleanup_indicators.py (file baru): python import psycopg2 conn = psycopg2.connect(DATABASE_URL) cur = conn.cursor() # Sebelum: 15.2M rows, 4GB cur.execute("SELECT COUNT(*), pg_size_pretty(pg_total_relation_size('indicators')) FROM indicators") # Setelah cleanup: cur.execute("DELETE FROM indicators WHERE timestamp < NOW() - INTERVAL '30 days'") # → 444k rows, 78MB cur.execute("VACUUM ANALYZE indicators") # penting! free up disk space conn.commit()

  6. 15.2M → 444k rows (97% reduction)
  7. 4GB → 78MB (3.92GB freed)
  8. Cron: setiap Minggu 04:00 WIB (waktu paling sepi)

  9. Sniper-fetcher pindah jadwal: dari 19:00 WIB → 03:00 WIB (maintenance malam setelah market tutup, sebelum analisis pagi)

  10. Final PM2 services: semua 9 service tercatat rapi di ecosystem.config.js dengan cron yang tidak saling tumpang tindih.

insight

Optimasi terkadang bukan soal nambah fitur, tapi soal membatasi kapan fitur jalan. Dua baris conditional (market hours + weekend check) menghemat lebih banyak resource daripada rewrite besar-besaran. Juga: database cleanup itu seperti nyapu rumah — kalau tidak dijadwalkan rutin, akan menumpuk jadi masalah 4GB.

Cara hitung penghematan API:

# Sebelum tier: 956 stocks × 12 kali/jam = 11.472 calls/jam
# Sesudah tier: (55×12) + (134×6) + (152×0.5) + (615×0) = 660 + 804 + 76 = 1.540 calls/jam
# Sesudah market hours: 1.540 × 9.5 jam / 24 jam = ~610 calls/jam (hanya jam market)
# Total penghematan: 11.472 → 610 = ~95% reduction!

gotchas

  • UTC vs WIB — pastikan perbandingan jam menggunakan timezone yang konsisten. System timezone adalah UTC. Jangan bandingkan datetime.now() langsung dengan 08:30 WIB tanpa konversi.
  • Hari libur nasional — market hours filter tidak otomatis mendeteksi libur bursa. Di hari libur, fetcher akan tetap mencoba (dan gagal dapet data baru). Pertimbangkan untuk integrasi kalender bursa nanti.
  • Cleanup pertama berat — query DELETE 14.8M rows bisa bikin database lock. Jalankan di jam sepi (Minggu 04:00 WIB, sudah diatur). Pastikan index di kolom timestamp untuk efisiensi.
  • VACUUM manual setelah DELETE massive: sql -- SETELAH DELETE massive 14.8M rows, PostgreSQL TIDAK otomatis free up disk space. -- Harus VACUUM manually: VACUUM FULL ANALYZE indicators; -- butuh brief lock, lakukan di jam sepi -- Atau biarkan autovacuum jalan (lebih lambat tapi non-blocking)
  • Sniper-fetcher pindah jam — setelah pindah ke 03:00 WIB, pastikan tidak bentrok dengan radar-analysis (sekarang 04:00 WIB dan 18:00 WIB). Ada jeda 1 jam → aman.

Terakhir diperbarui 31 Jul 2026 00:15

Comments