← Back

Sector Data, Signal State Machine & OHLC 5m Table

database ohlc sektor signal

errors

  • SQL error saat insert sector ke tabel stocks tanpa column sector: column "sector" of relation "stocks" does not exist
  • Signal state update error di log: [ERROR] Signal state update failed: 'smart_signal_states' column does not exist
  • Selain error SQL, secara fungsional:
  • 956 stocks di database hanya punya kode dan nama — kolom sector dan sub_sector kosong, sehingga fitur filter/sektor di watchlist tidak berguna
  • Accumulation detection hanya menghasilkan angka mentah — tidak ada cara untuk membedakan saham yang baru mulai terakumulasi vs sudah terkonfirmasi vs sudah lewat
  • Real-time 5 menit data numpang di tabel smart_stock_scores yang tidak dirancang untuk frekuensi tinggi — update tiap 5 menit bikin row makin gemuk dan query makin lambat
  • Data sektor dari data/stocks.csv tidak pernah di-load ke database — file CSV sudah ada sejak awal proyek tapi tidak termanfaatkan

context

Proyek sudah punya 956 stocks aktif dengan data OHLC harian dan 1 jam. Watchlist sudah punya fitur filter, sort, dan sektor grouping — tapi sektornya sendiri kosong karena kolom sector dan sub_sector di tabel stocks belum pernah diisi. Sementara itu, sistem accumulation detection (dari radar-analysis) menghasilkan skor akumulasi desimal, tapi belum ada state machine untuk nentuin apakah akumulasi itu masih awal, sudah konfirmasi, atau sudah expired. Radar-realtime juga akan segera dibangun dan butuh tabel khusus untuk 5m candles.

problem

  • Stock tanpa sektor (critical) — user tidak bisa filter saham berdasarkan sektor, watchlist jadi kurang informatif
  • Tidak ada signal state machine (moderate) — accumulation score mentah (contoh: 1.8) tidak langsung memberi tahu apakah saham ini layak di-entry. Perlu state: EARLY_ACCUM, ACCUM_CONFIRMED, EXPIRED
  • Tidak ada tabel OHLC 5m (infrastructure) — sistem real-time yang akan datang butuh tabel khusus; numpang di tabel lain akan bikin scaling problem

investigation

  1. Cek data stocks: Query SELECT sector, COUNT(*) FROM stocks GROUP BY sector — hasilnya semua NULL. Dicek apakah ada file CSV sumber — ditemukan data/stocks.csv dari jaman first seeding yang punya kolom sector dan sub_sector.
  2. Cek accumulation flow: Di signal_tracker.py accumulation cuma disimpan sebagai float di smart_signal_scores. Tidak ada state transition logic. Dicek kebutuhan: kapan akumulasi dianggap confirmed vs expired? Dari pola: accum ≥ 1.5 + trend bullish + score ≥ 3.5 = confirmed, accum ≥ 1.5 doang = early.
  3. Cek real-time data storage: Tidak ada tabel ohlc_5m. Dicek tabel apa yang paling cocok — (stock_id, timestamp, open, high, low, close, volume) dengan composite PK (stock_id, timestamp) untuk upsert mudah.

root-cause

  1. Sektor kosong: File data/stocks.csv tidak pernah di-load ke database karena tidak ada migration atau script untuk populate kolom sector. Aplikasi cuma pakai data dari yfinance (yang tidak punya info sektor).
  2. Tidak ada state machine: update_signal_states() belum ditulis. Signal tracker hanya compute skor, tidak pernah nge-evaluasi state accumulation.
  3. Tidak ada tabel 5m: Schema database tidak dirancang untuk real-time data. Kebutuhan baru ini muncul setelah fitur radar-realtime direncanakan.

solution

  1. Sector population: Load data/stocks.csv, match berdasarkan kode saham, update kolom sector dan sub_sector untuk 882 stocks. 74 sisanya tidak punya data di CSV (suspend/delisted) — dibiarkan NULL. sql -- Add sector columns ke stocks ALTER TABLE stocks ADD COLUMN sector VARCHAR(100); ALTER TABLE stocks ADD COLUMN sub_sector VARCHAR(100); -- Update dari CSV sumber UPDATE stocks s SET sector = csv.sector, sub_sector = csv.sub_sector FROM temp_stocks_csv csv WHERE s.symbol = csv.symbol;
  2. Sektor Uncategorized khusus dipindah ke paling bawah di watchlist via sorted_sectors biar tidak ganggu UX.
  3. Signal state machine: Tambah fungsi update_signal_states() di signal_tracker.py: python def update_signal_states(): query = """ UPDATE smart_stock_scores SET signal_state = CASE WHEN accumulation_score >= 1.5 AND score >= 3.5 AND trend = 'bullish' THEN 'ACCUM_CONFIRMED' WHEN accumulation_score >= 1.5 THEN 'EARLY_ACCUM' WHEN signal_state IN ('ACCUM_CONFIRMED', 'EARLY_ACCUM') AND accumulation_score < 1.0 THEN 'EXPIRED' END """
  4. ACCUM_CONFIRMED: accum ≥ 1.5 AND trend bullish AND score ≥ 3.5
  5. EARLY_ACCUM: accum ≥ 1.5 (saja)
  6. EXPIRED: sebelumnya ACCUM_CONFIRMED/EARLY tapi sekarang akumulasi hilang
  7. Dieksekusi tiap selesai radar-analysis batch via scheduler.py
  8. Tabel OHLC 5m: Migration bikin tabel ohlc_5m(stock_id, timestamp, open, high, low, close, volume) dengan composite primary key (stock_id, timestamp) untuk memudahkan batch upsert.

insight

  • Data yang sudah ada (CSV) sering terabaikan — padahal bisa langsung solve masalah tanpa fetch data baru. data/stocks.csv ada dari awal tapi tidak pernah di-load.
  • State machine mengubah accumulation dari angka abstrak jadi actionable signal. User jadi tahu kapan harus entry (ACCUM_CONFIRMED) vs kapan masih early (EARLY_ACCUM).
  • Composite primary key (stock_id, timestamp) di ohlc_5m adalah kunci untuk real-time upsert tanpa duplikasi.
  • 74 stocks tanpa sektor kebanyakan adalah saham yang sudah suspend/delisted — wajar tidak ada di CSV lama.

gotchas

  • Sektor Uncategorized: Waktu diurutkan ascending, "Uncategorized" muncul di tengah (antara U dan V). Harus dipaksa pindah ke bottom biar tidak ganggu daftar sektor normal.
  • Matching saham: Kode saham di CSV kadang pakai leading space atau format berbeda. Perlu .strip() sebelum match.
  • EXPIRED detection: Perlu hati-hati nentuin kapan akumulasi dianggap expired — jangan terlalu agresif (saham bisa konsolidasi sebentar sebelum lanjut naik).
  • Composite PK di ohlc_5m: Pastikan ON CONFLICT clause di PostgreSQL pakai (stock_id, timestamp) benar — typo di sini bikin upsert gagal total.
  • Migration: Jangan lupa bikin index di (stock_id, timestamp) untuk query performance — tabel ini akan punya jutaan row setelah berjalan beberapa bulan.

Last updated 31 Jul 2026 00:15

Comments