errors
- SQL error saat insert sector ke tabel stocks tanpa column sector:
column "sector" of relation "stocks" does not exist - Signal state update error di log:
[ERROR] Signal state update failed: 'smart_signal_states' column does not exist - Selain error SQL, secara fungsional:
- 956 stocks di database hanya punya kode dan nama — kolom
sectordansub_sectorkosong, sehingga fitur filter/sektor di watchlist tidak berguna - Accumulation detection hanya menghasilkan angka mentah — tidak ada cara untuk membedakan saham yang baru mulai terakumulasi vs sudah terkonfirmasi vs sudah lewat
- Real-time 5 menit data numpang di tabel
smart_stock_scoresyang tidak dirancang untuk frekuensi tinggi — update tiap 5 menit bikin row makin gemuk dan query makin lambat - Data sektor dari
data/stocks.csvtidak pernah di-load ke database — file CSV sudah ada sejak awal proyek tapi tidak termanfaatkan
context
Proyek sudah punya 956 stocks aktif dengan data OHLC harian dan 1 jam. Watchlist sudah punya fitur filter, sort, dan sektor grouping — tapi sektornya sendiri kosong karena kolom sector dan sub_sector di tabel stocks belum pernah diisi. Sementara itu, sistem accumulation detection (dari radar-analysis) menghasilkan skor akumulasi desimal, tapi belum ada state machine untuk nentuin apakah akumulasi itu masih awal, sudah konfirmasi, atau sudah expired. Radar-realtime juga akan segera dibangun dan butuh tabel khusus untuk 5m candles.
problem
- Stock tanpa sektor (critical) — user tidak bisa filter saham berdasarkan sektor, watchlist jadi kurang informatif
- Tidak ada signal state machine (moderate) — accumulation score mentah (contoh: 1.8) tidak langsung memberi tahu apakah saham ini layak di-entry. Perlu state: EARLY_ACCUM, ACCUM_CONFIRMED, EXPIRED
- Tidak ada tabel OHLC 5m (infrastructure) — sistem real-time yang akan datang butuh tabel khusus; numpang di tabel lain akan bikin scaling problem
investigation
- Cek data stocks: Query
SELECT sector, COUNT(*) FROM stocks GROUP BY sector— hasilnya semua NULL. Dicek apakah ada file CSV sumber — ditemukandata/stocks.csvdari jaman first seeding yang punya kolomsectordansub_sector. - Cek accumulation flow: Di
signal_tracker.pyaccumulation cuma disimpan sebagai float dismart_signal_scores. Tidak ada state transition logic. Dicek kebutuhan: kapan akumulasi dianggap confirmed vs expired? Dari pola: accum ≥ 1.5 + trend bullish + score ≥ 3.5 = confirmed, accum ≥ 1.5 doang = early. - Cek real-time data storage: Tidak ada tabel
ohlc_5m. Dicek tabel apa yang paling cocok —(stock_id, timestamp, open, high, low, close, volume)dengan composite PK(stock_id, timestamp)untuk upsert mudah.
root-cause
- Sektor kosong: File
data/stocks.csvtidak pernah di-load ke database karena tidak ada migration atau script untuk populate kolomsector. Aplikasi cuma pakai data dari yfinance (yang tidak punya info sektor). - Tidak ada state machine:
update_signal_states()belum ditulis. Signal tracker hanya compute skor, tidak pernah nge-evaluasi state accumulation. - Tidak ada tabel 5m: Schema database tidak dirancang untuk real-time data. Kebutuhan baru ini muncul setelah fitur radar-realtime direncanakan.
solution
- Sector population: Load
data/stocks.csv, match berdasarkan kode saham, update kolomsectordansub_sectoruntuk 882 stocks. 74 sisanya tidak punya data di CSV (suspend/delisted) — dibiarkan NULL.sql -- Add sector columns ke stocks ALTER TABLE stocks ADD COLUMN sector VARCHAR(100); ALTER TABLE stocks ADD COLUMN sub_sector VARCHAR(100); -- Update dari CSV sumber UPDATE stocks s SET sector = csv.sector, sub_sector = csv.sub_sector FROM temp_stocks_csv csv WHERE s.symbol = csv.symbol; - Sektor
Uncategorizedkhusus dipindah ke paling bawah di watchlist viasorted_sectorsbiar tidak ganggu UX. - Signal state machine: Tambah fungsi
update_signal_states()disignal_tracker.py:python def update_signal_states(): query = """ UPDATE smart_stock_scores SET signal_state = CASE WHEN accumulation_score >= 1.5 AND score >= 3.5 AND trend = 'bullish' THEN 'ACCUM_CONFIRMED' WHEN accumulation_score >= 1.5 THEN 'EARLY_ACCUM' WHEN signal_state IN ('ACCUM_CONFIRMED', 'EARLY_ACCUM') AND accumulation_score < 1.0 THEN 'EXPIRED' END """ ACCUM_CONFIRMED: accum ≥ 1.5 AND trend bullish AND score ≥ 3.5EARLY_ACCUM: accum ≥ 1.5 (saja)EXPIRED: sebelumnya ACCUM_CONFIRMED/EARLY tapi sekarang akumulasi hilang- Dieksekusi tiap selesai radar-analysis batch via
scheduler.py - Tabel OHLC 5m: Migration bikin tabel
ohlc_5m(stock_id, timestamp, open, high, low, close, volume)dengan composite primary key(stock_id, timestamp)untuk memudahkan batch upsert.
insight
- Data yang sudah ada (CSV) sering terabaikan — padahal bisa langsung solve masalah tanpa fetch data baru.
data/stocks.csvada dari awal tapi tidak pernah di-load. - State machine mengubah accumulation dari angka abstrak jadi actionable signal. User jadi tahu kapan harus entry (ACCUM_CONFIRMED) vs kapan masih early (EARLY_ACCUM).
- Composite primary key
(stock_id, timestamp)diohlc_5madalah kunci untuk real-time upsert tanpa duplikasi. - 74 stocks tanpa sektor kebanyakan adalah saham yang sudah suspend/delisted — wajar tidak ada di CSV lama.
gotchas
- Sektor Uncategorized: Waktu diurutkan ascending, "Uncategorized" muncul di tengah (antara U dan V). Harus dipaksa pindah ke bottom biar tidak ganggu daftar sektor normal.
- Matching saham: Kode saham di CSV kadang pakai leading space atau format berbeda. Perlu
.strip()sebelum match. - EXPIRED detection: Perlu hati-hati nentuin kapan akumulasi dianggap expired — jangan terlalu agresif (saham bisa konsolidasi sebentar sebelum lanjut naik).
- Composite PK di ohlc_5m: Pastikan ON CONFLICT clause di PostgreSQL pakai
(stock_id, timestamp)benar — typo di sini bikin upsert gagal total. - Migration: Jangan lupa bikin index di
(stock_id, timestamp)untuk query performance — tabel ini akan punya jutaan row setelah berjalan beberapa bulan.
Comments