← Kembali

The NaN Crisis — Yuk, kita upgrade yfinance

bug crisis data yfinance

errors

  • Data OHLC penuh NaN — 725 dari 956 saham terdeteksi punya nilai NaN (Not a Number) di kolom open, high, low, close, volume untuk tanggal 19 Juni 2026. Data terlihat ada (row count normal) tapi isinya nggak berguna.
  • Radar analysis error — IndicatorCalculator crash/kalkulasi salah karena inputnya NaN. RSI, MACD, MA semua menghasilkan NaN juga. Scoring jadi random.
  • Rekomendasi misleading — Saham dengan data NaN tetap diproses, menghasilkan sinyal palsu. User bisa lihat rekomendasi beli/jual yang berdasarkan data kosong.
  • Silent failure — yfinance nggak throw exception atau warning. Data return dengan length normal, tapi values-nya NaN semua. Kalau nggak dicek .isna().sum(), nggak ketahuan.

python # Silent NaN — yfinance tidak throw error, data dianggap OK df = yf.download("BBRI.JK", period="5d") print(df.shape) # (5, 6) → normal, 5 baris 6 kolom ✅ print(df['Close'].iloc[-1]) # NaN ❌ — tapi tidak ada error/warning dari yfinance print(df.isna().sum()) # Open 5 # High 5 # Low 5 # Close 5 # Volume 5 <- total NaN!

context

Pipeline harian: fetcher_batch.py jalan jam 03:00 WIB, fetch OHLC 1d dari yfinance untuk semua stocks, simpan ke database. Radar-analysis jalan jam 18:00 WIB, baca data dari DB, compute indicators. Tanggal 19 Juni 2026, data yang di-fetch tiba-tiba banyak NaN. Masalah baru ketahuan pas radar-analysis error dan scoring kacau. User RudianC juga request tambah CUAN ke watchlist.

problem

yfinance versi lama yang terinstall di shared .venv punya bug kompatibilitas dengan Yahoo Finance API — di tanggal tertentu (19 Juni 2026), API return data dalam format yang beda, dan yfinance lama nggak handle ini dengan bener. Akibatnya data dianggap berhasil di-fetch (ada dataframe length normal), tapi isinya NaN semua. Ini silent data corruption yang merembet ke semua layer: indicator → scoring → rekomendasi.

investigation

  1. Deteksi: pas radar-analysis jalan, liat report saham dengan score aneh. Cek raw data di DB — volume 0, close NaN.
  2. Isolasi: cek 10 random stocks via Python shell. Panggil yfinance.download() — dapat dataframe dengan nilai NaN. Cek version: yfinance.__version__ — ternyata versi lama (pra-June 2026).
  3. Konfirmasi skala: query database untuk cek berapa stocks yang kena.

sql -- SQL query untuk hitung berapa stocks kena NaN SELECT COUNT(DISTINCT stock_id) FROM ohlc_daily WHERE date = '2026-06-19' AND close IS NULL; -- Result: 725

  1. Verifikasi: upgrade yfinance ke latest, test ulang 10 stocks yang sama. Data normal semua. Test batch untuk 100 stocks — semua OK.
  2. Analisis sisanya: 956 - 725 = 231 stocks yang nggak kena ternyata mayoritas saham Pemantauan Khusus / tidur — emang jarang trading, jadi data kosong itu expected.

root-cause

yfinance library version pinning. Versi yfinance yang terinstall di shared .venv adalah versi lama yang belum update internal API parser-nya. Yahoo Finance berubah response format (kemungkinan penambahan field baru atau perubahan struktur JSON) di sekitar June 2026. Versi baru yfinance sudah handle perubahan ini. Karena kita pake shared venv dan nggak pernah upgrade (pip install --upgrade yfinance), bug ini silent menumpuk sampai ketahuan pas data kacau.

# Cek versi yfinance
$ source /var/mrcuan-apps/.venv/bin/activate
$ pip show yfinance | grep Version
# Sebelum: Version: 0.1.XX (lama, bug)
# Sesudah: Version: 0.1.YY (baru, fix NaN)
$ pip install --upgrade yfinance

solution

  1. Upgrade yfinance di shared .venv: source /var/mrcuan-apps/.venv/bin/activate && pip install --upgrade yfinance. Ini install versi terbaru yang fix kompatibilitas dengan API terbaru Yahoo Finance.
  2. Verifikasi massal: run query SELECT * FROM ohlc_daily WHERE date='2026-06-19' AND close IS NULL — 725 results sebelum upgrade. Sesudah upgrade, re-fetch dan query ulang — 0 results dengan NaN. Semua data normal.
  3. Watchlist update: CUAN ditambahkan ke watchlist user RudianC sesuai request. Proses manual via DB insert.
  4. Dokumentasi: catat versi yfinance yang terbaru di AGENTS.md biar next time gampang ngecek.

insight

  • Jangan pernah pin library version tanpa periodic upgrade check. Khususnya library yang depend on external API (yfinance, yahooquery, dll). API provider bisa berubah kapan aja tanpa announcement.
  • Silent NaN > Exception. Exception itu gampang ditangkep. NaN itu silent — data ada, row count bener, tapi isinya sampah. Selalu tambah validasi data.isna().sum() di pipeline setelah fetch.
  • Ripple effect: satu bug di layer data bisa merembet ke semua layer atas. OHLC NaN → indicator error → scoring wrong → rekomendasi misleading. Harus ada guard di setiap layer.
  • Crisis = opportunity: masalah ini nunjukin betapa pentingnya data quality monitoring. Inspirasi buat bikin automated data validation di pipeline.

gotchas

  • pip install --upgrade yfinance bisa break backward compatibility. Beberapa versi baru mungkin rename parameter atau ubah return type. Selalu test dulu untuk sample stocks sebelum deploy ke production.
  • NaN di pandas kadang nggak ke-detect dengan == None atau is None. Harus pake pd.isna() atau .isnull(). Kalau column type-nya object, NaN bisa berupa string "NaN" atau "nan".

python # Cara deteksi NaN yang benar: import pandas as pd # ❌ Salah: if value == None: pass # Tidak kerja untuk NaN if value is None: pass # Tidak kerja untuk NaN # ✅ Benar: if pd.isna(value): pass # Work untuk None, NaN, NaT

  • Stocks yang jarang trading (Pemantauan Khusus / suspensi) emang wajar punya data kosong. Jangan salah kategorikan sebagai error. Need filtering: bedakan "data error" vs "data kosong karena emang nggak trading".
  • Upgrade library di shared venv: pastikan nggak ada service lain yang jalan dan depend on versi lama. Better do maintenance window atau rolling restart.
  • External API changes sering terjadi tanpa announcement. Recommended: setup weekly pip list --outdated check atau monitoring changelog library.

Terakhir diperbarui 31 Jul 2026 00:15

Comments