← Kembali

Bot Timeout, Efisiensi Fetcher & Cakupan Full 956 Saham

bot fetcher timeout yfinance

errors

  • Bot Telegram crash berkali-kali saat pengguna mengirim request yang butuh waktu pemrosesan lama — koneksi HTTP putus di tengah jalan, bot jadi tidak responsif Error log PM2: TimeoutError: Request timed out (In bot, setelah ~10 detik tanpa response, koneksi HTTP ke Telegram API putus)
  • fetch_dividends() di fetcher_batch.py nge-hang tanpa batas — thread tidak pernah selesai, fetcher stuck selamanya
  • Radar-analysis dan sniper-fetcher cuma memproses 8 stocks (hanya watchlist), sisanya 948 saham tidak pernah di-scan
  • Data fetch mengambil 3 tahun penuh per cron — jutaan candle yang tidak perlu, pemborosan bandwidth dan CPU

context

Bot Telegram berjalan sebagai service PM2 sniper-bot, fetcher jalan via cron sniper-fetcher setiap 03:00 WIB. Sistem sudah berjalan beberapa minggu dengan konfigurasi default. Bot mulai sering crash setelah pengguna mulai aktif bertanya. Fetcher di-set tanpa parameter --all karena asumsi awal hanya perlu watchlist user. fetch_dividends() dipanggil serial tanpa timeout.

problem

Tiga masalah utama: (1) Bot tidak punya read_timeout — koneksi HTTP ke Telegram API putus sebelum bot selesai merespon, (2) Fetcher mengunduh 3 tahun data OHLC harian per ticker padahal analysis cuma butuh 5 hari terakhir — beban yfinance berlebihan dan risk kena rate limit, (3) Parameter --all tidak ada di cron scheduler — analysis dan fetch cuma mencakup 8 stock watchlist, 948 saham lain tidak pernah di-scan atau dianalisa.

investigation

Pertama dicek logs PM2 — pm2 logs sniper-bot menunjukkan TimeoutError: Request timed out setelah ~10 detik. Dicek dokumentasi python-telegram-bot, ditemukan parameter read_timeout di ApplicationBuilder. Untuk fetcher, dicek fetcher_batch.py dan ditemukan yfinance.download() tanpa parameter period — defaultnya ambil data maksimal. Dicek juga run_analysis.py — tidak ada argparse handler untuk --all, cuma hardcoded watchlist. Untuk dividend hang, disimulasikan fetch saham yang punya dividend data kompleks — thread stuck >5 menit.

# Cek error di PM2 logs
# pm2 logs sniper-bot -> "TimeoutError: Request timed out"
#
# Di fetcher_batch.py, line 183-214:
try:
    ticker = yf.Ticker(yf_symbol)
    df = ticker.history(period=period, interval=interval)
    ...
except Exception as e:
    err_str = str(e).lower()
    is_rate_limit = 'rate limit' in err_str or 'too many requests' in err_str
    if is_rate_limit:
        logger.warning(f"Rate limited on {yf_symbol}, waiting {wait}s (attempt {attempt})")
    elif attempt < 3:
        logger.warning(f"Fetch error for {yf_symbol} (attempt {attempt}): {e}")

root-cause

read_timeout default python-telegram-bot terlalu pendek (5 detik) — request database dan komputasi indicator melebihi batas itu. Fetcher menggunakan yfinance.download() tanpa argument period sehingga default ke max (~3 tahun data). Radar-analysis dan sniper-fetcher menggunakan watchlist sebagai source iterasi tanpa fallback ke --all. fetch_dividends() tidak punya mekanisme timeout — yfinance dividend endpoint kadang lambat atau hang.

solution

  • bot.py: tambah read_timeout(30) di ApplicationBuilder() — koneksi HTTP survive 30 detik python # bot.py line 84 — read_timeout fix application = Application.builder().token(BOT_TOKEN).read_timeout(30).build()
  • fetcher_batch.py: tambah arg --period 5d di yfinance.download(period="5d") — fetch window turun drastis python # fetcher_batch.py — period fix df = ticker.history(period="5d", interval=interval)
  • ecosystem.config.js: tambah args: '--all' di service radar-analysis dan sniper-fetcher
  • fetcher_batch.py: bungkus fetch_dividends() dalam concurrent.futures.ThreadPoolExecutor dengan timeout=60 — thread auto-terminate python # dividend timeout fix — concurrent.futures with ThreadPoolExecutor(max_workers=5) as executor: fut = executor.submit(fetch_func, batch) try: fut.result(timeout=60) except concurrent.futures.TimeoutError: logger.warning(f"Dividend fetch timed out for batch {batch_num}, skipping")

insight

Parameter --all seharusnya jadi default sejak awal — jangan asumsi cukup watchlist aja. read_timeout adalah parameter kritis untuk bot yang melakukan heavy computation sebelum reply. Selalu pasang timeout di semua external call (API, database, yfinance). 5 hari data sudah cukup untuk indicator short-term — 3 tahun itu mubazir untuk analisa harian.

gotchas

  • read_timeout berbeda dengan write_timeout dan connect_timeout — ketiganya harus di-set sesuai use case
  • --period 5d di yfinance berarti 5 session days, bukan calendar days — kalau ada long weekend bisa cuma 2-3 baris data
  • concurrent.futures timeout raise TimeoutError tapi thread tetap jalan di background — tidak benar-benar terminate, cuma abandon hasil
  • --all di cron tanpa staggered start bisa spike CPU saat semua 956 saham diproses bersamaan
  • Log real dari fetcher: "50 consecutive failures — rate limited. Pausing 120s..." Ini terjadi karena tanpa --period 5d, yfinance download 3 tahun data per ticker untuk 956 stocks = ribuan request per cron = rate limit total.

Terakhir diperbarui 31 Jul 2026 00:15

Comments