errors
- Bot Telegram crash berkali-kali saat pengguna mengirim request yang butuh waktu pemrosesan lama — koneksi HTTP putus di tengah jalan, bot jadi tidak responsif
Error log PM2: TimeoutError: Request timed out(In bot, setelah ~10 detik tanpa response, koneksi HTTP ke Telegram API putus) fetch_dividends()difetcher_batch.pynge-hang tanpa batas — thread tidak pernah selesai, fetcher stuck selamanya- Radar-analysis dan sniper-fetcher cuma memproses 8 stocks (hanya watchlist), sisanya 948 saham tidak pernah di-scan
- Data fetch mengambil 3 tahun penuh per cron — jutaan candle yang tidak perlu, pemborosan bandwidth dan CPU
context
Bot Telegram berjalan sebagai service PM2 sniper-bot, fetcher jalan via cron sniper-fetcher setiap 03:00 WIB. Sistem sudah berjalan beberapa minggu dengan konfigurasi default. Bot mulai sering crash setelah pengguna mulai aktif bertanya. Fetcher di-set tanpa parameter --all karena asumsi awal hanya perlu watchlist user. fetch_dividends() dipanggil serial tanpa timeout.
problem
Tiga masalah utama: (1) Bot tidak punya read_timeout — koneksi HTTP ke Telegram API putus sebelum bot selesai merespon, (2) Fetcher mengunduh 3 tahun data OHLC harian per ticker padahal analysis cuma butuh 5 hari terakhir — beban yfinance berlebihan dan risk kena rate limit, (3) Parameter --all tidak ada di cron scheduler — analysis dan fetch cuma mencakup 8 stock watchlist, 948 saham lain tidak pernah di-scan atau dianalisa.
investigation
Pertama dicek logs PM2 — pm2 logs sniper-bot menunjukkan TimeoutError: Request timed out setelah ~10 detik. Dicek dokumentasi python-telegram-bot, ditemukan parameter read_timeout di ApplicationBuilder. Untuk fetcher, dicek fetcher_batch.py dan ditemukan yfinance.download() tanpa parameter period — defaultnya ambil data maksimal. Dicek juga run_analysis.py — tidak ada argparse handler untuk --all, cuma hardcoded watchlist. Untuk dividend hang, disimulasikan fetch saham yang punya dividend data kompleks — thread stuck >5 menit.
# Cek error di PM2 logs
# pm2 logs sniper-bot -> "TimeoutError: Request timed out"
#
# Di fetcher_batch.py, line 183-214:
try:
ticker = yf.Ticker(yf_symbol)
df = ticker.history(period=period, interval=interval)
...
except Exception as e:
err_str = str(e).lower()
is_rate_limit = 'rate limit' in err_str or 'too many requests' in err_str
if is_rate_limit:
logger.warning(f"Rate limited on {yf_symbol}, waiting {wait}s (attempt {attempt})")
elif attempt < 3:
logger.warning(f"Fetch error for {yf_symbol} (attempt {attempt}): {e}")
root-cause
read_timeout default python-telegram-bot terlalu pendek (5 detik) — request database dan komputasi indicator melebihi batas itu. Fetcher menggunakan yfinance.download() tanpa argument period sehingga default ke max (~3 tahun data). Radar-analysis dan sniper-fetcher menggunakan watchlist sebagai source iterasi tanpa fallback ke --all. fetch_dividends() tidak punya mekanisme timeout — yfinance dividend endpoint kadang lambat atau hang.
solution
bot.py: tambahread_timeout(30)diApplicationBuilder()— koneksi HTTP survive 30 detikpython # bot.py line 84 — read_timeout fix application = Application.builder().token(BOT_TOKEN).read_timeout(30).build()fetcher_batch.py: tambah arg--period 5ddiyfinance.download(period="5d")— fetch window turun drastispython # fetcher_batch.py — period fix df = ticker.history(period="5d", interval=interval)ecosystem.config.js: tambahargs: '--all'di serviceradar-analysisdansniper-fetcherfetcher_batch.py: bungkusfetch_dividends()dalamconcurrent.futures.ThreadPoolExecutordengantimeout=60— thread auto-terminatepython # dividend timeout fix — concurrent.futures with ThreadPoolExecutor(max_workers=5) as executor: fut = executor.submit(fetch_func, batch) try: fut.result(timeout=60) except concurrent.futures.TimeoutError: logger.warning(f"Dividend fetch timed out for batch {batch_num}, skipping")
insight
Parameter --all seharusnya jadi default sejak awal — jangan asumsi cukup watchlist aja. read_timeout adalah parameter kritis untuk bot yang melakukan heavy computation sebelum reply. Selalu pasang timeout di semua external call (API, database, yfinance). 5 hari data sudah cukup untuk indicator short-term — 3 tahun itu mubazir untuk analisa harian.
gotchas
read_timeoutberbeda denganwrite_timeoutdanconnect_timeout— ketiganya harus di-set sesuai use case--period 5ddi yfinance berarti 5 session days, bukan calendar days — kalau ada long weekend bisa cuma 2-3 baris dataconcurrent.futures timeoutraiseTimeoutErrortapi thread tetap jalan di background — tidak benar-benar terminate, cuma abandon hasil--alldi cron tanpa staggered start bisa spike CPU saat semua 956 saham diproses bersamaan- Log real dari fetcher:
"50 consecutive failures — rate limited. Pausing 120s..."Ini terjadi karena tanpa--period 5d, yfinance download 3 tahun data per ticker untuk 956 stocks = ribuan request per cron = rate limit total.
Comments