← Kembali

Buntu di Produksi: Email Tak Sampai, SSH Tak Bisa, Login Terkunci — Satu Pagi Menjinakkan Hirevidence

authentication brevo django docker fail2ban jenkins laporan-produksi smtp ssh

Buntu di Produksi: Email Tak Sampai, SSH Tak Bisa, Login Terkunci — Satu Pagi Menjinakkan Hirevidence

Laporan itu datang bertumpuk dalam satu pagi: email verifikasi tidak bisa masuk, SSH terus disconnect, dan kecurigaan bahwa pipeline docker/Jenkins menghapus atau meng-update kredensial. Server production Hirevidence (host tailscale hire, 100.78.100.11) tiba-tiba terasa tidak bersahabat dari segala arah. Perburuan ini berakhir dengan tiga akar masalah yang berbeda-beda dan satu jebakan arsitektur yang lucu: passwordnya benar, emailnya terdaftar, tapi login tetap ditolak karena identitas login dibedakan antara username dan email. Ini catatan lengkapnya.

Work Log

  • [00:05:00] Verifikasi config SMTP di container worker: smtp-relay.brevo.com:587, TLS on, [email protected] — semua benar
  • [00:15:00] Test login SMTP dari dalam container → SMTPAuthenticationError(535, 5.7.8 Authentication failed) — kredensial ditolak, tapi ini bukan IP
  • [00:30:00] Telusuri apakah pipeline menghapus kredensial: rsync di Jenkinsfile --exclude=.env --exclude=.ssh/, .env tak di-track git, scripts/ tak menyentuh key → tidak ada yang menghapus kredensial
  • [00:45:00] Ketemu inkonsistensi: env container ≠ .env di disk (.env diedit 23:44 setelah container start 20:58, beda EMAIL_HOST_PASSWORD, beda SUPERUSER_EMAIL_DOMAIN)
  • [01:00:00] SSH ke 10.78.10.11 → Connection refused; ping tailscale OK (direct, RTT ~60ms) → bukan masalah jaringan
  • [01:15:00] Masuk lewat Jenkins ([email protected]) → sshd aktif, listen 0.0.0.0:22, ufw tak mencekik → kenapa dari laptop ditolak?
  • [01:30:00] Cek authorized_keys user hirevidence → hanya satu key: jenkins-hirevidence-deploy. id_fujitsu (laptop) tidak pernah terdaftar
  • [01:35:00] Tambahkan id_fujitsu ke authorized_keys, test langsung dari laptop → masih Connection refused
  • [01:45:00] Ketemu penyebab kedua: fail2ban aktif, maxretry=2, bantime=3600 — IP laptop kena ban akibat beberapa percobaan login gagal → unban manual
  • [02:00:00] Log celery production mengonfirmasi send_verification_code gagal 535 → email TIDAK sampai karena key SMTP-lah yang salah, bukan kode verifikasi
  • [02:15:00] User: superuser Admin tidak bisa login ke /panel padahal PANEL_SUPERUSER_* sudah diisi di .env
  • [02:30:00] Cek ensure_panel_superuser → create_superuser default tak menyentuh email_verified, dan login mewajibkan email_verified=True → bootstrap superuser terdampar di halaman OTP yang never arrives
  • [02:45:00] Fix #1: ensure_panel_superuser set email_verified=True saat create + backfill untuk superuser existing → test lulus, deploy, 'Admin' marked email_verified ✅
  • [03:00:00] Login masih gagal! Test authenticate() langsung di production: check_password: True tapi semua identitas → None
  • [03:10:00] Ketemu jebakan arsitektur: form login berlabel "Email" tapi ModelBackend default mencari berdasarkan username. Admin (username) ≠ [email protected] (email) → lookup selalu miss
  • [03:20:00] Fix #2: EmailOrUsernameBackend — lookup email__iexact dulu, fallback ke username → semua varian login sukses
  • [03:30:00] Deploy + verifikasi production: login('[email protected]'), login('Admin'), case-insensitive → semua sukses → commit abf33d2

Context

  • Proyek: Hirevidence — mesin screening CV berbasis evidence (Django monolith + Celery + PostgreSQL + Redis + MinIO + Docker Compose)
  • Production: host tailscale hire (10.78.120.11), deploy via Jenkins (rsync --delete --exclude=.env --exclude=.ssh/ lalu docker compose up -d --build)
  • Email lewat Celery task send_verification_code (retry 3x, delay 10s) → SMTP Brevo (smtp-relay.brevo.com:587)
  • Login identity per ADR-021: email; namun USERNAME_FIELD tetap username (AbstractUser default), dengan konvensi "username mirrors email" pada flow register
  • Bootstrap superuser platform dibuat dari PANEL_SUPERUSER_USERNAME/EMAIL/PASSWORD via command ensure_panel_superuser (idempotent)
  • Akses SSH produksi: laptop via ~/.ssh/id_fujitsu; Jenkins via /var/lib/jenkins/.ssh/hirevidence_deploy

Problem 1 — Email verifikasi tidak pernah sampai (535 vs 525)

Gejala awal: user register, OTP tidak pernah masuk. Dari log celery production terlihat send_verification_code failed dengan SMTPAuthenticationError. Yang menarik di log lama ada dua error berbeda: 525 5.7.1 Unauthorized IP address (saat memakai key lama dari IP laptop) dan 535 5.7.8 Authentication failed (key di .env production).

Akar masalah — dua komponen independen di Brevo: - 525 = IP tidak authorized. Brevo mem-allowlist IP pengirim; saat key lama yang masih valid dipakai dari IP publik laptop (12.167.24.242) yang belum terdaftar → ditolak di lapis IP. Ini bukan masalah password. - 535 = kredensial salah/kadaluarsa. Key xsmtpsib-880f98… di .env production ditolak Brevo di lapis autentikasi. Ini yang sedang terjadi di production — EMAIL_HOST_PASSWORD di .env sudah tidak valid di dashboard Brevo.

Keputusan:

# test auth SMTP langsung dari container worker (production)
docker exec -it hirevidence-worker-1 python - <<'PY'
import smtplib, os
s = smtplib.SMTP(os.environ["EMAIL_HOST"], 587, timeout=10)
s.ehlo(); s.starttls(); s.ehlo()
try:
    s.login(os.environ["EMAIL_HOST_USER"], os.environ["EMAIL_HOST_PASSWORD"])
    print("AUTH OK")
except Exception as e:
    print("FAIL:", repr(e))
PY
# -> FAIL: SMTPAuthenticationError(535, b'5.7.8 Authentication failed')

Fokus investigasi bergeser: bukan pipeline, bukan kode, tapi kredensial Brevo itu sendiri + allowlist IP untuk semua IP publik pengirim (laptop 12.167.24.242, production 18.10.167.20). Setelah key diganti dengan yang valid, test kirim sukses (RESULT: True).

Problem 2 — SSH disconnect / tidak bisa konek padahal pakai private key

SSH ke production sering "disconnect", lalu koneksi langsung malah Connection refused. Dari laptop, semua user ditolak; tapi dari Jenkins build #8 berhasil deploy. Ini mempersempit menjadi dua kemungkinan: firewall berbasis sumber, atau kredensial.

Akar masalah 1 — key tidak terdaftar. authorized_keys user hirevidence hanya berisi satu baris: jenkins-hirevidence-deploy. Key laptop (~/.ssh/id_fujitsu) tidak pernah ada di sana. Jadi "connection refused" setelah login gagal yang berulang justru diakibatkan oleh fail2ban.

Akar masalah 2 — fail2ban terlalu galak:

[DEFAULT]
ignoreip   = 127.0.0.1/8 ::1
bantime    = 3600
findtime   = 10
maxretry   = 2
[sshd]
port       = ssh,22

maxretry=2, findtime=10 detik → dua kali gagal dalam 10 detik = ban 1 jam. Beberapa percobaan login gagal (termasuk user yang tidak ada di authorized_keys) langsung membanned IP laptop, sehingga koneksi berikutnya ditolak di level firewall — persis gejala "SSH disconnect".

Solusi:

# daftarkan key laptop
echo "$(cat ~/.ssh/id_fujitsu.pub)" >> /home/hirevidence/.ssh/authorized_keys
chmod 600 /home/hirevidence/.ssh/authorized_keys

# unban (di server, sebagai root)
sudo fail2ban-client set sshd unbanip 10.71.6.92   # tailscale IP laptop
sudo fail2ban-client status sshd                    # verifikasi

Soldinya untuk masa depan: di authorized_keys daftarkan SEMUA user yang boleh masuk (laptop + Jenkins), naikkan maxretry (2 terlalu agresif) atau tambahkan IP laptop ke ignoreip. Kalau hirevidence adalah user deploy yang dipakai Jenkins, jangan simpan password — key-only (PasswordAuthentication no) sambil memastikan semua kunci admin terdaftar.

Problem 3 — Superuser Admin tetap tidak bisa login, padahal PANEL_SUPERUSER_* sudah diisi

Setelah email fix beres, terlihat user tidak bisa login ke /panel. PANEEL_SUPERUSER_USERNAME/EMAIL/PASSWORD sudah ada di .env, container sudah restart, ensure_panel_superuser: superuser 'Admin' created di log. Tapi setiap login → kembali ke form login.

Akar masalah 1 — bootstrap superuser terdampar di OTP. create_superuser() default Django tidak menyentuh kolom kustom email_verified (default False, ADR-021). View login (HirevidenceLoginView.form_valid) mewajibkan email_verified=True, kalau tidak → redirect ke /verify. Jadi superuser bootstrapped harus melewati OTP yang tidak pernah sampai — titik buntu.

Fix di ensure_panel_superuser:

# create: mark verified langsung (bootstrap adalah sumber terpercaya)
user = User.objects.create_superuser(username=username, email=email, password=password)
user.email_verified = True
user.save(update_fields=["email_verified"])

# existing superuser pra-verifikasi: backfill
if not existing.email_verified:
    existing.email_verified = True
    existing.save(update_fields=["email_verified"])

Perubahan ini juga berimbas ke perilaku documented: password existing tetap tidak pernah disinkronkan dari env; hanya email_verified yang di-backfill untuk superuser.

Akar masalah 2 — login form berlabel "Email", backend mencari username. Setelah fix #1, authenticate() masih mengembalikan None padahal check_password("9e63#4bxVtX=") == True. Investigasi: form login (termasuk PanelAuthenticationForm) menampilkan label Email dengan kolom internal username, dan ModelBackend default mencari user via USERNAME_FIELD = "username". Untuk register flow biasa tidak masalah karena user.username = email. Tapi superuser bootstrap memakai PANEL_SUPERUSER_USERNAME=Admin → username Admin ≠ email [email protected] → semua percobaan lookup miss.

Solusi — custom backend by email-first:

# apps/accounts/authentication.py
class EmailOrUsernameBackend(ModelBackend):
    def authenticate(self, request, username=None, password=None, **kwargs):
        if not username or not isinstance(username, str) or not password:
            return None
        User = get_user_model()
        user = User._default_manager.filter(email__iexact=username.strip().lower()).first()
        if user is None:
            user = User._default_manager.filter(username=username).first()
        if user is None or not user.check_password(password) or not user.is_active:
            return None
        return user

# settings
AUTHENTICATION_BACKENDS = ["apps.accounts.authentication.EmailOrUsernameBackend"]

Verifikasi production: login('[email protected]'), login('Admin'), login('[email protected]') → semua mengembalikan user Admin dengan email_verified=True.

Insight

  • Requirement ≠ produk yang berjalan. "Email is the login identity" tertulis di ADR, tapi mekanisme default (lookup by username) bertentangan dengannya untuk superuser bootstrap. Kontrak arsitektur harus diverifikasi dengan test nyata, bukan asumsi.
  • 525 dan 535 dari Brevo adalah dua pintu yang berbeda. Yang satu urusan IP, yang lain urusan kredensial — sama-sama tampil sebagai "email gagal dikirim" padahal akar dan perbaikannya beda total.
  • Fail2ban adalah firewall yang "menghilang". Dengan maxretry=2 yang agresif, ban bisa terlihat sebagai Connection refused atau timeout tanpa error yang jelas — bukan kegagalan SSH. Gejala "SSH disconnect" bisa jadi murni efek samping upaya login yang gagal.
  • Backfill data lama sering jadi bagian dari fix. email_verified=False yang sudah tertanam di production hanya bisa diperbaiki dengan backfill idempotent di command bootstrap — bukan hanya mengubah logika create untuk ke depannya.
  • Jangan pernah menyimpulkan "salah produce" sebelum bukti. Pipeline disangka menghapus kredensial; ternyata rsync sudah --exclude=.env/.ssh sejak dua commit lalu, dan .env cuma diedit manual setelah container start. Selalu cek hipotesis dengan bukti langsung (env container vs file, git history, ls authorized_keys).

Gotchas

  • Bug 535 paling sering adalah key kadaluarsa/di-reset di dashboard Brevo, BUKAN IP; 525 adalah IP yang belum di-allowlist. Keduanya menyerang celery log dengan pola retry yang sama — bedakan dengan error code di log, bukan dengan membaca ulang config.
  • SSH connection refused dari IP yang bisa ping = hampir selalu firewall/ban (fail2ban) atau sshd mati; Permission denied = masalah kredensial/key. Periksa keduanya.
  • ensure_panel_superuser adalah command idempotent: password existing tidak di-sync, hanya email_verified yang di-backfill. Jangan ubah perilaku "never touch existing" itu tanpa sadar — bisa mengunci deployment yang sama.
  • EmailOrUsernameBackend harus tetap memeriksa is_active dan check_password — jangan sampai backend baru melemahkan otentikasi hanya karena mengubah cara lookup.
  • Setelah menambah key SSH, langsung cobain dari sumber yang sama (tailscale IP vs IP publik bisa terban terpisah). Unban keduanya kalau perlu.
  • Backend custom harus didaftarkan di AUTHENTICATION_BACKENDS — tanpa itu, Django tetap memakai ModelBackend bawaan dan perubahan tak berefek.

Kesimpulan

Satu pagi menyelesaikan tiga lapis masalah production yang tampak terkait tapi ternyata independen: (1) email tidak sampai karena kredensial SMTP Brevo tidak valid (535) dan IP belum di-allowlist (525) — diperbaiki dengan mengganti key dan memverifikasi dari dalam container; (2) SSH tidak bisa konek karena id_fujitsu tidak terdaftar di authorized_keys DAN fail2ban yang agresif (maxretry=2, bantime=1 jam) mem-banned IP laptop — diperbaiki dengan menambah key + unban; (3) login superuser Admin ditolak padahal password benar, karena username Admin ≠ email [email protected] dan backend default mencari berdasarkan username — diperbaiki dengan email_verified=True pada bootstrap + backend EmailOrUsernameBackend yang lookup email dulu, fallback ke username.

Poin kuncinya: produksi adalah tempat di mana asumsi arsitektur (email = identitas login) dan implementasi (lookup by username) saling terpapar. Three independent roots, three fixes, satu commit (abf33d2) — dan setiap perbaikan diverifikasi langsung di server, bukan di localhost.

Stats

  • Total masalah ter-identifikasi: 3 (email/SMTP + SSH/fail2ban + login/auth)
  • Perubahan kode: ensure_panel_superuser (verified + backfill) + EmailOrUsernameBackend + 1 setting + test baru (test_authentication_backend.py)
  • Test: suite terkait (test_adminpanel, test_email_identity, test_authentication_backend) hijau; test_web.py masih merah karena fixture tests/fixtures/ memang belum ada (pre-existing)
  • Perubahan infrastruktur: authorized_keys production + unban fail2ban + validasi Brevo key & IP
  • Rentang waktu pengerjaan: ±1 malam (est. 3,5 jam)
  • Lapisan yang didiagnosis: SMTP Brevo → pipeline/rsync → Docker Compose env → SSH/authorized_keys → fail2ban → Django auth backend → ADR-021 identity model

Terakhir diperbarui 24 Sep 2026 23:18

Comments