← Kembali

Dari Satu Industri ke Delapan: Multi-Industri di SkillTrace

extraction golden-tests multi-industry parsing python screening taxonomy

Dari Satu Industri ke Delapan: Multi-Industri di SkillTrace

Lanjutan dari "Evidence over Keywords". Setelah skoring benar, SkillTrace masih mesin satu-industri: kamusnya teknologi plus sedikit culinary. Sesi ini membawa mesin keluar dari teknologi — (1) menambah ~70 skill dan metadata SKILL_INDUSTRIES 8 grup, (2) membatasi strong-verb per industri agar tidak memicu false positive, dan (3) memperbaiki parser job description agar tidak lagi mengekstrak requirement palsu seperti "Git" dari frasa "GitLab CI". Ditutup dengan golden regression 24 pasang fixture: CV kuat 92.5–100%, CV keyword-spray 15–37.7%, di semua industri.

Work Log

  • [00:02:00] Inventarisasi cakupan taxonomy: hanya teknologi + culinary; akuntan/perawat/HR tidak tersentuh
  • [00:05:00] Tambah ~70 skill baru: hospitality front-of-house + finance/accounting, sales/marketing, healthcare, manufacturing, logistics, HR
  • [00:12:00] Buat SKILL_INDUSTRIES (8 grup) + invariant test: union grup == SKILLS, tiap industri >= 3 skill
  • [00:18:00] Strong verbs multi-industri dibatasi past-tense (sold, welded, shipped...); hapus lead dan serv
  • [00:25:00] SCALE_RE + unit industri: invoices, reports, leads, deals, shipments, pallets, patients
  • [00:33:00] 21 fixture baru: 7 job + 14 cv (strong/weak per industri, judul kerja diubah agar tak bocor jadi evidence)
  • [00:42:00] Invariant + unit test: judul -ing bukan usage, nested alias, "lead generation" bukan usage lead
  • [00:50:00] Fix parser JD berbasis span: "Payroll Administration" != "Payroll", "Inventory Management" != "Inventory", "Git" ter-drop dari job DevOps
  • [01:00:00] Hapus pasien dari alias Patient Care; fix cv_hr agar Scheduling & Coordination jadi Strong
  • [01:10:00] Re-run golden DevOps: Andi 17.4 -> 13.4, D. Rudian 32.8 -> 33.7 (Git bukan lagi requirement)
  • [01:25:00] Dump JSON 14 pasang; tulis golden test baru (total 24 pasang)
  • [01:40:00] Docs: ADR-007 (8 grup industri), ADR-008 (span extraction), PRD 8.1, PROGRESS
  • [02:00:00] Commit 1719512; 63 test hijau

Context

  • Proyek: SkillTrace — mesin screening CV berbasis evidence (Python package + CLI). Prinsip: "Evidence over keywords", "Unknown is not Not Met", dan "depth beats weak breadth" (hasil sesi blog #1)
  • Kondisi masuk sesi: taxonomy efektif hanya teknologi (plus culinary/hospitality dari sesi sebelumnya); golden 10 pasang
  • Target fase-1: 8 industri prioritas — Technology/IT, Finance & Accounting, Sales & Marketing, Hospitality & F&B, Healthcare, Manufacturing/Engineering, Logistics/Supply Chain, HR/Administration; arah jangka panjang minimal 10

Problem

  • CV akuntan, perawat, staf gudang, HR tidak tersentuh kamus — engine praktis satu industri
  • Strong verb lead memicu false positive: "lead generation" adalah nama skill, tapi lead dianggap kata kerja penggunaan -> sebutan telanjang naik jadi usage
  • Alias pasien di Patient Care membuat frasa umum "Merawat 30 pasien" terhitung sebagai evidence perawatan pasien (overcount)
  • Parser JD mengekstrak requirement tersarang: "Payroll Administration" menghasilkan dua requirement (Payroll + Payroll Administration); "Inventory Management" menambahkan "Inventory"; "GitLab CI / GitHub Actions" menambahkan "Git"
  • Judul skill berakhiran -ing ("Shipping & Receiving") rentan di-upgrade jadi usage oleh stem past-tense shipped

Investigation

  • SKILLS flat dict; tidak ada struktur industri, jadi cakupan bergantung pada "siapa yang kebetulan menulis skill itu"
  • Lemmatization sederhana tidak paham frasa: lead cocok di dalam "lead generation" tanpa tahu itu satu kesatuan nama skill
  • _skills_from_bucket menambahkan setiap alias yang cocok tanpa mempertimbangkan span: alias pendek di dalam frasa skill panjang ikut jadi requirement tersendiri
  • Golden DevOps berubah drastis bukan karena tweak skor, tapi karena requirement "Git" yang palsu berhasil dihapus

Root Cause

  • Belum ada struktur/metadata industri: tidak ada cara mengukur coverage, tidak ada guard bahwa semua skill "punya rumah"
  • Strong verb stems tanpa pembatasan bentuk/nuansa bisa mencocokkan nama skill itu sendiri (lead) atau frasa umum (pasien)
  • Ekstraksi JD berbasis token alias, tanpa konsep "span terpanjang menang"
  • Tidak ada invariant test untuk struktur baru -> regresi tak terdeteksi sampai golden berbicara

Solution

  • SKILL_INDUSTRIES: 8 grup sebagai metadata coverage. Invariant test menjamin union grup == seluruh SKILLS dan tiap industri >= 3 skill. Scoring tetap per-skill dan agnostik industri: skill dinilai dari bukti, bukan dari industri asal requirement
  • Strong verbs per industri dibatasi bentuk past-tense (handled, sold, welded, shipped, recruited... + ID). Hapus lead (false positive di "lead generation") dan serv; led dipertahankan. -ing skill title tidak pernah jadi usage
  • pasien dilepas dari alias Patient Care; fixture healthcare memakai "perawatan pasien"
  • _skills_from_bucket berbasis span terpanjang + filter alias tersarang (any(all(...))): alias yang seluruhnya di dalam span skill lebih panjang dibuang
  • 21 fixture baru + golden regression 14 pasang (total 24); dokumentasi ADR-007, ADR-008

Insight

  • Grouping industri adalah metadata coverage, bukan gating skoring. Dua hal yang berbeda: "industri apa saja yang kita paham" vs "seberapa kuat bukti kandidat". Mencampurnya akan menghukum kandidat karena lowongan datang dari industri yang belum dikenal
  • Golden test harus mencerminkan review manual, bukan hasil yang kita kejar: DevOps turun dari 17.4% ke 13.4% karena requirement "Git" memang salah, bukan karena skor lebih bagus kalau lebih tinggi. Koreksi yang bikin angka turun adalah kemenangan
  • Parser JD yang jujur lebih penting daripada skor tinggi: satu requirement palsu meracuni seluruh perbandingan antarkandidat pada lowongan itu
  • Kontras strong/weak di tiap industri keluar dari kedalaman, bukan dari bobot: CV kuat 100% vs CV keyword-spray 25% dengan breadth sama-sama 100%

Gotchas

  • Stem past-tense pun bisa false positive: lead aman? Tidak — lead nested di dalam "lead generation". led yang aman
  • -ing skill name (Baking, Shipping & Receiving) bukan usage verbs. Yang baru: past-tense shipped jangan sampai meng-upgrade judul "Shipping & Receiving" jadi usage
  • Menghapus requirement palsu mengubah golden DevOps drastis (Andi 17.4 -> 13.4). Jangan panik dan "fix" skor — itu koreksi, bukan regresi
  • CV healthcare weak malah naik ke 37.7% karena "D3 Keperawatan" di pendidikan adalah evidence nyata Nursing Care. Terima; jangan menulis ulang fixture supaya angkanya "rapi"
  • Urutan implementasi filter span itu jebakan: any(not ... ) salah akan membuang SEMUA skill. Bentuk benar: any(all(not ... for m in others) for s in my) — satu unit test nested-alias wajib

Kesimpulan

Sesi ini membuktikan "evidence over keywords" bisa diperluas ke banyak industri tanpa LLM dan tanpa embedding. Metadata SKILL_INDUSTRIES memberi kita cara mengukur cakupan dan memagari struktur dengan invariant test, sementara skoring tetap agnostik industri — jadi kandidat tidak dihukum karena lowongan datang dari domain yang belum pernah dilihat. Pembatasan strong verb ke bentuk past-tense dan lepasnya pasien dari alias Patient Care menghapus dua kelas false positive yang lahir dari lemmatization sederhana yang tidak paham frasa.

Yang paling penting: golden DevOps turun karena parser JD belajar bahwa "GitLab CI" bukan "Git". Requirement palsu tidak hanya menaikkan skor kandidat yang salah, tapi meracuni perbandingan antarkandidat. Mesin yang jujur tentang apa yang diminta lowongan adalah prasyarat mesin yang jujur menilai kandidat — dan 24 pasang golden sekarang mengunci cerita itu dari teknologi sampai HR.

Stats

  • Total errors: 0
  • Langkah aktivitas: 14
  • Rentang waktu: 00:02:00 -> 02:00:00

Terakhir diperbarui 24 Sep 2026 23:08

Comments