Evidence over Keywords: Breadth, Depth & Relevance di SkillTrace
SkillTrace adalah mesin screening CV berbasis evidence — menilai kandidat dari bukti, bukan dari banyaknya kata kunci yang ditulis. Sesi ini fokus pada satu masalah besar: (1) membenahi klasifikasi evidence yang masih bisa "curang" — verb dari baris tetangga bocor ke header section, kata benda seperti deployment dihitung sebagai kata kerja, dan markah belajar (basic, sedang mengembangkan kemampuan) tidak terbaca pada baris lanjutan yang ter-wrap — lalu (2) mengubah skoring agar spesialis dengan bukti kuat pada skill yang relevan tidak lagi dikalahkan generalis yang menabur kata kunci.
Work Log
- [00:02:00] Rewrite STRONG_VERB_RE/WEAK_VERB_RE jadi word-boundary regex (substring "led" tak lagi cocok di "knowledge")
- [00:04:00] Tambah _mention_lines + _line_is_usage; cek is_learning dipindah sebelum path verb
- [00:07:00] YEAR_RANGE_RE dukung rentang tahun telanjang (2021 – 2025)
- [00:09:00] Tambah _NOUN_SUFFIX_RE agar "deployment"/"development"/"developer" tidak dihitung sebagai verb
- [00:12:00] Claim-line per mention: baris sebelumnya hanya untuk fragment lanjutan (lowercase)
- [00:15:00] Fix learning pada wrapped continuation: "dan Cloud Platform (Azure & GCP)"
- [00:20:00] Tambah 6 test klasifikasi evidence; 27/27 lulus
- [00:24:00] Re-run screening DevOps: Docker/CI-CD/DevOps Andi jadi Weak; GCP/Azure D. Rudian jadi Weak
- [00:30:00] Diagnosa Weak=0.35: generalis keyword-spray (0.35) mengalahkan spesialis kuat (6/20 = 0.30)
- [00:33:00] Turunkan STATE_SCORE Weak 0.35 -> 0.15
- [00:36:00] Implement score_dimensions() -> breadth/depth/relevance
- [00:40:00] Field breadth/depth/relevance di ScreeningResult + output CLI
- [00:46:00] Test depth_beats_weak_breadth + score_dimensions; 29/29 lulus
- [00:52:00] Dokumentasi: PRD §2.4, ADR-002 di decisions.md, prinsip di AGENTS.md
- [01:00:00] Re-run 3 screening dengan skor baru
- [01:17:00] Simpan PROGRESS.md
Context
- Proyek: SkillTrace - mesin screening CV berbasis evidence (Python package + CLI), prinsip utamanya "Evidence over keywords" dan "Unknown is not Not Met"
- Masalah awal: header section
DEVOPS / DEPLOYMENTdinilai "Production usage" (Strong) padahal isinya cuma "Familiar with basic Linux commands" - Prinsip baru dari user: spesialisasi tidak boleh dihukum hanya karena kandidat menulis lebih sedikit teknologi; skill breadth tidak sama dengan skill depth
- Sesi kemarin (yang lalu): klasifikasi evidence + OCR + pipeline sudah jalan, 21 test lulus
Problem
- Verb dari baris atas bocor ke header section:
DEVOPS / DEPLOYMENT(header) mencuri verb "Created" dari baris- Created simple REST API endpoints.-> DevOps Andi Pratama salah jadi Strong - Kata benda dihitung sebagai verb: stem
deploydengan\w*mencocokkandeployment,developcocokdevelopment-> header section terlihat "production usage" - Markah belajar Indonesia tidak terbaca jika skill berada di baris lanjutan yang ter-wrap:
dan Cloud Platform (Azure & GCP)di bawah• Sedang mengembangkan kemampuan pada Kubernetes...-> GCP/Azure D. Rudian salah jadi Moderate - Rentang tahun tanpa bulan (
2021 – 2025) tidak dikenali regex pengalaman - Yang paling serius: skoring menghukum spesialis. Dengan
Weak = 0.35, generalis yang menulis 20 skill asal-asalan mendapat20 × 0.35 / 20 = 35%, lebih tinggi dari spesialis yang benar-benar kuat di 6 skill relevan (6/20 = 30%). Keyword-spray membayar lebih baik daripada kedalaman.
Investigation
STRONG_VERB_RElama pakai substring check ->ledcocok di dalamknowledge,deploydi dalamdeployedmaupundeploymentline_windowikut menyertakan baris sebelumnya untuk semua mention -> verb dari baris tak terkait ikut jadi konteks- Stem dengan
\w*tidak bisa membedakan verb (deployed) dan noun (deployment); perlu filter suffix - Pada PDF,
• Sedang mengembangkan kemampuan pada Kubernetes, CI/CD,ter-wrap ke barisdan Cloud Platform (Azure & GCP)-> markah learning ada di baris sebelumnya, bukan di baris skill-nya score_cards= rata-rata terbobot STATE_SCORE atas semua requirement; nilai Weak menentukan apakah menabur sebutan menguntungkan
Root Cause
- Konteks klasifikasi menyertakan baris tetangga tanpa aturan, sehingga header mencuri verb dan mention non-learning mencuri/menutupi markah learning
- Stem regex tidak membedakan bentuk kata benda vs kata kerja
- Markah learning hanya dicek pada baris yang memuat skill, padahal skill bisa jadi bagian lanjutan kalimat
- Bobot Weak terlalu tinggi: sebutan telanjang (bare mention) bernilai 35% dari bukti kuat, sehingga daftar 20 kata kunci mengalahkan bukti mendalam di 6 skill
- Skor tunggal (satu angka) tidak membedakan breadth, depth, dan relevance
Solution
- Konteks per mention dibatasi ke claim-line efektif: baris skill + baris sebelumnya hanya jika baris tersebut fragment lanjutan (diawali huruf kecil); baris berikutnya hanya masuk konteks verb, tidak pernah masuk keputusan learning
- Filter noun:
_NOUN_SUFFIX_RE(ment/tion/er/or/ance/ence/ness/ure) membuang bentuk kata benda dari hasil stem-verb - Learning dinilai per claim-line: markah learning di salah satu baris -> Weak, kecuali ada baris yang sendiri menunjukkan penggunaan nyata (verb kuat/scale/duration)
STATE_SCORE["Weak"]: 0.35 -> 0.15— bare mention dihargai kecil, karena sebutan ≠ kedalamanscore_dimensions(): hitung breadth (fraksi skill wajib yang tersentuh), depth (rata-rata kekuatan bukti pada yang tersentuh), relevance (porsi bukti di skill wajib vs preferred), dan tampilkan tiga dimensi itu di CLI- Dokumentasi prinsip: PRD §2.4 "Breadth vs depth vs relevance", ADR-002 di decisions.md, dan tiga prinsip baru di AGENTS.md
Insight
- Skill breadth bukan skill depth. Satu angka rata-rata tidak pernah bisa bercerita "spesialis dalam 6 skill" vs "menyentuh semua, mendalami tidak ada". Pecah menjadi dimensi, biar recruiter yang memutuskan.
- Menurunkan bobot bare mention lebih jujur daripada menambah pengali depth yang buram dan sulit dijelaskan ke recruiter.
- Aturan konteks klasifikasi harus eksplisit tentang "baris siapa": menyertakan baris tetangga tanpa aturan selalu melahirkan kontaminasi, baik verb bocor masuk maupun markah learning tertutup tetangga.
- "Unknown is not Not Met" berpadu dengan breadth: skill yang tidak disentuh tidak menghukum depth, tapi tetap terlihat di breadth.
Gotchas
- Stem regex +
\w*itu berbahaya:deployjuga mencocokkandeployment. Filter suffix noun wajib, tapi harus hati-hati supayarefactor(berakhiran -or) tidak ikut terbuang - Baris setelah mention TIDAK boleh masuk keputusan learning:
- Used Git for version control.akan salah didowngrade oleh baris berikutnya- Have basic knowledge of Docker. - Menurunkan bobot Weak mengubah skor semua kandidat; Andi Setiawan turun 50.9% -> 44.3% (tepat di bawah ambang Review) karena skill Weak-nya memang cuma sebutan. Jangan mengubah ambang grade demi mengejar angka
- Test
result.depth == 1.0gagal karena Python John Doe ternyata Moderate (satu baris kerja, tanpa durasi/scale) — ekspektasi harus sesuai realita, bukan sebaliknya
Kesimpulan
Hari ini SkillTrace belajar bahwa "evidence over keywords" harus dipegang sampai ke skor, bukan cuma ke label. Di sisi klasifikasi, membatasi konteks ke claim-line yang benar + memfilter kata benda menghentikan dua jenis kontaminasi: verb tetangga yang membuat header section terlihat "production usage", dan markah learning yang hilang di baris lanjutan.
Di sisi skoring, menurunkan bobot sebutan telanjang dari 0.35 ke 0.15 dan memisahkan breadth, depth, relevance membuat mesin berhenti menghukum spesialis dan berhenti menghadiahi taburan kata kunci. Sekarang generalis yang menyentuh 20 skill dengan bukti lemah (15%) kalah dari spesialis yang kuat di 6 skill relevan (30%) — dan yang menyentuh semua dengan bukti nyata tetap menang, karena itu memang lebih bisa mengerjakan pekerjaannya. Skor tunggal tetap ada, tapi kini didampingi tiga dimensi yang memberi recruiter gambar utuh sebelum keputusan manusia.
Stats
- Total errors: 0
- Langkah aktivitas: 16
- Rentang waktu: 00:02:00 -> 01:17:05
Comments