← Back

Evidence over Keywords: Breadth, Depth & Relevance di SkillTrace

cli evidence matching python scoring screening

Evidence over Keywords: Breadth, Depth & Relevance di SkillTrace

SkillTrace adalah mesin screening CV berbasis evidence — menilai kandidat dari bukti, bukan dari banyaknya kata kunci yang ditulis. Sesi ini fokus pada satu masalah besar: (1) membenahi klasifikasi evidence yang masih bisa "curang" — verb dari baris tetangga bocor ke header section, kata benda seperti deployment dihitung sebagai kata kerja, dan markah belajar (basic, sedang mengembangkan kemampuan) tidak terbaca pada baris lanjutan yang ter-wrap — lalu (2) mengubah skoring agar spesialis dengan bukti kuat pada skill yang relevan tidak lagi dikalahkan generalis yang menabur kata kunci.

Work Log

  • [00:02:00] Rewrite STRONG_VERB_RE/WEAK_VERB_RE jadi word-boundary regex (substring "led" tak lagi cocok di "knowledge")
  • [00:04:00] Tambah _mention_lines + _line_is_usage; cek is_learning dipindah sebelum path verb
  • [00:07:00] YEAR_RANGE_RE dukung rentang tahun telanjang (2021 – 2025)
  • [00:09:00] Tambah _NOUN_SUFFIX_RE agar "deployment"/"development"/"developer" tidak dihitung sebagai verb
  • [00:12:00] Claim-line per mention: baris sebelumnya hanya untuk fragment lanjutan (lowercase)
  • [00:15:00] Fix learning pada wrapped continuation: "dan Cloud Platform (Azure & GCP)"
  • [00:20:00] Tambah 6 test klasifikasi evidence; 27/27 lulus
  • [00:24:00] Re-run screening DevOps: Docker/CI-CD/DevOps Andi jadi Weak; GCP/Azure D. Rudian jadi Weak
  • [00:30:00] Diagnosa Weak=0.35: generalis keyword-spray (0.35) mengalahkan spesialis kuat (6/20 = 0.30)
  • [00:33:00] Turunkan STATE_SCORE Weak 0.35 -> 0.15
  • [00:36:00] Implement score_dimensions() -> breadth/depth/relevance
  • [00:40:00] Field breadth/depth/relevance di ScreeningResult + output CLI
  • [00:46:00] Test depth_beats_weak_breadth + score_dimensions; 29/29 lulus
  • [00:52:00] Dokumentasi: PRD §2.4, ADR-002 di decisions.md, prinsip di AGENTS.md
  • [01:00:00] Re-run 3 screening dengan skor baru
  • [01:17:00] Simpan PROGRESS.md

Context

  • Proyek: SkillTrace - mesin screening CV berbasis evidence (Python package + CLI), prinsip utamanya "Evidence over keywords" dan "Unknown is not Not Met"
  • Masalah awal: header section DEVOPS / DEPLOYMENT dinilai "Production usage" (Strong) padahal isinya cuma "Familiar with basic Linux commands"
  • Prinsip baru dari user: spesialisasi tidak boleh dihukum hanya karena kandidat menulis lebih sedikit teknologi; skill breadth tidak sama dengan skill depth
  • Sesi kemarin (yang lalu): klasifikasi evidence + OCR + pipeline sudah jalan, 21 test lulus

Problem

  • Verb dari baris atas bocor ke header section: DEVOPS / DEPLOYMENT (header) mencuri verb "Created" dari baris - Created simple REST API endpoints. -> DevOps Andi Pratama salah jadi Strong
  • Kata benda dihitung sebagai verb: stem deploy dengan \w* mencocokkan deployment, develop cocok development -> header section terlihat "production usage"
  • Markah belajar Indonesia tidak terbaca jika skill berada di baris lanjutan yang ter-wrap: dan Cloud Platform (Azure & GCP) di bawah • Sedang mengembangkan kemampuan pada Kubernetes... -> GCP/Azure D. Rudian salah jadi Moderate
  • Rentang tahun tanpa bulan (2021 – 2025) tidak dikenali regex pengalaman
  • Yang paling serius: skoring menghukum spesialis. Dengan Weak = 0.35, generalis yang menulis 20 skill asal-asalan mendapat 20 × 0.35 / 20 = 35%, lebih tinggi dari spesialis yang benar-benar kuat di 6 skill relevan (6/20 = 30%). Keyword-spray membayar lebih baik daripada kedalaman.

Investigation

  • STRONG_VERB_RE lama pakai substring check -> led cocok di dalam knowledge, deploy di dalam deployed maupun deployment
  • line_window ikut menyertakan baris sebelumnya untuk semua mention -> verb dari baris tak terkait ikut jadi konteks
  • Stem dengan \w* tidak bisa membedakan verb (deployed) dan noun (deployment); perlu filter suffix
  • Pada PDF, • Sedang mengembangkan kemampuan pada Kubernetes, CI/CD, ter-wrap ke baris dan Cloud Platform (Azure & GCP) -> markah learning ada di baris sebelumnya, bukan di baris skill-nya
  • score_cards = rata-rata terbobot STATE_SCORE atas semua requirement; nilai Weak menentukan apakah menabur sebutan menguntungkan

Root Cause

  • Konteks klasifikasi menyertakan baris tetangga tanpa aturan, sehingga header mencuri verb dan mention non-learning mencuri/menutupi markah learning
  • Stem regex tidak membedakan bentuk kata benda vs kata kerja
  • Markah learning hanya dicek pada baris yang memuat skill, padahal skill bisa jadi bagian lanjutan kalimat
  • Bobot Weak terlalu tinggi: sebutan telanjang (bare mention) bernilai 35% dari bukti kuat, sehingga daftar 20 kata kunci mengalahkan bukti mendalam di 6 skill
  • Skor tunggal (satu angka) tidak membedakan breadth, depth, dan relevance

Solution

  • Konteks per mention dibatasi ke claim-line efektif: baris skill + baris sebelumnya hanya jika baris tersebut fragment lanjutan (diawali huruf kecil); baris berikutnya hanya masuk konteks verb, tidak pernah masuk keputusan learning
  • Filter noun: _NOUN_SUFFIX_RE (ment/tion/er/or/ance/ence/ness/ure) membuang bentuk kata benda dari hasil stem-verb
  • Learning dinilai per claim-line: markah learning di salah satu baris -> Weak, kecuali ada baris yang sendiri menunjukkan penggunaan nyata (verb kuat/scale/duration)
  • STATE_SCORE["Weak"]: 0.35 -> 0.15 — bare mention dihargai kecil, karena sebutan ≠ kedalaman
  • score_dimensions(): hitung breadth (fraksi skill wajib yang tersentuh), depth (rata-rata kekuatan bukti pada yang tersentuh), relevance (porsi bukti di skill wajib vs preferred), dan tampilkan tiga dimensi itu di CLI
  • Dokumentasi prinsip: PRD §2.4 "Breadth vs depth vs relevance", ADR-002 di decisions.md, dan tiga prinsip baru di AGENTS.md

Insight

  • Skill breadth bukan skill depth. Satu angka rata-rata tidak pernah bisa bercerita "spesialis dalam 6 skill" vs "menyentuh semua, mendalami tidak ada". Pecah menjadi dimensi, biar recruiter yang memutuskan.
  • Menurunkan bobot bare mention lebih jujur daripada menambah pengali depth yang buram dan sulit dijelaskan ke recruiter.
  • Aturan konteks klasifikasi harus eksplisit tentang "baris siapa": menyertakan baris tetangga tanpa aturan selalu melahirkan kontaminasi, baik verb bocor masuk maupun markah learning tertutup tetangga.
  • "Unknown is not Not Met" berpadu dengan breadth: skill yang tidak disentuh tidak menghukum depth, tapi tetap terlihat di breadth.

Gotchas

  • Stem regex + \w* itu berbahaya: deploy juga mencocokkan deployment. Filter suffix noun wajib, tapi harus hati-hati supaya refactor (berakhiran -or) tidak ikut terbuang
  • Baris setelah mention TIDAK boleh masuk keputusan learning: - Used Git for version control. akan salah didowngrade oleh baris berikutnya - Have basic knowledge of Docker.
  • Menurunkan bobot Weak mengubah skor semua kandidat; Andi Setiawan turun 50.9% -> 44.3% (tepat di bawah ambang Review) karena skill Weak-nya memang cuma sebutan. Jangan mengubah ambang grade demi mengejar angka
  • Test result.depth == 1.0 gagal karena Python John Doe ternyata Moderate (satu baris kerja, tanpa durasi/scale) — ekspektasi harus sesuai realita, bukan sebaliknya

Kesimpulan

Hari ini SkillTrace belajar bahwa "evidence over keywords" harus dipegang sampai ke skor, bukan cuma ke label. Di sisi klasifikasi, membatasi konteks ke claim-line yang benar + memfilter kata benda menghentikan dua jenis kontaminasi: verb tetangga yang membuat header section terlihat "production usage", dan markah learning yang hilang di baris lanjutan.

Di sisi skoring, menurunkan bobot sebutan telanjang dari 0.35 ke 0.15 dan memisahkan breadth, depth, relevance membuat mesin berhenti menghukum spesialis dan berhenti menghadiahi taburan kata kunci. Sekarang generalis yang menyentuh 20 skill dengan bukti lemah (15%) kalah dari spesialis yang kuat di 6 skill relevan (30%) — dan yang menyentuh semua dengan bukti nyata tetap menang, karena itu memang lebih bisa mengerjakan pekerjaannya. Skor tunggal tetap ada, tapi kini didampingi tiga dimensi yang memberi recruiter gambar utuh sebelum keputusan manusia.

Stats

  • Total errors: 0
  • Langkah aktivitas: 16
  • Rentang waktu: 00:02:00 -> 01:17:05

Last updated 24 Sep 2026 23:08

Comments