AI sınıflandırıcı için test protokolü

Bağlam

Şirket içi ürün (monitoring platformunun AI modülü)

Problem

Sınıflandırıcı tek etiket üretiyor ama içinde iki ayrı karar var (alaka + sentiment). Tek bir “doğruluk yüzdesi” ikisini karıştırıyor; hata nerede, kimin hatası, bir sonraki dönemde tekrarlanır mı — cevap yoktu.

Yaklaşım

İki ekseni ayrı ölçen, yanlış-pozitifi yanlış-negatiften pahalı sayan, her karara kapalı listeden hata kodu yazdıran ve etiket↔gerekçe çelişkisini otomatik yakalayan bir protokol yazdım. Determinizm (aynı girdiye aynı çıktı) ayrı kontrol ediliyor; her bulgu “prompt hatası / karar hatası / veri hatası” olarak sahipleniyor.

Etki

Haftalık denetimler tekrarlanabilir hale geldi; ürün ekibine giden bulgular gruplanmış ve önceliklenmiş olarak ulaşıyor; aynı hata ikinci kez açılmıyor.