2–6 Ekim 2024'te Adana Şakirpaşa Havalimanı'nda, TEKNOFEST Finansal Teknolojiler Yarışması'nın lisans kategorisinde birinci olduk. Sahnede kupayı kaldırdığımız an birkaç saniye sürdü; arkasında ise aylarca süren bir soru vardı: Sürekli kılık değiştiren bir dolandırıcıyı nasıl yakalarsınız?
Problem: sabit kurallar eskiyor
Kredi kartı dolandırıcılığı 2021'de dünya genelinde 32,34 milyar dolarlık kayba ulaştı. Bankaların klasik yaklaşımı kural tabanlı sistemler: "Bu tutarın üstü şüphelidir", "Bu ülkeden gelen işlem riskli" gibi. Sorun şu ki dolandırıcılar da bu kuralları öğreniyor ve tespit edilmemek için yöntemlerini sürekli geliştiriyor.
R2Y Fintek olarak hedefimizi şöyle koyduk: kuralları elle yazmak yerine, örüntüyü veriden öğrenen ve yeni veriyle güncellenmeye devam eden bir model.
Veri: dengesizliğin tuzağı
Avrupalı kart sahiplerine ait 284.807 işlemlik bir veri setiyle çalıştık. Gizlilik nedeniyle özelliklerin büyük kısmı PCA ile dönüştürülmüş 28 bileşen olarak geliyor; yani "bu işlem gece yapıldı" gibi okunabilir bir alan yok, sadece sayılar var.
Asıl zorluk başka yerde: dolandırıcılık işlemleri veri setinin çok küçük bir kısmı. Bu da şu anlama geliyor:
Her işleme "normal" diyen bir model bile %99'un üzerinde doğruluk alır. Doğruluk tek başına hiçbir şey söylemez.
Bu yüzden modeli değerlendirirken iki sınıfı ayrı ayrı ölçtük ve asıl dikkatimizi dolandırıcılık sınıfındaki precision ve recall değerlerine verdik.
Model: tek bir modele güvenmemek
XGBoost ile yapay sinir ağını (YSA) birlikte kullanan hibrit bir yapı kurduk. Veriyi eğitim, doğrulama ve test olarak ayırdık; YSA'yı Adam optimizasyonu ve cross-entropy kaybıyla 300 epoch boyunca eğittik.
Normal işlemlerde precision, recall ve F1 skorlarının üçü de %99,9 seviyesinde kaldı. Dolandırıcılık sınıfında F1 skoru %86,8 oldu. Gerçek dünya senaryosunu taklit etmek için test verilerinden rastgele seçtiğimiz 500 işlemlik bir simülasyonda model %99,80 doğrulukla çalıştı.
Sistem: modelden ürüne
Jüriye sadece bir model değil, bir akış sunduk:
- İşlem geldiğinde model bir dolandırıcılık olasılığı hesaplar.
- Olasılığı %80 ve üzerinde olan işlemler şüpheli olarak işaretlenir.
- Eğitilmiş model yerel sunuculara yüklenir; yerel cihazlar bu sunucu üzerinden çalışır.
- OLAP üzerinden gelen çok kaynaklı veriyle model periyodik olarak yeniden eğitilir ve sunuculara tekrar dağıtılır.
Bu son adım projenin özgün tarafıydı: dolandırıcılık yöntemleri değiştikçe model de yeni örüntüleri öğrenmeye devam ediyor.
Sahneden sonra
Birinciliğin ardından İstanbul Valiliği'nden teşekkür belgesi aldık. Ama benim için en kalıcı kazanım şu ders oldu: iyi bir metrik seçmek, iyi bir model seçmekten önce gelir. Dengesiz veride doğruluk oranıyla övünmek kolay; hangi hatanın daha pahalı olduğunu bilmek ise asıl mühendislik.
Bu bakış açısını sonrasında Borsa İstanbul'da fon risk skorlaması üzerinde çalışırken de taşıdım. Ama o başka bir yazının konusu.