Yapay zekâ kod asistanı kullanan herkes aynı şeyi söyler: "Çok hızlandım." Peki bu hissi bir kronometreyle ölçseydik ne görürdük? Temmuz 2025'te birileri tam olarak bunu yaptı ve sonuç kimsenin beklediği gibi çıkmadı.
Deney: 16 geliştirici, 246 gerçek görev
Yapay zekâ modellerinin yeteneklerini ölçen bağımsız araştırma kuruluşu METR, 2025'in ilk yarısında randomize kontrollü bir deney yaptı. Laboratuvar ortamında yapay bir görev yerine, gerçek dünyaya olabildiğince yakın bir kurgu seçtiler:
Geliştiriciler bu projelere yıllardır katkı veriyordu ve büyük dil modellerini kullanma konusunda onlarca, hatta yüzlerce saatlik deneyimleri vardı. Yani deneyde yeni başlayanlar ya da yabancı bir kod tabanı yoktu.
Sonuç: beklenti, algı ve gerçek
Geliştiriciler yapay zekâ kullandıklarında görevleri %19 daha uzun sürede bitirdi. Asıl çarpıcı olan ikinci satır: deney bittikten sonra bile aynı geliştiriciler yapay zekânın kendilerini %20 hızlandırdığına inanıyordu.
Yani yalnızca yavaşlamadılar; yavaşladıklarını fark etmediler. Bu, ilk yazıda değindiğim Stanford çalışmasındaki "aşırı güven" bulgusunun verimlilik tarafındaki karşılığı.
Neden yavaşladılar?
METR, yavaşlamayı açıklayabilecek 20 olası etkeni inceledi ve bunlardan beşinin büyük olasılıkla katkıda bulunduğunu bildirdi. Deneyin kurgusu da bu sonucun neden şaşırtıcı olmayabileceğine dair ipuçları veriyor:
- Bilinen ev, yeni rehber. Geliştiriciler kod tabanlarını ezbere biliyordu. Kendi başlarına zaten hızlı oldukları bir yerde, modele bağlamı anlatmak ek bir maliyetti.
- Yüksek kalite çıtası. Bir milyon satırlık, binlerce kişinin kullandığı bir projede "çalışıyor" yetmez; test, stil ve tasarım beklentileri yüksektir. Modelin önerisini bu çıtaya getirmek zaman alır.
- Bekleme ve gözden geçirme. Yapay zekâyla çalışmak yazma süresini kısaltıp okuma, bekleme ve düzeltme süresini uzatabilir. Hissedilen şey yazma hızıdır; ölçülen şey toplam süre.
Bir yıl sonra: METR'in Şubat 2026 güncellemesi
Hikâye burada bitmiyor. METR, Şubat 2026'da aynı soruyu 2025 sonunun araçlarıyla, yani Claude Code ve Codex gibi ajan tabanlı araçlarla yeniden sordu. Bu kez 57 geliştirici, 143 proje ve 800'ü aşkın görev vardı.
İlk çalışmaya katılan geliştiricilerde yön değişmiş: yavaşlamadan hızlanmaya. Ama METR bu sonucu kendisi de temkinle sunuyor, çünkü güven aralıkları çok geniş ve sıfırı içine alıyor. Daha da ilginci, kuruluşun asıl kaygısının ters yönde olması: gerçek hızlanmanın ölçülenden büyük olabileceğini düşünüyorlar.
Nedeni şu: yapay zekâya en çok alışan geliştiriciler artık işlerinin yarısını yapay zekâsız yapmayı kabul etmiyor. Katılımcıların %30 ila %50'si, yapay zekâsız yapmak istemedikleri görevleri deneye hiç göndermediklerini söyledi. Birden fazla ajanı aynı anda çalıştıranların süresini ölçmek ise neredeyse imkânsızlaştı. METR, bu yüzden ölçümün gerçek etkiyi yansıtmadığı sonucuna varıp çalışmayı yeniden tasarladığını açıkladı.
Sahadan sinyaller
Kontrollü deneylerin yanında, geniş anketler de benzer bir gerilimi gösteriyor: kullanım hızla artıyor, güven ise artmıyor.
DORA'nın bulgusu özellikle öğretici. Ekip seviyesinde yapay zekâ benimsemesi arttıkça bireyler daha verimli ve daha odaklı hissediyor; ama bu, yazılımın hızlı ve güvenli teslim edilmesine yansımıyor. Raporun öne sürdüğü olası açıklama: kod daha hızlı yazıldığında değişiklikler büyüyor, büyük değişiklikleri gözden geçirmek zorlaşıyor ve hata riski artıyor.
Peki ne yapmalı?
Bu verilerden "yapay zekâyı bırakın" sonucu çıkmıyor. METR de çalışmasının yapay zekânın yazılım mühendisliğinde işe yaramadığını göstermediğini açıkça söylüyor; hatta daha az deneyimli geliştiricilere ya da yabancı kod tabanlarında çalışanlara daha çok yardımcı olabileceğini belirtiyor. Çıkan sonuç daha sade: his ölçüm değildir.
- Yabancı bir kod tabanını ya da kütüphaneyi anlamak
- Kalıp kod, test iskeleti, veri dönüştürme
- Hızlı prototip ve tek kullanımlık betikler
- Hata mesajını yorumlamak, ilk tahmini üretmek
- Ezbere bildiğin, yüksek standartlı bir kod tabanı
- Örtük kuralların ve tarihçenin önemli olduğu işler
- Güvenlik ve veri bütünlüğü kritik değişiklikler
- "Neredeyse doğru" çıktının gözden geçirme maliyeti
Bir ekip için üç öneri:
- Kendi ölçümünü yap. Birkaç haftalığına benzer görevlerde süreyi, hata sayısını ve gözden geçirme turlarını kaydet. Hissettiğin hızla ölçtüğün hızı karşılaştır.
- Teslimatı ölç, yazmayı değil. Bir özelliğin canlıya çıkma süresi ve canlıda kaç hata çıkardığı, yazılan satır sayısından çok daha dürüst bir göstergedir.
- Gözden geçirmeyi ucuzlat. Küçük değişiklikler, otomatik testler ve CI'daki güvenlik taramaları, yapay zekânın hızını güvenle kullanmanın yoludur. Vibe coding yazısındaki 19 kontrol tam olarak bunun için.
Yapay zekâ araçları her altı ayda bir değişiyor ve bu yazıdaki rakamların bir kısmı da yakında eskiyecek. Ama METR'in ilk deneyinden kalıcı olan ders şu: kendi verimliliğimiz konusunda kötü birer tanığız. Kronometre her zaman daha dürüst.
Kaynaklar
- J. Becker, N. Rush, B. Barnes, D. Rein, Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity, METR, Temmuz 2025.
- METR, Uplift update: late-2025 AI tools, Şubat 2026.
- E. Paradis ve diğerleri, How much does AI impact development speed? An enterprise-based randomized controlled trial, Google, ICSE 2025.
- S. Peng, E. Kalliamvakou, P. Cihon, M. Demirer, The Impact of AI on Developer Productivity: Evidence from GitHub Copilot, 2023.
- Stack Overflow, 2025 Developer Survey: developers remain willing but reluctant to use AI, Temmuz 2025.
- InfoQ, 2024 DORA Report, Kasım 2024.