Jev AI modeli düzyazı için değil, kararlar için tasarlandı

Jev, TypeSafe AI tarafından yeni bir transformer tabanlı model olarak tanımlanıyor, ancak büyük dil modeli değil. Metin token’ları üretmek yerine, geliştiricilerin önceden tanımladığı çıktılar üzerinde olasılıklar döndürüyor. TechCrunch, TypeSafe’in bu çıktılara “kalibre edilmiş kararlar” dediğini söylüyor.

Rapora göre bu tasarımın üç doğrudan sonucu var.

Birincisi, model sınıflandırma tarzı işler için genel amaçlı bir LLM kullanmaya kıyasla daha ucuz ve daha hızlı olarak konumlandırılıyor. TechCrunch, Jev’in çıktı token’larının ücretsiz olduğunu ve girdi token’larının milyonla değil milyarla ölçülerek ücretlendirildiğini bildiriyor.

İkincisi, çıktı alanı sınırlı. Bir geliştirici olası çıktıları önceden tanımlarsa model akıcı ama beklenmedik bir paragrafla yanıt veremez. TechCrunch, TypeSafe’in bunu halüsinasyonu önlemenin bir yolu olarak sunduğunu söylüyor. Pratikteki versiyonu daha dar: Jev yine de yanlış olabilir, ancak olasılık eklenmiş, bilinen bir seçenek kümesinin içinde yanlış olması beklenir.

Üçüncüsü, bu olasılık sonradan eklenen bir düşünce değil, ürünün bir parçası. Earendil CTO’su Armin Ronacher, TechCrunch’a Jev’in “halüsinasyon problemini biraz kullanıcıya devrettiğini” söyledi. Bir sonuç %50 ile gelirse uygulama bunu yok sayabilir. %95 ile gelirse uygulama eyleme geçebilir.

Bu ayrım önemli. Birçok AI otomasyonu modelin hiç işe yaramamasından değil, yazılımın modelin yalnızca tahmin yürüttüğünü anlayamamasından dolayı bozulur. Geliştiriciler çoğu zaman bir LLM’den kendini açıklamasını, kendi içinde oylama yapmasını veya yapılandırılmış JSON üretmesini isteyerek güveni geri kazanmaya çalışır. Jev ise güven skorunun asıl mesele olduğu bir model olarak sunuluyor.

TechCrunch, geliştirici ilgisinin TypeSafe AI’ın kısa süreliğine API üzerinden kullanıcılara hizmet veremez hâle gelmesine yetecek kadar yüksek olduğunu bildiriyor. Makale, Jev’in erken dönem cazibesini yazılım otomasyonu etrafında çerçeveliyor: zekâyı sohbet arayüzü olarak değil, kodun içinde kullanan geliştiriciler.

Rapordaki iki örnek bu talebin şeklini gösteriyor.

Vercel’de yazılım mühendisi olan Pranit Sharma, TechCrunch’a Vercel’in komutları güvenlik açısından inceleyen bir sınıflandırıcı çalıştırmak için bir OpenAI modeli kullandığını söyledi. Vercel, OpenAI’ın Luna modelini Jev ile değiştirdiğinde Sharma, sonuçları beş ila 18 kat daha hızlı ve daha yüksek doğrulukla aldıklarını söyledi.

TechCrunch’a göre Bryo AI CTO’su Nikhil Mudholkar, iş e-postalarını sınıflandırmak için Jev’i Gemini’ye karşı test etti. Testinde Gemini biraz daha doğruydu, ancak 10 ila 20 kat daha pahalıydı. Mudholkar, Jev’in güven skorlarını vurgulayarak onun “gerçek bir olasılık geri veren tek model” olduğunu ve bunun iş akışlarını otomatikleştirmede faydalı kıldığını söyledi.

Bunlar geniş kapsamlı benchmark’lar değil. Belirli ortamlarda, ayrıntıları testi yürüten kişiler tarafından kontrol edilen, rapor edilmiş geliştirici testleri. Ancak gerçek bir kategoriye işaret ediyorlar: işin “yanıtı yazmak” değil, “doğru dalı seçmek” olduğu durumlar.

Örnekler şunları içerir:

Birçok ekip bugün bunları LLM prompt’ları artı yapılandırılmış çıktılarla çözüyor. Bu yaklaşım, özellikle şemalar, yeniden denemeler ve doğrulamayla birlikte kullanıldığında işe yarayabilir. Ancak yine de dil üretimi gerektirmeyebilecek bir görev için LLM bütçesi harcar.

Jev’in erken iddiaları TechCrunch’ın aktardığı örneklerin dışında da geçerli olursa, tool calling ve yapılandırılmış çıktılar ile aynı pratik tasarım alanına oturur: model davranışını yazılımın tüketebileceği sözleşmelere dönüştürmek.

TechCrunch’ın raporundaki en ilginç kullanımlardan biri LLM’leri değiştirmek değil, onları ne zaman kullanacağına karar vermek.

Ronacher, TechCrunch’a Jev’in model yönlendirme için faydalı olabileceğini söyledi: belirli bir iş yükünün belirli bir modele ihtiyaç duyup duymadığını tahmin etmek. Bu kararı vermek için bir LLM kullanmak pahalı olabilir. Kalibre edilmiş bir skor döndüren daha ucuz, daha hızlı bir model, bir model yığınının önünde durup her isteğin nereye gitmesi gerektiğine karar verebilir.

Birden fazla modelle ürün geliştiren herkes için bu tanıdık bir problem. En güçlü model her zaman gerekli değildir. En ucuz model her zaman güvenli değildir. Bazı prompt’lar uzun bağlamlı akıl yürütme ister; bazıları hızlı bir sınıflandırıcı ister; bazıları görüntü, ses veya retrieval aracına ihtiyaç duyar. Bir yönlendiricinin bütçeyi harcamadan önce işi tahmin etmesi gerekir.

Jev’in biçimi de burada önemli. Bir yönlendiricinin bir prompt’un neden zor olduğuna dair bir denemeye ihtiyacı yoktur. Şuna benzer bir karara ihtiyacı vardır:

• küçük bir modele gönder;
• frontier modele gönder;
• önce belgeleri getir;
• insan onayı iste;
• güvensiz olduğu için reddet.

Bu, sohbetten çok olasılık tahminine yakındır. Temel yönlendirme problemi retorik değil pratiktir: değerli kısım çoğu zaman mevcut en büyük modeli çağırmak değil, doğru yeteneği doğru fiyata seçmektir.

Jev, yönlendirmenin kendisinin de arkasında uzmanlaşmış modeller olan bir AI iş yüküne dönüşebileceğini gösteriyor.

TechCrunch ayrıca Almeida’nın Jev’in LLM ajan izlerini izlemek ve jailbreak’leri önlemek için kullanılabileceğini düşündüğünü bildiriyor. Maliyet argümanı basit. Her ajan eyleminin başka bir tam LLM tarafından kontrol edilmesi gerekiyorsa güvenlik katmanı pahalı hâle gelebilir. Daha küçük bir karar modeli şüpheli davranışı ucuza işaretleyebilirse daha fazla uygulama sürekli izlemeyi karşılayabilir.

Bu, ajan güvenliğinin zor kısımlarını ortadan kaldırmaz. Bir sınıflandırıcının iyi tanımlanmış etiketlere ihtiyacı vardır. Örneklere ihtiyacı vardır. Eşiklere ihtiyacı vardır. Güven düşük olduğunda ne olacağına dair bir politikaya ihtiyacı vardır. Ve eylem yeterince hassassa bir olasılık skoru insan yargısının yerini almamalıdır.

Ancak mimari temizdir:

1. bir ajan bir adım önerir veya atar;
2. bir karar modeli adımı skorlar;
3. sistem engeller, izin verir, kaydeder veya üst seviyeye taşır;
4. bir insan yalnızca insan incelemesi gerektiren vakaları inceler.

Bu, üretim sistemlerinin risk hakkında zaten düşünme biçimine yakındır. Ödeme sistemleri, dolandırıcılık sistemleri, spam sistemleri ve kötüye kullanım sistemleri çoğu zaman eşikler ve üst seviyeye taşıma yolları üzerinden çalışır. AI ajanları da aynı kalıba ihtiyaç duymaya başlıyor.

Otonom iş akışları geliştiren ekipler için ders “güvenlik çalışmanızı Jev ile değiştirin” değildir. Ders, güvenliğin üretimden ayrılabileceğidir. Eyleme geçmek için bir model, izlemek için başka bir model veya sınıflandırıcı ve geri alınamaz eylemler için bir insan onayı katmanı kullanan ajanlar tasarlayabilirsin. Aynı ilke human-in-the-loop onaylarında ve iş ilerlemeden önce bir bileşenin diğerini kontrol ettiği çok ajanlı sistemlerde de görülür.

Mimari kısmen opak kalıyor. TechCrunch, Almeida’nın Jev’in iç işleyişi konusunda “ağzı sıkı” olduğunu söylerken, dış gözlemciler modelin açık ağırlıklı bir LLM üzerine inşa edildiğinden şüpheleniyor. TypeSafe AI, Jev’i bir “System One model” olarak adlandırıyor: açık akıl yürütmeden ziyade hızlı, sezgi benzeri kararlar için optimize edilmiş, göreve uygun daha dar bir tasarıma sahip bir model.

Almeida, TechCrunch’a Jev’in yalnızca sentetik veriyle, “kalibre edilmiş kararlardan pekiştirmeli öğrenme” adını verdiği bir teknik kullanılarak eğitildiğini söyledi. Ayrıca TypeSafe AI’ın tüm verisini kendi üretme konusunda erken bir bahis yaptığını söyledi. Şirketin bir bölümünü “istatistiksel olarak iyi anlaşılmış sentetik veri”ye odaklanan bir laboratuvar olarak tanımladı.

Ürün tezini anlamaya yetecek kadar bilgi var, ancak eğitim yöntemini bağımsız olarak değerlendirmeye yetecek kadar yok. TechCrunch raporundan kalibrasyonun nasıl ölçüldüğünü, dağılım dışı koşullarda ne kadar sağlam olduğunu, modelin adversarial girdileri nasıl ele aldığını veya performansın alanlar arasında nasıl değiştiğini bilmiyoruz.

Bu sorular önemli çünkü olasılık ancak kalibre edildiğinde faydalıdır. Bir model %95 diyorsa ve benzer koşullar altında kabaca zamanın %95’inde doğruysa geliştiriciler bunun etrafında politikalar kurabilir. Sayı yalnızca güvene benzeyen bir çıktıysa doğrulanması gereken başka bir şeye dönüşür.

Mantıklı bir değerlendirme yalnızca doğruluğu değil, kalibrasyon eğrilerini, çekimser kalma davranışını, eşik performansını ve gerçek trafik altındaki maliyeti de test eder. Halihazırda model değerlendirmeleri yürüten ekipler için Jev, yerini alabileceği veya izleyebileceği LLM ile aynı test düzeneğine ait olurdu.

Jev, adını Jevons paradoksuyla ilişkilendirilen 19. yüzyıl ekonomisti William Stanley Jevons’tan alıyor: bir kaynağın kullanımı daha verimli hâle geldiğinde toplam tüketim düşmek yerine artabilir. Almeida, TechCrunch’a TypeSafe AI’ın daha ucuz zekânın yalnızca “mega app’lerin” egemen olduğu bir dünyadan çok, erken internet dönemine benzer şekilde “her yere yayılmış akıllı yazılım”a yol açmasını beklediğini söyledi.

Stratejik iddia bu. Zekâ sıradan kontrol akışının içine yerleştirilebilecek kadar ucuz hâle gelirse geliştiriciler AI’ı chatbot’lar ve büyük ajan tabanlı deneyimler için ayırmayı bırakabilir. Bunun yerine küçük kararlar her yerde belirir: kuyruklarda, yönetim panellerinde, müşteri destek iş akışlarında, deployment kontrollerinde, mesajlaşma sistemlerinde ve veri pipeline’larında.

Bu anlamlı bir değişim olurdu. ChatGPT dönemi arayüzü sohbet oldu. Jev ise gömülü çıkarıma işaret ediyor: yazılımın gerçek zamanlı uyum sağlamasını sağlayan görünmez, dar kapsamlı, sık kararlar.

Ürün geliştirenler için pratik hamle, bugün genel amaçlı bir LLM’den sınırlı bir işi yapmasını istediğin yerleri envanterlemek. Sınıflandırma, yönlendirme, çıkarım, sıralama, moderasyon ve üst seviyeye taşıma bariz adaylar. Bazılarının hâlâ bir LLM’ye ihtiyacı olabilir. Bazıları kurallarla daha iyi ele alınabilir. Bazıları ise ekonomi uygunsa uzmanlaşmış bir karar modelini haklı çıkarabilir.

İş akışın çok sayıda satır, mesaj, bilet veya olayı işlemeyi içeriyorsa soru daha keskinleşir: üretilmiş metne mi ihtiyacın var, yoksa ölçekte güvenilir bir karara mı? Bu, AI batch processing ve birçok üretim otomasyon sisteminin arkasındaki aynı ekonomik çizgidir.

Önemli olan Jev’in “LLM’lerden daha iyi” olması değil. TechCrunch raporu bunu ortaya koymuyor ve örnekler bu sonuca varmak için fazla dar. Önemli olan, geliştiricilerin insan sohbetinden ziyade yazılım kararları için biçimlendirilmiş bir modele ilgi göstermesi.

Bu, ekiplerin AI mimarisini çerçeveleme biçimini değiştirmeli.

Dil, akıl yürütme, sentez ve araç kullanımı önemli olduğunda LLM’leri kullan. Bir sözleşmeye ihtiyaç duyduğunda yapılandırılmış çıktılar kullan. Yanıt özel veya değişen bilgiye bağlı olduğunda retrieval kullan. Eylemler hassas olduğunda insan onayı kullan. Ve olasılıkların düzyazıdan daha faydalı olduğu yerler için ortaya çıkan karar modelleri sınıfını izle.

Jev uzmanlaşmış bir ürün olarak kalabilir veya rakipler aynı genel yöne ilerleyebilir. Ronacher, TechCrunch’a başkalarının da takip etmesini beklediğini söyledi; ancak bu mutlaka doğrudan Jev klonları anlamına gelmez. Açık uçlu metin üretimi yerine dar, olasılık tabanlı kararlar etrafında kurulmuş daha fazla sistem anlamına gelebilir. Her iki durumda da bu faydalı bir sinyal: AI altyapısının bir sonraki dalgası, tek bir modeli daha iyi konuşturmaktan çok yazılıma daha ucuz, daha küçük ve daha ölçülebilir zekâ parçaları vermekle ilgili olabilir.

Pratik sonuç, LLM’leri değiştirmekten çok her karar için doğru model biçimini seçmekle ilgilidir.

• Jev, düzyazı üretmek yerine önceden tanımlanmış çıktılar üzerinde olasılıklar döndüren transformer tabanlı bir model olarak tanımlanıyor.
• Model; sınıflandırma, yönlendirme, moderasyon, üst seviyeye taşıma ve güvenlik kontrolleri gibi sınırlı yazılım kararları için konumlandırılıyor.
• Rapor edilen geliştirici testleri, Jev’in bazı dar sınıflandırma iş akışlarında genel LLM’lerden daha hızlı veya daha ucuz olabileceğini gösteriyor; ancak bunlar geniş kapsamlı benchmark’lar değil.
• Kalibre edilmiş olasılıklar uygulamaların ne zaman eyleme geçeceğine, çekimser kalacağına, üst seviyeye taşıyacağına veya daha güçlü bir modeli çağıracağına karar vermesine yardımcı olabilir.
• Ürün geliştirenler Jev benzeri sistemleri doğruluk, kalibrasyon, eşik davranışı, çekimser kalma, sağlamlık ve gerçek trafik maliyetiyle değerlendirmeli.

Bu sorular Jev AI modelinin nasıl çalıştığını, genel amaçlı bir LLM’den nasıl farklı olduğunu ve olasılık tabanlı kararların yazılım sistemlerinde nereye uyabileceğini kapsar. Ayrıca ekiplerin Jev benzeri modelleri üretimde kullanmadan önce neleri değerlendirmesi gerektiğini özetler.

Jev, TypeSafe AI tarafından geliştirilen ve transformer tabanlı olduğu ancak büyük dil modeli olmadığı belirtilen bir modeldir. Metin yazmak yerine, geliştiricilerin önceden tanımladığı çıktılar üzerinde olasılıklar döndürür.

Genel amaçlı bir LLM dil token’ları üretirken Jev, önceden tanımlanmış çıktılar arasından seçim yapmak ve bir olasılık eklemek için tasarlanmıştır. Bu da onu açık uçlu sohbetten çok yazılım kararlarına uygun kılar.

Geliştiriciler ilgileniyor çünkü birçok AI iş yükü bir paragraftan ziyade güvenilir bir dala, etikete veya güvenlik kararına ihtiyaç duyar. TechCrunch, Jev’in belirli sınıflandırma kullanım alanlarında daha ucuz veya daha hızlı olduğu erken testler bildirdi.

Makale; komut güvenliği incelemesi, iş e-postası sınıflandırması, ajan izleme, model yönlendirme, iş akışı triyajı ve LLM ajanları için güvenlik bariyerleri gibi kullanım alanlarını ele alıyor.

Ekipler doğruluktan fazlasını test etmeli. Kalibrasyonu, eşik performansını, çekimser kalma davranışını, eğitim alanı dışındaki sağlamlığı, adversarial girdileri ve gerçek trafik altındaki maliyeti ölçmeliler.