Bugün YandexGPT 3 sinir ağları serisini duyuruyoruz. Bunlardan ilki olan YandexGPT 3 Pro, ücretsiz demo modu da dahil olmak üzere zaten Yandex Cloud web sitesinde API aracılığıyla mevcuttur. Ayrıca artık yeni bir sinir ağını kendiniz de eğitebilirsiniz.
Yeni nesil sinir ağları, karmaşık sorgularda daha iyi çalışır ve belirli bir yanıt formatını daha doğru bir şekilde takip eder; bu da onları özellikle kullanıcılar ve şirketler için gerçek sorunların çözümünde faydalı kılar.
Yakın gelecekte YandexGPT 3 sinir ağları Yandex hizmetlerinde geniş bir kitleye ulaşacak.
YandexGPT 3 Pro'nun kalitesini değerlendirmek için çeşitli testler yaptık. İlk olarak modeli uluslararası MMLU ölçütünün yerelleştirilmiş versiyonu üzerinde değerlendirdik. İkinci olarak modeli, kullanıcılardan ve şirketlerden gelen gerçek talepler üzerinde Yan Yana yöntemini kullanarak test ettik. Üçüncü olarak, yanıtın talepte belirtilen formata uygunluğunu değerlendirmek için IFEval kriterine dayanarak kendi Rusça dil testimizi oluşturduk. Şimdi her biri hakkında biraz daha.
Yeni sinir ağının kalitesini değerlendirmek için, açık uluslararası kıyaslama MMLU'nun Rusça versiyonu olan YaMMLU_ru'yu oluşturduk. Bunu yapmak için orijinal görevleri Yandex Tercüman'ı kullanarak Rusçaya çevirdik. Daha sonra uzmanlar metinleri iki kez kontrol etti, hataları düzeltti ve ayrıca sorguları yerelleştirdi (örneğin, ölçü birimlerini Rus standartlarına uygun hale getirdi). Bu sürüm, Rusça olarak formüle edilen sorguların yerel bağlamını ve özelliklerini daha iyi dikkate almamıza olanak tanır.
Yeni modelin fikir üretme, bilgi özetleme, sınıflandırma görevleri, içerik oluşturma ve kullanıcılar ve şirketler arasında talep gören diğer taleplerle nasıl başa çıktığını değerlendirmek için SBS yöntemini de uyguladık.
Modelin kullanıcının sorusuna cevap vermediği durumların sayısı 5 kat azaldı. Ayrıca yeni dil modeli önemli ölçüde daha az hata yapıyor. Bunu, özellikle karmaşık sorgulardan oluşan özel bir dizi üzerinde test ettik. Bu set için sonuçlar:
Sinir ağının yanıtlarının istekte belirtilen formata ne kadar iyi karşılık geldiğini kontrol etmek için iyi bir kıyaslama IFEval vardır. Cevapları oldukça doğru bir şekilde değerlendirilebilecek istemler içerir. Örneğin, "400'den fazla kelime içeren bir metin yazın" veya "AI terimini en az üç kez belirtin." YandexGPT 3 yanıtlarını değerlendirmek için IFEval'i temel alan karşılaştırmanın Rusça sürümünü oluşturduk. Aynı zamanda çözülmesi gereken görevlerin listesi önemli ölçüde genişletildi ve karmaşıklaştı.
YandexGPT 2 ile karşılaştırıldığında YandexGPT 3 yanıtlarının kalitesi yüzde 10 puan arttı ve tutarlılığı iki katına çıktı. Bu, sinir ağının, temelde aynı olan ancak farklı şekilde formüle edilen sorgulara yanıtların tam olarak ne olması gerektiğini daha iyi anlamayı öğrendiği anlamına gelir.
YandexGPT 3 Pro, API aracılığıyla ürünlere entegre edilebilir. Yeni sinir ağını kullanmanın maliyeti neredeyse yarı yarıya azaldı, ancak bunu ücretsiz olarak test edebilirsiniz. Demo modunda, yeni kayıtlı kullanıcılara saatte 30 ücretsiz istek sunulmaktadır.
Yeni sinir ağı, müşteri desteği, çevrimiçi satış, dijital iletişim, pazarlama, reklam ve personel yönetimi gibi alanlarda iyi çalışıyor. Ayrıca dil modeli belgelerle daha iyi çalışır: örneğin sözleşmeler, faturalar, düzenleyici belgeler, iş tanımları ve daha fazlasını düzenler. Yukarıda sıralanan sektörlerle ilgili görevler, YandexGPT 3 eğitim veri setinin önemli bir bölümünü oluşturuyordu.
Yandex Cloud web sitesindeki API aracılığıyla oluşturduğumuz bir örnek:
Ayrıca artık YandexGPT 3 Pro'yu ihtiyaçlarınıza daha iyi uyacak şekilde Yandex DataSphere hizmetinde bağımsız olarak eğitebilirsiniz. Ek eğitim sürecini başlatmak için örnek sorguları ve bunlara verilen standart yanıtları içeren bir dosyayı DataSphere'e yüklemeniz gerekir. Yeniden eğitilen sinir ağı yalnızca sizin kullanımınıza sunulacaktır.
bbabo.Net