OpenAI, GPT-3 dil modelini talimatları takip etmek için eğittiğini ve bunun da daha az istenmeyen metin ürettiği anlamına geldiğini söyledi.

GPT-3'ün yeni sürümü InstructGPT, talimatları daha iyi takip eder ve genel olarak daha az rahatsız edici dil, yanlış bilgi ve hata üretir.

Bu nedenle, OpenAI araştırmacıları, çoğu İnternet'ten alınan büyük miktarda metin kullanılarak eğitilen tüm büyük dil modellerinde ortak olan bir sorunu çözmeye çalışıyorlar. Modeller, ırkçı ve homofobik olabilecek metinlerin yanı sıra önyargı ve yanlış bilgilerden zehirli dili emer.

OpenAI, IntructGPT'yi, şirketin dil modellerine ücretli erişim sağlayan bir hizmet olan Uygulama Programlama Arayüzü (API) kullanıcıları için varsayılan model haline getirdi. GPT-3 hala mevcut olacak, ancak OpenAI, modelin kullanılmasını önermez.

Dil sorununu çözmeye yönelik önceki girişimler, eğitim örneğinden müstehcen dili filtrelemeyi içeriyordu. Ancak bu, özellikle eğitim verilerinin az olduğu durumlarda modellerin daha kötü performans göstermesine neden olabilir.

OpenAI araştırmacıları, tam olarak eğitilmiş bir GPT-3 modeli kullanarak sorunu çözdüler ve buna, kullanıcı tercihlerine göre modele neyi ve ne zaman söylemesi gerektiğini öğretmek için başka bir insan geribildirimi pekiştirme öğrenimi (RLHF) eklediler.

Ancak araştırmacılar, modelin tüm sorunlarını çözemediklerini söylüyorlar. Şimdiye kadar InstructGPT, talimatları yalnızca İngilizce olarak takip edecek şekilde eğitildi; buna göre odak noktası İngilizce konuşan insanların kültürel değerlerine kaydırılır.

Aralık ayında OpenAI, GPT-3 API'sinin herkese açık beta olarak yayınlandığını duyurdu. Artık herkes uygulama oluşturmak için kullanabilir. Kasım ayında şirket, güvenlik alanındaki ilerlemelerin GPT-3 API'sini açmasını sağladığını duyurdu.

bbabo.Net