Aralık ayında önde gelen NeurIPS konferansında sunulan bir bildiride, Microsoft Research'ten Sebastien Bubeck ve Stanford Üniversitesi'nden Mark Sellke, operasyonlarındaki bazı sorunlardan kaçınmak için sinir ağlarının çok daha büyük olması gerektiğini gösterdi.

Sinir ağlarının boyutuyla ilgili standart beklentiler, verileri nasıl hatırladıklarının analizine dayanır. Sinir ağları için popüler görevlerden biri, görüntülerdeki nesnelerin tanımlanmasıdır. Böyle bir sinir ağı oluşturmak için, araştırmacılar önce ona nesne etiketli bir dizi görüntü sağlayarak aralarındaki korelasyonları incelemeyi öğretiyorlar. Sinir ağı, yeterli eğitim verisini hatırladığı anda, daha önce hiç görmediği nesnelerin etiketlerini değişen derecelerde doğrulukla tahmin etme yeteneğine de sahip olur. Bu süreç genelleme olarak bilinir.

Bir ağın boyutu, ne kadar bilgiyi hatırlayabileceğini belirler. Örneğin görüntüler, her piksel için bir tane olmak üzere yüzlerce veya binlerce değerle tanımlanır. Bu serbest değerler seti, çok boyutlu uzayda bir noktanın koordinatlarına matematiksel olarak eşdeğerdir. Koordinatların sayısına boyut denir.

80'lerden beri, sinir ağlarına, verilerin boyutuna bakılmaksızın, n veri noktasına sığdırmak için çok sayıda n parametre verildi. Bununla birlikte, modern sinir ağları, eğitim örneklerinin sayısından daha fazla parametreye sahiptir.

Araştırmacılar, ölçeği ile bağlantılı olarak sinir ağının güvenilirliği gibi bir parametreyi düşündüler. Çalışmalarında, ağ güvenilirliği için yedekli parametrelendirmenin gerekli olduğunu gösteriyorlar.

Bilim adamları, yüksek boyutlu veri noktalarını yerleştirmenin yalnızca n parametreyi değil, n × d parametresini de gerektirdiğini göstermiştir; burada d, giriş verilerinin boyutudur (örneğin, 784 piksellik bir görüntü için 784). Kanıt, çok boyutlu geometriden bir gerçeğe, yani bir kürenin yüzeyine yerleştirilen rastgele dağılmış noktaların neredeyse hepsinin tam çap içinde olduğu gerçeğine dayanmaktadır.

Diğer araştırmalar, aşırı parametrelendirmenin yararlı olmasının ek nedenlerini belirlemiştir. Örneğin, sinir ağının genelleme yeteneğinin yanı sıra öğrenme sürecinin verimliliğini artırabilir.

Daha önce Google, 2021'deki ana makine öğrenimi eğilimleri hakkında bir çalışma yayınlamıştı. Şirket, milyarlarca hatta trilyonlarca parametreye sahip daha güçlü genel amaçlı ML modellerinin geliştirilmesini öngörüyor.

bbabo.Net