Dekabr ayında qabaqcıl NeurIPS konfransında təqdim edilən bir məqalədə Microsoft Research-dən Sebastien Bubeck və Stanford Universitetindən Mark Sellke göstərdilər ki, neyron şəbəkələri onların işində bəzi problemlərin qarşısını almaq üçün daha böyük olmalıdır.

Neyron şəbəkələrin ölçüsü ilə bağlı standart gözləntilər onların məlumatları necə yadda saxlamasının təhlilinə əsaslanır. Neyron şəbəkələri üçün məşhur vəzifələrdən biri şəkillərdəki obyektlərin identifikasiyasıdır. Belə bir neyron şəbəkə yaratmaq üçün tədqiqatçılar əvvəlcə onu obyekt etiketləri ilə təsvirlər toplusu ilə təmin edir, ona onlar arasındakı əlaqəni öyrənməyi öyrədirlər. Neyroşəbəkə kifayət qədər məşq məlumatını yadda saxlayan kimi, o, heç vaxt görmədiyi obyektlərin etiketlərini müxtəlif dəqiqlik dərəcələri ilə proqnozlaşdırmaq imkanı əldə edir. Bu proses ümumiləşdirmə kimi tanınır.

Şəbəkənin ölçüsü onun nə qədər məlumatı yadda saxlaya biləcəyini müəyyənləşdirir. Şəkillər, məsələn, yüzlərlə və ya minlərlə dəyərlə təsvir olunur - hər piksel üçün bir. Bu sərbəst dəyərlər dəsti çoxölçülü məkanda bir nöqtənin koordinatlarına riyazi olaraq ekvivalentdir. Koordinatların sayı ölçü adlanır.

80-ci illərdən bəri neyron şəbəkələrinə verilənlərin ölçüsündən asılı olmayaraq n məlumat nöqtəsinə sığdırmaq üçün çoxlu sayda parametr verilmişdir. Bununla belə, müasir neyron şəbəkələri təlim nümunələrinin sayından daha çox parametrlərə malikdir.

Tədqiqatçılar neyron şəbəkənin etibarlılığı kimi parametri onun miqyası ilə bağlı hesab ediblər. Onlar öz işlərində şəbəkənin etibarlılığı üçün lazımsız parametrləşdirmənin zəruri olduğunu göstərirlər.

Alimlər göstərdilər ki, yüksək ölçülü məlumat nöqtələrinin uyğunlaşdırılması təkcə n parametr deyil, n × d parametrləri tələb edir, burada d giriş məlumatının ölçüsüdür (məsələn, 784 piksellik təsvir üçün 784). Sübut çoxölçülü həndəsə faktına əsaslanır, yəni kürənin səthində yerləşdirilmiş təsadüfi paylanmış nöqtələrin demək olar ki, hamısı bir-birinin tam diametri daxilindədir.

Digər tədqiqatlar həddindən artıq parametrləşdirmənin faydalı olmasının əlavə səbəblərini müəyyən etmişdir. Məsələn, bu, öyrənmə prosesinin səmərəliliyini, həmçinin neyron şəbəkənin ümumiləşdirmə qabiliyyətini artıra bilər.

Bundan əvvəl Google 2021-ci ildə maşın öyrənməsinin əsas tendensiyaları ilə bağlı araşdırma dərc etmişdi. Şirkət milyardlarla və hətta trilyonlarla parametrləri olan daha güclü ümumi təyinatlı ML modellərinin inkişafını proqnozlaşdırır.

bbabo.Net