Днес обявяваме линията невронни мрежи YandexGPT 3. Първата от тях, YandexGPT 3 Pro, вече е достъпна чрез API на уебсайта Yandex Cloud, включително в безплатен демо режим. Освен това вече можете сами допълнително да обучите нова невронна мрежа.
Невронните мрежи от ново поколение работят по-добре със сложни заявки и по-точно следват даден формат на отговор, което ги прави особено полезни при решаването на реални проблеми за потребители и компании.
В близко бъдеще невронните мрежи YandexGPT 3 ще се появят в услугите на Yandex за широка аудитория.
За да оценим качеството на YandexGPT 3 Pro, проведохме няколко теста. Първо, ние оценихме модела на локализирана версия на международния бенчмарк MMLU. Второ, тествахме модела с помощта на метода Side-by-Side по реални заявки от потребители и компании. Трето, създадохме собствен тест на руски език, базиран на бенчмарка IFEval, за да оценим съответствието на отговора с формата, посочен в заявката. Сега малко повече за всеки.
За да оценим качеството на новата невронна мрежа, създадохме YaMMLU_ru, рускоезична версия на отворения международен бенчмарк MMLU. За да направим това, преведохме оригиналните задачи на руски с помощта на Yandex Translator. След това експертите провериха отново текстовете, коригираха грешките и също локализираха заявките (например приведоха мерните единици в съответствие с руските стандарти). Тази версия ни позволява по-добре да вземем предвид местния контекст и спецификата на заявките, формулирани на руски език.
Ние също така приложихме метода SBS, за да оценим как новият модел се справя с генерирането на идеи, обобщаването на информация, задачите за класифициране, създаването на съдържание и други заявки, които се търсят сред потребителите и компаниите.
Броят на ситуациите, когато моделът не отговаря на въпроса на потребителя, е намалял 5 пъти. Освен това новият езиков модел допуска значително по-малко грешки. Тествахме това на специален набор от особено сложни заявки. Резултати за този набор:
За да проверите колко добре отговорите на невронната мрежа съответстват на формата, посочен в заявката, има добър бенчмарк IFEval. Той съдържа подсказки, чиито отговори могат да бъдат оценени доста точно. Например „напишете текст, който съдържа повече от 400 думи“ или „споменете термина AI поне три пъти“. За да оценим отговорите на YandexGPT 3, създадохме рускоезична версия на бенчмарка, базирана на IFEval. В същото време списъкът от задачи за решаване беше значително разширен и усложнен.
В сравнение с YandexGPT 2, качеството на отговорите на YandexGPT 3 се подобри с 10 процентни пункта, а тяхната последователност се удвои. Това означава, че невронната мрежа се е научила да разбира по-добре какви точно трябва да бъдат отговорите на заявки, които по същество са еднакви, но формулирани по различен начин.
YandexGPT 3 Pro може да бъде вграден в продукти чрез API. Цената за използване на новата невронна мрежа е намаляла почти наполовина, но можете да я тествате безплатно. В демо режим 30 безплатни заявки на час са достъпни за нови регистрирани потребители.
Новата невронна мрежа работи добре в области като поддръжка на клиенти, онлайн продажби, цифрови комуникации, маркетинг, реклама и управление на персонала. Освен това езиковият модел работи по-добре с документи: например изготвя договори, фактури, нормативна документация, длъжностни характеристики и др. Задачите, свързани с индустриите, изброени по-горе, представляват значителна част от набора от данни за обучение YandexGPT 3.
Пример, който създадохме чрез API на уебсайта на Yandex Cloud:
Освен това вече можете самостоятелно да обучавате YandexGPT 3 Pro в услугата Yandex DataSphere, за да отговаря още по-добре на вашите нужди. За да започнете процеса на допълнително обучение, трябва да качите файл с примерни заявки и стандартни отговори към тях в DataSphere. Преквалифицираната невронна мрежа ще бъде достъпна само за вас.
bbabo.Net