Heute kündigen wir die Reihe der neuronalen Netzwerke YandexGPT 3 an. Das erste davon, YandexGPT 3 Pro, ist bereits über die API auf der Yandex Cloud-Website verfügbar, auch im kostenlosen Demomodus. Darüber hinaus können Sie jetzt zusätzlich selbst ein neues neuronales Netzwerk trainieren.
Neuronale Netze der neuen Generation funktionieren besser bei komplexen Abfragen und folgen einem vorgegebenen Antwortformat genauer, was sie besonders nützlich bei der Lösung realer Probleme für Benutzer und Unternehmen macht.
In naher Zukunft werden die neuronalen Netzwerke YandexGPT 3 in den Yandex-Diensten für ein breites Publikum verfügbar sein.
Um die Qualität von YandexGPT 3 Pro zu bewerten, haben wir mehrere Tests durchgeführt. Zunächst haben wir das Modell anhand einer lokalisierten Version des internationalen MMLU-Benchmarks bewertet. Zweitens haben wir das Modell mithilfe der Side-by-Side-Methode anhand realer Anfragen von Benutzern und Unternehmen getestet. Drittens haben wir einen eigenen russischsprachigen Test basierend auf dem IFEval-Benchmark erstellt, um die Übereinstimmung der Antwort mit dem in der Anfrage angegebenen Format zu bewerten. Nun etwas mehr zu jedem einzelnen.
Um die Qualität des neuen neuronalen Netzwerks zu bewerten, haben wir YaMMLU_ru erstellt, eine russischsprachige Version des offenen internationalen Benchmarks MMLU. Dazu haben wir die Originalaufgaben mit dem Yandex Translator ins Russische übersetzt. Anschließend überprüften die Experten die Texte noch einmal, korrigierten Fehler und lokalisierten auch die Abfragen (z. B. brachten sie die Maßeinheiten in Übereinstimmung mit russischen Standards). Diese Version ermöglicht es uns, den lokalen Kontext und die Besonderheiten der auf Russisch formulierten Anfragen besser zu berücksichtigen.
Wir haben die SBS-Methode auch angewendet, um zu bewerten, wie das neue Modell mit der Ideengenerierung, Informationszusammenfassung, Klassifizierungsaufgaben, Inhaltserstellung und anderen Anforderungen zurechtkommt, die bei Benutzern und Unternehmen gefragt sind.
Die Anzahl der Situationen, in denen das Modell die Frage des Benutzers nicht beantwortet, ist um das Fünffache gesunken. Zudem macht das neue Sprachmodell deutlich weniger Fehler. Wir haben dies anhand einer speziellen Reihe besonders komplexer Abfragen getestet. Ergebnisse für diesen Satz:
Um zu überprüfen, wie gut die Antworten des neuronalen Netzes dem in der Anfrage angegebenen Format entsprechen, gibt es einen guten Benchmark IFEval. Es enthält Eingabeaufforderungen, deren Antworten recht genau beurteilt werden können. Zum Beispiel „Schreiben Sie einen Text, der mehr als 400 Wörter enthält“ oder „Erwähnen Sie den Begriff KI mindestens dreimal.“ Um die Antworten von YandexGPT 3 auszuwerten, haben wir eine russischsprachige Version des Benchmarks basierend auf IFEval erstellt. Gleichzeitig wurde die Liste der zu lösenden Aufgaben deutlich erweitert und verkompliziert.
Im Vergleich zu YandexGPT 2 verbesserte sich die Qualität der YandexGPT 3-Antworten um 10 Prozentpunkte und ihre Konsistenz verdoppelte sich. Das bedeutet, dass das neuronale Netz gelernt hat, besser zu verstehen, wie genau die Antworten auf im Wesentlichen gleiche, aber unterschiedlich formulierte Anfragen lauten sollten.
YandexGPT 3 Pro kann über die API in Produkte integriert werden. Die Kosten für die Nutzung des neuen neuronalen Netzwerks haben sich fast halbiert, Sie können es jedoch kostenlos testen. Im Demomodus stehen neu registrierten Benutzern 30 kostenlose Anfragen pro Stunde zur Verfügung.
Das neue neuronale Netzwerk funktioniert gut in Bereichen wie Kundenbetreuung, Online-Verkauf, digitale Kommunikation, Marketing, Werbung und Personalmanagement. Außerdem funktioniert das Sprachmodell besser mit Dokumenten: Es erstellt beispielsweise Verträge, Rechnungen, behördliche Unterlagen, Stellenbeschreibungen und mehr. Aufgaben im Zusammenhang mit den oben aufgeführten Branchen machten einen erheblichen Teil des YandexGPT 3-Schulungsdatensatzes aus.
Ein Beispiel, das wir über die API auf der Yandex Cloud-Website erstellt haben:
Darüber hinaus können Sie YandexGPT 3 Pro jetzt unabhängig im Yandex DataSphere-Dienst trainieren, um es noch besser an Ihre Bedürfnisse anzupassen. Um den zusätzlichen Schulungsprozess zu starten, müssen Sie eine Datei mit Beispielabfragen und Standardantworten darauf in DataSphere hochladen. Das neu trainierte neuronale Netzwerk steht nur Ihnen zur Verfügung.
bbabo.Net