OpenAI har publicerat Transformer Debugger-kod för att arbeta med maskininlärningsmodeller. Det gör det lättare att förstå varför språkmodeller matar ut vissa tokens som svar på en begäran.

Transformer Debugger, som alla felsökningsverktyg för maskininlärningsmodeller, stöder funktionerna steg-för-steg-utdata, avlyssning av aktiviteter och spårning av dem. Företagets utvecklare noterar att verktyget hjälper till att förstå varför språkmodellen uppmärksammar vissa tokens och varför den visar dem som ett svar på en förfrågan.

Utgåvan innehåller följande komponenter:

Neuron viewer är en React-applikation för att visa information om individuella modellkomponenter, inklusive uppmärksamhetsfoci och MLP-neuroner.

Aktiveringsserver är en server som interagerar med modellen och hämtar data för utdata. Det behövs också för att arbeta med offentliga Azure-behållare.

Modeller - Ett enkelt slutledningsbibliotek för GPT-2-modeller.

Exempel på datauppsättningar för MLP-neuroner och uppmärksamhetsfokus.

Transformer Debugger-koden är skriven i Python och är tillgänglig på GitHub. Samtidigt delade OpenAI-utvecklare detaljerade instruktioner och dokumentation.

bbabo.Net