När vi tränar en logistisk modell behöver vi hitta värden för alla vikter och alla baskonstanter. När vi tränar ett inbäddningslager behöver vi hitta värden för elementen i varje ordvektor.

Antag en enkel neuronal textklassificerare för uppgiften att klassificera en filmrecension som antingen positiv, negativ eller neutral. Klassificeraren använder en vokabulär på 75 000 ord och 100-dimensionella ordinbäddningar. Hur många parametrar totalt behöver tränas upp för denna klassificerare?

Tips: Beräkna antalet parametrar steg för steg genom nätverket och särskilj mellan steg som är parametriserade och steg som enbart utför matematiska operationer (utan parametrar som behöver tränas). Det kan också vara till hjälp att repetera föreläsningen om logistisk regression under ”Kapitel 3 > Logistisk regression”.

Vilken inlärningsuppgift ska vi välja för att liknande ordinbäddningar ska ha liknande betydelse?

Träningsalgoritmen för word2vec beräknar likheten mellan ett målord och ett kontextord, konverterar denna likhet till ett sannolikhetsvärde, och försöker sedan ändra ordvektorerna på ett sådant sätt att sannolikheten för ett ordpar som faktiskt observeras i träningsdatamängden är så hög som möjligt (maximum likelihood-principen). Men hur kan man rent matematiskt konvertera en vektorlikhet $s$ till ett sannolikhetsvärde $p$?

Forskargruppen i språkteknologi vid Oslo universitet tillhandahåller förtränade ordinbäddningar för många språk. Vilka inbäddningar skulle du behöva ladda ner om du ville använda deras svenska word2vec-vektorer? Ange det ID-nummer som du hittar på deras sida.