AI FÖR NATURLIGT SPRÅK

Kursinfo

Kursmaterial

FAQ

Kursmaterial

/

Kapitel

Utvärdering av textklassificerare

Korrekthet

Korrekthet

Här nedan ser du en förväxlingsmatris från utvärderingen av en textklassificerare. Ange systemets korrekthet i procent, avrundad till närmaste heltal.

A B C
A 14 9 6
B 6 15 3
C 9 3 18

Precision och täckning

Precision

Här nedan ser du en förväxlingsmatris från utvärderingen av en textklassificerare. Den markerade cellen anger antalet gånger då systemet sorterade in ett dokument i klass C, trots att dokumentet enligt guldstandarden tillhörde klass A.

Ange klassificerarens precision på klass A i procent, avrundad till närmaste heltal.

A B C
A 18 6 3
B 3 12 9
C 6 9 15

Täckning

Här nedan ser du en förväxlingsmatris från utvärderingen av en textklassificerare. Den markerade cellen anger antalet gånger då systemet sorterade in ett dokument i klass C, trots att dokumentet enligt guldstandarden tillhörde klass A.

Ange klassificerarens täckning på klass C i procent, avrundad till närmaste heltal.

A B C
A 18 6 3
B 3 12 9
C 6 9 15

Fler utvärderingsmått

F1-måttet

Utvärderingen av en klassificerare gav ett F1-värde på 30%. Du tar även fram precision och täckning. Vilka av följande kombinationer passar inte ihop med F1-värdet?

Generellt om utvärderingsmått

Baseline

Ett referensvärde som ibland nämns i samband med textklassificering är den så kallade most frequent class-baseline. Här tänker man sig en (hypotetisk) klassificerare som alltid predicerar den klass som förekommer oftast i träningsdatamängden, oberoende av dokumentens innehåll. Nedan ser du en träningsdatamängd och en testdatamängd.

Träningsdatamängd

A B C
1972 2958 2465

Testdatamängd

A B C
492 615 738

Vilket korrekthetsvärde ger most frequent class-baselinen?

Denna webbsajt innehåller kursmaterialet för kursen ETE335 AI för naturligt språk.
Materialet är licenserat under en Creative Commons Erkännande 4.0 Internationell licens.
Copyright © 2022, Marco Kuhlmann & Oskar Holmström