AI FÖR NATURLIGT SPRÅK
Kursinfo
Kursmaterial
FAQ
Kursmaterial
/
Kapitel
Utvärdering av textklassificerare
Korrekthet
Korrekthet
Här nedan ser du en förväxlingsmatris från utvärderingen av en textklassificerare. Ange systemets korrekthet i procent, avrundad till närmaste heltal.
A | B | C | |
A | 14 | 9 | 6 |
B | 6 | 15 | 3 |
C | 9 | 3 | 18 |
Precision och täckning
Precision
Här nedan ser du en förväxlingsmatris från utvärderingen av en textklassificerare. Den markerade cellen anger antalet gånger då systemet sorterade in ett dokument i klass C, trots att dokumentet enligt guldstandarden tillhörde klass A.
Ange klassificerarens precision på klass A i procent, avrundad till närmaste heltal.
A | B | C | |
A | 18 | 6 | 3 |
B | 3 | 12 | 9 |
C | 6 | 9 | 15 |
Täckning
Här nedan ser du en förväxlingsmatris från utvärderingen av en textklassificerare. Den markerade cellen anger antalet gånger då systemet sorterade in ett dokument i klass C, trots att dokumentet enligt guldstandarden tillhörde klass A.
Ange klassificerarens täckning på klass C i procent, avrundad till närmaste heltal.
A | B | C | |
A | 18 | 6 | 3 |
B | 3 | 12 | 9 |
C | 6 | 9 | 15 |
Fler utvärderingsmått
F1-måttet
Utvärderingen av en klassificerare gav ett F1-värde på 30%. Du tar även fram precision och täckning. Vilka av följande kombinationer passar inte ihop med F1-värdet?
Generellt om utvärderingsmått
Baseline
Ett referensvärde som ibland nämns i samband med textklassificering är den så kallade most frequent class-baseline. Här tänker man sig en (hypotetisk) klassificerare som alltid predicerar den klass som förekommer oftast i träningsdatamängden, oberoende av dokumentens innehåll. Nedan ser du en träningsdatamängd och en testdatamängd.
Träningsdatamängd
A | B | C |
1972 | 2958 | 2465 |
Testdatamängd
A | B | C |
492 | 615 | 738 |
Vilket korrekthetsvärde ger most frequent class-baselinen?
Denna webbsajt innehåller kursmaterialet för kursen ETE335 AI för naturligt språk.
Materialet är licenserat under en Creative Commons Erkännande 4.0 Internationell licens.
Copyright © 2022, Marco Kuhlmann & Oskar Holmström