Page 7 - Fister jr., Iztok, and Andrej Brodnik (eds.). StuCoSReC. Proceedings of the 2016 3rd Student Computer Science Research Conference. Koper: University of Primorska Press, 2016
P. 7
Eksperimentalni rezultati dokumentu.
Na podlagi eksperimenta smo doloˇcili optimalne vrednosti naˇsa referenˇcna
parametrov in preverili natanˇcnost delovanja obeh metod.
Eksperiment smo izvedli tako, da za vse n-grame, n ∈ [1, 5], n prag F1-mera prag F1-mera
izvedli izˇcrpno iskanje optimalnega praga, pri katerem je po-
ved klasificirana kot plagiat. Za izmero natanˇcnost metod 1 0,65 0,7668 — —
smo uporabili metrike preciznost, priklic in F1-mero.
2 0,40 0,7705 0,34 0,68
Pri unigramih je priklic pri obeh metodah, za vse vrednosti
praga pod 0,7, zelo visok (skoraj 1,0). Poslediˇcno zaznamo 3 0,22 0,7641 0,17 0,66
skoraj vse plagiate. Klub temu pa je preciznost nizka, saj
je verjetnost, da se posamezna beseda iz povedi pojavi v 4 0,10 0,7581 — —
referenˇcnem dokumentu dokaj velika. Pri veˇcjih n-gramih je
priklic niˇzji, saj na stopnjo zaznavanja vpliva tudi zamenjan 5 0,04 0,7505 — —
vrstni red. Najboljˇsi rezultat smo dobili pri bigramih pri
pragu 0,25, kjer je vrednost F1-mere 0,76, kar je razvidno Table 1: Primerjava rezultatov
tudi iz slike 1.
Z uporabo izboljˇsane metode se F1-mera za vse n-grame ne-
Preciznost 0.9 koliko izboljˇsa. Uˇcinek je najbolj oˇciten pri veˇcjih n-gramih,
0.8 kjer je izboljˇsava skoraj 10 %. To je posledica dejstva, da
0.7 v primeru, ko algoritem ne najde ustreznega n-grama upo-
0.6 rabi naslednji (n-1)-gram. Ponovno imajo najboljˇso F1-mero
bigrami, vendar, kot lahko vidimo na sliki 2, trigrami ne za-
0.00 ostajajo za veliko. Najboljˇsa F1-mera (0,77) je pri pragu
0,4, kar je za 0,44 % boljˇse od prejˇsnega rezultata (0,76).
1.00
0.75 0.25 0.50 0.75 Preciznost 0.9
0.50 0.8
0.25 Prag 0.7
0.6
Priklic 0.25 0.50 0.75
0.00
Prag
1.00
0.00 0.25 0.50 0.75 Priklic 0.75
0.8 0.50
Prag 0.25
0.6
F metrika 0.00 0.25 0.50 0.75
0.8
Prag
0.4
0.2 0.6
0.00 0.25 0.50 0.75 F metrika 0.4
45
NGram 1 Prag
23
0.2
Figure 1: Rezultati za referenˇcno metodo 0.00 0.25 0.50 0.75
45
Rezultati, ki smo jih dobili so v vseh primerih za pribliˇzno NGram 1 Prag
12 % boljˇsi od tistih iz [1]. Primerjava izboljˇsanih rezultatov
s tistimi, ki jih je dosegla referenˇcna metoda je predstavljena 23
v tabeli 1. V [1] so se, podobno kot pri nas, kot najboljˇsi
izkazali bigrami, vendar je v njihovem ˇclanku F1-mera 0,68, Figure 2: Rezultati za izboljˇsano metodo
pri nas pa 0,76. Predvidevamo, da je to zato ker smo pri
predprocesiranju odstranili vsa loˇcila. Poslediˇcno je ˇstevilo 5. ZAKLJUCˇ EK
vseh moˇznih besed v naˇsem primeru dosti niˇzje, kar poveˇca
verjetnost, da se bo beseda v povedi pojavila v referenˇcnem Dobili smo boljˇse rezultate, kot v referenˇcnem ˇclanku. Refe-
renˇcno metodo smo dodatno izboljˇsali s pomoˇcjo algoritma
Stupid Backoff. Pri izbiri n-jev med 2 in 5 za n-grame je
StuCoSReC Proceedings of the 2016 3rd Student Computer Science Research Conference 7
Ljubljana, Slovenia, 12 October
Na podlagi eksperimenta smo doloˇcili optimalne vrednosti naˇsa referenˇcna
parametrov in preverili natanˇcnost delovanja obeh metod.
Eksperiment smo izvedli tako, da za vse n-grame, n ∈ [1, 5], n prag F1-mera prag F1-mera
izvedli izˇcrpno iskanje optimalnega praga, pri katerem je po-
ved klasificirana kot plagiat. Za izmero natanˇcnost metod 1 0,65 0,7668 — —
smo uporabili metrike preciznost, priklic in F1-mero.
2 0,40 0,7705 0,34 0,68
Pri unigramih je priklic pri obeh metodah, za vse vrednosti
praga pod 0,7, zelo visok (skoraj 1,0). Poslediˇcno zaznamo 3 0,22 0,7641 0,17 0,66
skoraj vse plagiate. Klub temu pa je preciznost nizka, saj
je verjetnost, da se posamezna beseda iz povedi pojavi v 4 0,10 0,7581 — —
referenˇcnem dokumentu dokaj velika. Pri veˇcjih n-gramih je
priklic niˇzji, saj na stopnjo zaznavanja vpliva tudi zamenjan 5 0,04 0,7505 — —
vrstni red. Najboljˇsi rezultat smo dobili pri bigramih pri
pragu 0,25, kjer je vrednost F1-mere 0,76, kar je razvidno Table 1: Primerjava rezultatov
tudi iz slike 1.
Z uporabo izboljˇsane metode se F1-mera za vse n-grame ne-
Preciznost 0.9 koliko izboljˇsa. Uˇcinek je najbolj oˇciten pri veˇcjih n-gramih,
0.8 kjer je izboljˇsava skoraj 10 %. To je posledica dejstva, da
0.7 v primeru, ko algoritem ne najde ustreznega n-grama upo-
0.6 rabi naslednji (n-1)-gram. Ponovno imajo najboljˇso F1-mero
bigrami, vendar, kot lahko vidimo na sliki 2, trigrami ne za-
0.00 ostajajo za veliko. Najboljˇsa F1-mera (0,77) je pri pragu
0,4, kar je za 0,44 % boljˇse od prejˇsnega rezultata (0,76).
1.00
0.75 0.25 0.50 0.75 Preciznost 0.9
0.50 0.8
0.25 Prag 0.7
0.6
Priklic 0.25 0.50 0.75
0.00
Prag
1.00
0.00 0.25 0.50 0.75 Priklic 0.75
0.8 0.50
Prag 0.25
0.6
F metrika 0.00 0.25 0.50 0.75
0.8
Prag
0.4
0.2 0.6
0.00 0.25 0.50 0.75 F metrika 0.4
45
NGram 1 Prag
23
0.2
Figure 1: Rezultati za referenˇcno metodo 0.00 0.25 0.50 0.75
45
Rezultati, ki smo jih dobili so v vseh primerih za pribliˇzno NGram 1 Prag
12 % boljˇsi od tistih iz [1]. Primerjava izboljˇsanih rezultatov
s tistimi, ki jih je dosegla referenˇcna metoda je predstavljena 23
v tabeli 1. V [1] so se, podobno kot pri nas, kot najboljˇsi
izkazali bigrami, vendar je v njihovem ˇclanku F1-mera 0,68, Figure 2: Rezultati za izboljˇsano metodo
pri nas pa 0,76. Predvidevamo, da je to zato ker smo pri
predprocesiranju odstranili vsa loˇcila. Poslediˇcno je ˇstevilo 5. ZAKLJUCˇ EK
vseh moˇznih besed v naˇsem primeru dosti niˇzje, kar poveˇca
verjetnost, da se bo beseda v povedi pojavila v referenˇcnem Dobili smo boljˇse rezultate, kot v referenˇcnem ˇclanku. Refe-
renˇcno metodo smo dodatno izboljˇsali s pomoˇcjo algoritma
Stupid Backoff. Pri izbiri n-jev med 2 in 5 za n-grame je
StuCoSReC Proceedings of the 2016 3rd Student Computer Science Research Conference 7
Ljubljana, Slovenia, 12 October
