Page 95 - Fister jr., Iztok, Andrej Brodnik, Matjaž Krnc and Iztok Fister (eds.). StuCoSReC. Proceedings of the 2019 6th Student Computer Science Research Conference. Koper: University of Primorska Press, 2019
P. 95
P (A|B) = P (B|A)P (A) (1)
P (B)
S pomoˇcjo Bayesovega pravila, zapisanega v enaˇcbi (1), lahko
poiˇsˇcemo verjetnost, da se zgodi dogodek A v primeru, da
se je zgodil dogodek B.
Pri klasifikaciji s pomoˇcjo Naivnega Bayesa se odloˇcamo o
tem, v kateri razred spada doloˇcen primerek glede na vredno-
sti njegovih znaˇcilk. Glavna predpostavka, na kateri temelji
ta algoritem je, da so vse znaˇcilke posameznega primerka
pogojno neodvisne druga od druge pri danem razredu. Prav
tako predpostavimo, da ima vsaka znaˇcilka enak vpliv na
odloˇcitev klasifikatorja. Cˇ e dogodek A iz enaˇcbe (1) sedaj
zamenjamo s klasifikacijskim razredom y, ter dogodek B z
vektorjem znaˇcilk X, potem lahko Bayesovo pravilo zapiˇsemo
z enaˇcbo (2).
P (y|X) = P (X|y)P (y) (2)
P (X)
Slika 5: Prikaz hiperravnin pri metodi SVM.
Ker je dogodek X presek veˇc dogodkov oz. znaˇcilk, lahko
zapiˇsemo enaˇcbo (3).
P (y|x1, x2, ..., xn) = P (x1|y)P (x2|y)...P (xn|y)P (y) (3)
P (x1)P (x2)...P (x3)
Vrednost izraza v imenovalcu je enaka za vse primerke v
mnoˇzici, zato se lahko imenovalca znebimo in uvedemo od-
visnost. Tako dobimo enaˇcbo (4).
n (4)
P (y|x1, x2, ..., xn) ∝ P (y) P (xi|y)
i=1
Slika 6: Prikaz veˇcrazredne klasifikacije SVM z me- Primerek uvrstimo v razred y, dobljen z enaˇcbo (5), ki vrne
todo One-vs-All. razred z najviˇsjo verjetnostjo [11, 3].
Cˇ e ˇzelimo SVM uporabiti za klasifikacijo v veˇc razredov, n (5)
moramo uporabiti eno izmed metod za veˇcrazredno klasifika-
cijo. V naˇsi implementaciji algoritma FLORS smo uporabili y = argmaxyP (y) P (xi|y)
metodo One-vs-All. Metoda za vsak razred ustvari binarni
klasifikator SVM. Vsak i-ti klasifikator razdeli primerke na i=1
tiste, ki spadajo v i-ti razred in tiste, ki ne. Primer veˇcra-
zredne klasifikacije SVM z metodo One-vs-All je prikazan na 3.3.3 Random Forest
sliki 6 [1].
Klasifikator Random Forest je metoda nadzorovanega stroj-
3.3.2 Naivni Bayes nega uˇcenja. Spada v t.i. ansambelske metode, katerih zna-
ˇcilnost je, da zdruˇzujejo veˇc klasifikatorjev enakih ali razliˇc-
Klasifikator Naivni Bayes je del druˇzine enostavnih verje- nih vrst v en skupen klasifikator. Ideja ansambelskih metod
tnostnih klasifikatorjev, ki temeljijo na uporabi Bayesovega je, da veˇc slabˇsih klasifikatorjev skupaj deluje bolje kot en
pravila. Njegova uporaba je popularna predvsem na podro- dober klasifikator. Klasifikator Random Forest je sestavljen
ˇcju klasifikacije besedila ter zaznavanja neˇzeljene poˇste. iz veˇc razliˇcnih odloˇcitvenih dreves, ki jih nauˇcimo na na-
kljuˇcni podmnoˇzici primerkov iz uˇcne mnoˇzice z nakljuˇcno
izbrano podmnoˇzico znaˇcilk. Konˇcno klasifikacijo dobimo
tako, da zdruˇzimo odloˇcitve posameznih odloˇcitvenih dre-
ves. Generalna shema algoritma je prikazana na sliki 7 [9,
15].
StuCoSReC Proceedings of the 2019 6th Student Computer Science Research Conference 95
Koper, Slovenia, 10 October
P (B)
S pomoˇcjo Bayesovega pravila, zapisanega v enaˇcbi (1), lahko
poiˇsˇcemo verjetnost, da se zgodi dogodek A v primeru, da
se je zgodil dogodek B.
Pri klasifikaciji s pomoˇcjo Naivnega Bayesa se odloˇcamo o
tem, v kateri razred spada doloˇcen primerek glede na vredno-
sti njegovih znaˇcilk. Glavna predpostavka, na kateri temelji
ta algoritem je, da so vse znaˇcilke posameznega primerka
pogojno neodvisne druga od druge pri danem razredu. Prav
tako predpostavimo, da ima vsaka znaˇcilka enak vpliv na
odloˇcitev klasifikatorja. Cˇ e dogodek A iz enaˇcbe (1) sedaj
zamenjamo s klasifikacijskim razredom y, ter dogodek B z
vektorjem znaˇcilk X, potem lahko Bayesovo pravilo zapiˇsemo
z enaˇcbo (2).
P (y|X) = P (X|y)P (y) (2)
P (X)
Slika 5: Prikaz hiperravnin pri metodi SVM.
Ker je dogodek X presek veˇc dogodkov oz. znaˇcilk, lahko
zapiˇsemo enaˇcbo (3).
P (y|x1, x2, ..., xn) = P (x1|y)P (x2|y)...P (xn|y)P (y) (3)
P (x1)P (x2)...P (x3)
Vrednost izraza v imenovalcu je enaka za vse primerke v
mnoˇzici, zato se lahko imenovalca znebimo in uvedemo od-
visnost. Tako dobimo enaˇcbo (4).
n (4)
P (y|x1, x2, ..., xn) ∝ P (y) P (xi|y)
i=1
Slika 6: Prikaz veˇcrazredne klasifikacije SVM z me- Primerek uvrstimo v razred y, dobljen z enaˇcbo (5), ki vrne
todo One-vs-All. razred z najviˇsjo verjetnostjo [11, 3].
Cˇ e ˇzelimo SVM uporabiti za klasifikacijo v veˇc razredov, n (5)
moramo uporabiti eno izmed metod za veˇcrazredno klasifika-
cijo. V naˇsi implementaciji algoritma FLORS smo uporabili y = argmaxyP (y) P (xi|y)
metodo One-vs-All. Metoda za vsak razred ustvari binarni
klasifikator SVM. Vsak i-ti klasifikator razdeli primerke na i=1
tiste, ki spadajo v i-ti razred in tiste, ki ne. Primer veˇcra-
zredne klasifikacije SVM z metodo One-vs-All je prikazan na 3.3.3 Random Forest
sliki 6 [1].
Klasifikator Random Forest je metoda nadzorovanega stroj-
3.3.2 Naivni Bayes nega uˇcenja. Spada v t.i. ansambelske metode, katerih zna-
ˇcilnost je, da zdruˇzujejo veˇc klasifikatorjev enakih ali razliˇc-
Klasifikator Naivni Bayes je del druˇzine enostavnih verje- nih vrst v en skupen klasifikator. Ideja ansambelskih metod
tnostnih klasifikatorjev, ki temeljijo na uporabi Bayesovega je, da veˇc slabˇsih klasifikatorjev skupaj deluje bolje kot en
pravila. Njegova uporaba je popularna predvsem na podro- dober klasifikator. Klasifikator Random Forest je sestavljen
ˇcju klasifikacije besedila ter zaznavanja neˇzeljene poˇste. iz veˇc razliˇcnih odloˇcitvenih dreves, ki jih nauˇcimo na na-
kljuˇcni podmnoˇzici primerkov iz uˇcne mnoˇzice z nakljuˇcno
izbrano podmnoˇzico znaˇcilk. Konˇcno klasifikacijo dobimo
tako, da zdruˇzimo odloˇcitve posameznih odloˇcitvenih dre-
ves. Generalna shema algoritma je prikazana na sliki 7 [9,
15].
StuCoSReC Proceedings of the 2019 6th Student Computer Science Research Conference 95
Koper, Slovenia, 10 October
