Snímka 1

Prepis

1 Bayesovský klasfkátor prradí objekt trede, kde P(ω x) je maxmálne Rozhodovaca funkca

2 Ako určť pravdepodobnost Pre kategorcké atrbúty P( x ) P( ) P( x ) k d x k k1 N N, k Navný klasfkátor Pravdepodobnosť tredy ω je N N N N N, k # všetkých príkladov # tých príkladov, ktoré patra do tredy ω # tých príkladov, ktoré patra do tredy ω a príznak k má hodnotu x k

3 Príklad Mám červený Touareg, ukradnú m ho? P(Yes Red, SUV, Domestc) P(Yes)=P(No) P(Red, SUV, Domestc Yes)? P(Red, SUV, Domestc No) P( x ) P( ) x k k1 P(Red Yes) P(SUV Yes) P(Domestc Yes) P(Red No) P(SUV No) P(Domestc No) d

4 Do ktorej tredy patrí tento zákazník? X = (age <=30, Income = medum, Student = yes Credt_ratng = Far) age ncome student credt ratng buys computer <=30 hgh no far no <=30 hgh no excellent no hgh no far yes >40 medum no far yes >40 low yes far yes >40 low yes excellent no low yes excellent yes <=30 medum no far no <=30 low yes far yes >40 medum yes far yes <=30 medum yes excellent yes medum no excellent yes hgh yes far yes >40 medum no excellent no

5 Unmodálne rozdelene odhadneme parametre normálneho alebo ného rozdelena Výberový premer Výberová kovaranca Odhad parametrov Parametrcké metódy ) ( ) ( exp ) (2 1 ) ( T d P x x x x x

6 Vacmodálne rozdelene GMM (Gaussan mxture model) M m m m T m m d m w P ) ( ) ( exp ) (2 ) ( x x x x x

7 Neparametrcké metódy pravdepodobnosť, že vybraný vektor bude z oblast pre dostatočne malé okole kde V je obsah majme n nezávslých výberov z p(x) ak M z nch patrí do P M n pˆ ( x) M V n Problém, keď V 0

8 Parzenove okno Oblasť D-rozmerná jednotková hyperkocka Počet vzorek v kocke so stranou h a stredom v x: nak, 0 1,..., ; 1 ) ( 2 1 D j u k j u n h k M 1 x x h k h n nv M p n D x x x 1 1 ) ˆ( 1

9 Spojté jadrá

10 p( x ) 1 n n 1 1 h D k x x h Okná okolo vzorek Nespojtá funkca

11

12

13 veľkosť okna ovplyvňuje ampltúdu aj šírku

14 Algortmus pre každý testovaný bod x, nájd K najblžších susedov z trénovacej množny klasfkuj x podľa väčšny K=1? K najblžších susedov K = 3

15 K=1 Voronoov dagram

16

17 zvyšovane K: vyhladzuje sa hranca zvyšuje / znžuje sa klasfkačná chyba raste výpočtová náročnosť vzájomná valdáca na určene K trénovaca / testovaca množna premer chyby na trénovacích množnách

18 Čo znamená najblžší? Metrka... Výpočtová náročnosť: Musíme prehľadať celú trénovacu množnu na určene susedov. K=3

19 Rozhodovace stromy nomnálne dáta, pojem vzdalenost stráca zmysel pravdlá Strom: uzol = test, vetvy zodpovedajú možným výsledkom lst = klasfkačná treda

20 Rozhodovace porovnane v každom uzle aký je vzt ah hodnoty určeného príznaku k zvolenej prahovej hodnote uzol t skúma dáta podmnožny X t trénovacej množny a rozdel uje ju na dve podmnožny X ta, X tn

21

22 Rozdeľujúce krtérum určuje prahovú hodnotu a príznak, ktoré budú vystupovat v rozhodovacom porovnaní Ukončujúce krtérum rad rast stromu Pravdlá určujú klasfkačnú tredu v lstoch

23 Rozdeľujúce krtérum Gn-ndex ako často bude náhodný element nesprávne klasfkovaný, ak bude náhodne klasfkovaný podľa rozdelena tred v množne Pravdepodobnosť nesprávnej klasfkáce Pravdepodobnosť výberu ID3 (Iteratve Dchotomser 3) mnmalzáca entrope C4.5 maxmalzáca MI

24 Ukončujúce krtérum Všetky objekty v skúmanej množne patra do jednej klasfkačnej tredy. Strom dosahol maxmálnu stanovenú hĺbku. Počet objektov klasfkovaných v danom uzle je menší ako stanovený prah. Ohodnotene najlepšeho príznaku je nžše ako stanovený prah.

25

26 Príklad C4.5

27 Outlook Temp Humdty Wndy sunny FALSE Play overcast FALSE Play overcast FALSE Play ran FALSE Play ran FALSE Play sunny FALSE Don't Play sunny FALSE Don't Play ran FALSE Play overcast TRUE Play ran TRUE Don't Play sunny TRUE Play ran TRUE Don't Play overcast TRUE Play sunny TRUE Don't Play Play (postve) / Don't Play (negatve) false 8/14 [9+,5-] vetor 6/14 true [6+, 2-] [3+, 3-] I(S;vetor): = (8/14)* (6/14)*1.0 =0.048

28 S=[9+,5-] humdta Prah {v 1, v 2,, v } a {v +1, v +2,, v k } Takýchto možných rozdelení je k-1. hodnotaca funkca rozdelena rozdelene s maxmálnym ohodnotením. <=prah [?+,?-] >prah [?+,?-]

29 Outlook Temp Humdty Wndy Play (postve) / Don't Play (negatve) overcast TRUE Play ran TRUE Don't Play sunny FALSE Play sunny TRUE Play overcast FALSE Play overcast FALSE Play ran FALSE Play ran TRUE Don't Play ran FALSE Play sunny FALSE Don't Play S=[9+,5-] humdta overcast TRUE Play sunny TRUE Don't Play sunny FALSE Don't Play ran FALSE Play <=prah >prah [?+,?-] [?+,?-] 8 možných prahov Najlepší: 82,5 I(S,Humdty) =0.102 Obdobne teplota: prah=70,5 I(S,Teplota) =0. 045

30 Outlook Temp Humd Wndy Play (postve) / Don't Play (negatve) overcast TRUE Play overcast FALSE Play overcast FALSE Play overcast TRUE Play ran TRUE Don't Play ran FALSE Play ran TRUE Don't Play ran FALSE Play ran FALSE Play sunny FALSE Play sunny TRUE Play sunny FALSE Don't Play sunny TRUE Don't Play sunny FALSE Don't Play Sunny [9+,5-] Počase 5/14 4/14 5/14 Overcast Ran [2+, 3-] [4+, 0-] [3+, 2-] I(S;počase) =0.940-(5/14)* (4/14)*0.0 (5/14)*0.971 =0.247

31 I(S;počase) = I(S;vetor) = I(S;humdty) = I(S;teplota) = sunny FALSE Play sunny TRUE Play sunny FALSE Don't Play sunny TRUE Don't Play sunny FALSE Don't Play ran TRUE Don't Play ran FALSE Play ran TRUE Don't Play ran FALSE Play ran FALSE Play

32 Orezávane rozhodovacích stromov počas generovana rozhodovaceho stromu Ak hodnota zvolenej mery významnost pre skúmaný uzol nepresahne stanovený prah, ďalše vetvene sa zastaví. po vygenerovaní rozhodovaceho stromu Toto orezávane odstraňuje vetvy z už vygenerovaného stromu takým spôsobom, že porovnáva veľkosť očakávanej chyby klasfkáce pre daný podstrom a jeho náhradu lstovým uzlom. Ak sa chyba po náhrade lstovým uzlom nezväčší, daný podstrom je možné odrezať.

33 Výhody Jednoduchá nterpretáca Dáta netreba predspracovať Numercké aj kategorcké dáta Bela skrnka (boolovská logka) Nízka výpočtová náročnosť Nevýhody Optmálny strom NP úplný problém Heurstky nezaručujú optmálny strom Možnosť preučena