UNIVERZITA KOMENSKÉHO V BRATISLAVE FAKULTA MATEMATIKY, FYZIKY A INFORMATIKY Kernel metódy a aplikácie DIPLOMOVÁ PRÁCA 2018 Bc. Oliver Dendis

Prepis

1 UNIVERZITA KOMENSKÉHO V BRATISLAVE FAKULTA MATEMATIKY, FYZIKY A INFORMATIKY Kernel metódy a aplikácie DIPLOMOVÁ PRÁCA 2018 Bc. Oliver Dendis

2 UNIVERZITA KOMENSKÉHO V BRATISLAVE FAKULTA MATEMATIKY, FYZIKY A INFORMATIKY Kernel metódy a aplikácie DIPLOMOVÁ PRÁCA Študijný program: Študijný odbor: Školiace pracovisko: Vedúci práce: Ekonomicko-finančná matematika a modelovanie 1114 Aplikovaná matematika Katedra aplikovanej matematiky a štatistiky doc. RNDr. Mária Trnovská, PhD. Bratislava 2018 Bc. Oliver Dendis

3 Univerzita Komenského v Bratislave Fakulta matematiky, fyziky a informatiky ZADANIE ZÁVEREČNEJ PRÁCE Meno a priezvisko študenta: Študijný program: Študijný odbor: Typ záverečnej práce: Jazyk záverečnej práce: Sekundárny jazyk: Bc. Oliver Dendis ekonomicko-finančná matematika a modelovanie (Jednoodborové štúdium, magisterský II. st., denná forma) aplikovaná matematika diplomová slovenský anglický Názov: Cieľ: Kernel metódy a aplikácie. Kernel methods and applications. Cieľom práce je prehľadne spracovať uvedené metódy a algoritmy a ilustrovať ich fungovanie na vybraných aplikáciách. Vedúci: Katedra: Vedúci katedry: Dátum zadania: doc. RNDr. Mária Trnovská, PhD. FMFI.KAMŠ - Katedra aplikovanej matematiky a štatistiky prof. RNDr. Daniel Ševčovič, CSc. Dátum schválenia: prof. RNDr. Daniel Ševčovič, CSc. garant študijného programu študent vedúci práce

4 Pod akovanie Touto cestou sa chcem vel mi pod akovat svojej vedúcej diplomovej práce Doc. RNDr. Marii Trnovskej, PhD. za mimoriadnu ochotu, pomoc, odborné rady a podnetné pripomienky, vd aka ktorým vznikla táto práca. Ďakujem aj svojej rodine a priatel om za ich trpezlivost a podporu počas celého vysokoškolského štúdia.

5 Abstrakt v štátnom jazyku DENDIS, Oliver: Kernelove metódy a aplikácie [Diplomová práca], Univerzita Komenského v Bratislave, Fakulta matematiky, fyziky a informatiky, Katedra aplikovanej matematiky a štatistiky; školitel : doc. RNDr. Mária Trnovská, PhD., Bratislava, 2018, 48 s. V našej práci sa zaoberáme využitím kernelových metód v technikách strojového učenia s dôrazom na ich geometrický význam. Popisujeme použitie kernelových funkcii v Support vector machine (SVM). Našim ciel om bolo prehl adne spracovat teóriu SVM a čiastočne SVR geometrickým prístupom, odvodit a dokázat niektoré vzt ahy a dostatočne zrozumitel ne graficky interpretovat niektoré teoretické výsledky. Rovnako sme sa pokúsili prehl adne spracovat matematický základ kernelových funkcii a prispiet vlastnými dôkazmi pri vlastnostiach konečných kernelových funkcii. Popri teoretickom spracovaní sme ukázali využitie kernelových metód v praxi na aplikáciu v strojovom učení. Kl účové slová: Support vector machines, Support vector regressioon, Kernelove metódy, Machine learning, Spracovanie prirodzeného jazyka

6 Abstract DENDIS, Oliver: Kernel methods and applications [Master Thesis], Comenius University in Bratislava, Faculty of Mathematics, Physics and Informatics, Department of Applied Mathematics and Statistics; Supervisor: doc. RNDr. Mária Trnovská, PhD., Bratislava, 2011, 38p. In our work we investigate the geometric approach to kernel methods with respect to machine learning. We describe applicability of kernel methods in SVM. Our goal was to process the theory of SVM and partially SVR with geometric approach, deduce and prove some relations with graphical interpretations. We also processed mathematical theory of kernel functions and proved some properties of finite kernel functions. We also chose and showed an application of kernel methods in field of machine learning. Keywords: Support vector machines, Support vector regression, Kernel methods, Machine learning, Natural language processing 6

7 Obsah Zoznam symbolov 8 Úvod 9 1 Geometrický náhl ad na metódy oporného bodu Problém lineárnej separácie Formulácia optimalizačného problému robustnej lineárnej separácie Duálna úloha k problému lineárnej separácie Prípad lineárne neseparovatel ných množín Duálna úloha k problému lineárne neseparovatel ných množín Metóda oporného bodu v regresii Teória kernelových funkcii Unitárny a Hilbertov priestor Kernelové funkcie Vlastnosti konečných kernelových funkcii Príklady kernelových funkcii Lineárna kernelová funkcia Polynomiálna kernelová funkcia RBF kernelová funkcia Sigmoid kernelová funkcia Zlomková kvadratická kernelová funkcia Použitie kernelových funkcii Kernelový trik v metóde oporného bodu Alternatívne formulácie problému SVM Duálna úloha alternatívnych formulácii SVM Kompaktný zápis úloh SVM Kernelový trik v úlohách SVM Aplikácia SVM Používané algoritmy

8 4.2 Spracovanie prirodzeného jazyka a strojové učenie Príprava dát pre detekciu autorstva Implementácia detekcie autorstva v Pythone Záver 54 Zoznam použitej literatúry 55 Príloha 1 - Hadamardov súčin 57 Príloha 2 - Zdrojový kód 62 7

9 Zoznam symbolov x T y - Štandardný skalárny súčin, teda n x iy i. x 2 - Euklidovská norma, x 2 = n x2 i. x 1 - x 2 = n x i. Ω - Hilbertov priestor., Ω - Skalárny súčin na Ω. Ω - Norma na Ω. L - Lagrangeova funkcia. κ - Kernelová funkcia. K - Kernelová matica. φ - Charakteristické zobrazenie kernelovej funkcie. 1 - Vektor samých jednotiek. 11 T - Matica samých jednotiek. A B - Hadamardov súčin matíc A a B. A d H - A } A {{... A }. d - Maticová exponenciála v zmysle Hadamardovho súčinu. e A H 8

10 Úvod Kernelové metódy je v strojovom učení trieda algoritmov používaných najmä na klasifikáciu a predikciu. Najznámejšia z týchto metód je metóda oporného bodu, v anglickej terminológii Support vector machine, ktorá sa primárne používa najmä na biklasifikáciu, resp. opakovanou aplikáciou algoritmu aj na multiklasifikáciu. Táto metóda vedie k optimalizačnému problému, resp. k duálnej úlohe, ktorá sa následne rieši. Túto metódu odvodili v roku 1995 a publikovali v článku autori Vapnik a Cortes [4], avšak nie vždy bolo jednoduché tieto úlohy riešit. S nástupom modernej techniky a s novými výpočtovými technológiami nabrala SVM na popularite a táto metóda sa začala využívat na rôzne aplikácie strojového učenia. Názov kernelové metódy je odvodený z podstaty algoritmu a to z kernelových funkcii. Tieto metódy nahradzujú vo formuláciách vyššie spomenutých optimalizačných úloh skalárny súčin kernelovou funkciou. Tento prístup vedie k tomu, že úlohu môžeme riešit v inom priestore, častokrát s vyššou dimenziou. Zobrazením dostupných dát v inom priestore môžeme získat lepšie štruktúrované dáta, resp. v prípade, že dáta nie je možné lineárne separovat, v novom priestore budú lineárne separovatel né. Našim ciel om bolo spracovat teóriu SVM a s využitím duality ponúknut alternatívnu interpretáciu týchto úloh. Dualita medzi štandardnými SVM úlohami úzko súvisí s kernelovými metódami. Okrem teoretického prehl adu niektorých vlastností kernelových funkcii sme ukázali, že kernelové metódy možno chápat ako zovšeobecnenie štandardných optimalizačných techník, ktoré sa aplikujú po vnorení do iného (spravidla väčšieho) priestoru, v ktorom je skalárny súčin jednoznačne charakterizovaný kernelovou funkciou. V prvej kapitole teda uvedieme formulácie úloh oporného bodu (SVM), prčom budeme vychádzat najmä z [2], [4] a [12] a taktiež formuláciu úlohy regresie pomocou metódy oporného bodu (SVR) [1]. V tejto kapitole d alej uvedieme naše odvodenia duálnych úlohoch, pričom ich popíšeme s dôrazom na geometrickú interpretáciu. V druhej kapitole sa venujeme teórii kernelových funkcii, jej všeobecnej definícií, ale aj definícií konečnej kernelovej funkcie. Definície, na ktorých sme stavali, vychádzali z [11],[13],[14],[15]. V tejtko kapitole navyše popíšeme základné vlastnosti týchto funkcii, pričom uvedieme naše dôkazy. Taktiež popíšeme základné a najčastejšie používané 9

11 kernelové funkcie spolu s popisom ich využívania. V tretej kapitole prepojíme kernelové funkcie s teóriou SVM, naformulujeme optimalizačné úlohy tak, aby sme mohli použit poznatky z druhej kapitoly, pričom formuláciou primárnej úlohy sa čiastočne inšpirujeme [17], pričom však túto úlohu modifikujeme pre zretelnejšie prepojenie kernelových funkcii a úlohy SVM. K týmto úlohám d alej odvodíme duálne úlohy, pričom v ich formuláciách nahradíme skalárny súčin kernelovou funkciou. Tým získame problém, ktorý dokážeme zapísat v kompaktnom tvare a odvodíme podmienky, kedy je úloha riešitel ná. V poslednej kapitole predstavíme aplikáciu kernelových metód. Pomocou programu, ktorý sme napísali v programovacom jazyku Python vytvoríme detektor autorstva textov, pričom využijeme práve SVM a rôzne kernelové funkcie s rozličnými parametrami. Na slovenských textoch z bakalárskych a diplomových prác sme sledovali 6 rôznych nami vybraných parametrov, podl a ktorých sme určovali či autor z trénovacej sady dát napísal aj niektoré texty z testovacej sady. Jednotlivé kernelové funkcie sme pri použití v aplikácii medzi sebou porovnali a výsledky graficky vyhodnotili. Inšpiráciu na výber sledovaných znakov sme čerpali z [13], [16],[18] a [19]. 10

12 1 Geometrický náhl ad na metódy oporného bodu V tejto kapitole popíšeme a sformulujeme optimalizačné problémy lineárnej separácie a regresie s využitím metódy oporného bodu. Pri formulácii základných typov optimalizačných úloh sme vychádzali najmä z [1], [2], [4] a [12]. Následne k nim odvodíme duálne problémy, vd aka ktorým získame alternatívnu interpretáciu daných problémov, ktorú budeme interpretovat aj graficky. 1.1 Problém lineárnej separácie Majme množinu X, ktorá obsahuje body x i R n.i = 1,...M a množinu Y, pričom jej prvky sú body y i R n, i = 1,...N. Problém separácie je nájst takú funkciu f : R n R, ktorá pre body z množiny X nadobúda kladné hodnoty a pre body z množiny Y hodnoty záporné hodnoty, teda podl a [2] môžeme túto úlohu formálne zapísat : f(x i ) > 0 f(y i ) < 0 i = 1,...N, i = 1,...M. Pri probléme lineárnej separácie navyše požadujeme od funkcie f, aby bola afínna. Hl adáme teda takú funkciu f(z) = a T z b, pre ktorú platí: f(x i ) = a T x i b > 0 f(y i ) = a T y i b < 0 i = 1,...N, i = 1,...M. (1.1) V takomto prípade nazývame nadrovinu {z a T z = b} oddel ujúcou nadrovinou. Ak je takýchto nadrovín viac, najlepšou vol bou pre výber oddel ujúcej nadroviny bude vybrat takú, ktorá je od jednotlivých bodov oboch množín čo najd alej. Takto zabezpečíme robustný prístup k úlohe, ktorý je vel mi l ahko formulovatel ný ako kvadratický optimalizačný problém, známy ako úloha prípustnosti. Pre účely zostavenia optimalizačnej úlohy však bude vhodnejšie nahradit vo formulácii separácie ostré nerovnosti neostrými, pričom na pravej strane bude konštantné, kladné, zanedbatel né ɛ. Ak sú množiny separovatel né, tak je tákáto formulácia separácie ekvivalentná s pôvodnou, preto: a T x i b ɛ, i = 1,...N, a T y i b ɛ, i = 1,...M. (1.2) 11

13 Ked obe nerovnosti prenásobime 1, o ktorom vieme, že je kladné a zvolíme nové ɛ označenie preškálovaných premenných ã = a ɛ, b = b b, môžeme úlohu prepísat do tvaru: ã T x i b 1, i = 1,...N, ã T y i b 1, i = 1,...M. (1.3) Úloha (1.2) je úlohou lineárneho programovania, vieme ju teda vyriešit. 1.2 Formulácia optimalizačného problému robustnej lineárnej separácie Vd aka formulácii robustného prístupu k lineárnej separácii uvedenej v predošlej kapitole sa môžeme na túto úlohu pozerat ako na maximalizáciu vzdialeností pevne zvolených bodov od roviny, ktorej parametre nepoznáme, pričom ho môžeme podl a [2] formálne zapísat : max a,b,t t a T x i b t, i = 1,...N, a T y i b t, i = 1,...M. (1.4) Ked že vhodným škálovaním afínnej funkcie na l avej strane by sme mohli hodnotu t neustále zväčšovat bez ohraničenia, je potrebné normalizovat vektor a. Preto pridáme podl a [2] ohraničenie v tvare nerovnosti a 1, úloha teda získa tvar: max a,b,t t a T x i b t, i = 1,...N, a T y i b t, i = 1,...M, (1.5) a 2 1. Jedná sa o úlohu konvexnej optimalizácie, ked že maximalizujeme lineárnu funkciu na konvexnej množine. Ak sú množiny X, Y lineárne separovatel né, optimálna hodnota t 2 je vždy väčšia ako 0. Je jednoduché ukázat, že v optime je vždy a = 1. Keby totiž pre optimálne t platilo, že a 2 < 1, môžeme nájst konštantu α > 1, takú že αa 2 = 1. Pre αa, αb a αt platí, že sú prípustné, ked že optimálne riešenie musí byt prípustné a prenásobenie jednotlivých nerovností kladnou konštantou ich 12

14 platnost nijak neovplyvní. Ked že α > 1, tak αt > t. Získali sme teda prípustné riešenie, v ktorom nadobúda účelová funkcia väčšiu hodnotu ako v predošlom optime, čo je spor s definíciou optima. Preto v optimálnom riešení vyššie uvedenej úlohy je a 2 = 1. To umožňuje lepší geometrický náhl ad na úlohu. Aby to však oblo možné vidiet, je potrebné odvodit vzdialenost bodu x i od oddel ujúcej nadroviny. Vzdialenost tohto bodu od nadroviny je najkratšia vzdialenost medzi x i a akýmkol vek bodom oddel ujúcej nadroviny. Takýto bod ležiaci na nadrovine je možné nájst projekciou bodu x i na oddel ujúcu nadrovinu. Ak bod projekcie označíme x i, tak zrejme platí a T x i = b a vzdialenost bodu x i od oddel ujúcej nadroviny je x i x i 2. Ked že bod x i je kolmá projekcia bodu x i, tak platí x i x i = ka. Prenásobením zl ava vektorom a T získame a T x i a T x i = ka T a. Ked že a T x i = b a a T a = a 2, môžeme vyššie uvedenú rovnicu prepísat do tvaru a T x i b = k a 2 2, čím získame vyjadrenie pre k: k = at x i b a 2. 2 Vd aka vyjadreniu pre k, môžeme rovnicu x i x i = ka prepísat do tvaru: Pre vzdialenost teda platí: x i x i = at x i b a 2 a. 2 x i x i 2 = at x i b a 2 2 a 2 = at x i b a 2, čím sme získali vyjadrenie pre vzdialenost bodu x i od oddel ujúcej nadroviny. A ked že a 2 = 1, tak v takom prípade je a T x i b presne euklidovská vzdialenost bodu x i od oddel ujúcej nadroviny. Rovnako je a T y i + b euklidovská vzdialenost bodu y i od tejto nadrodivny. Teda vyriešením optimalizačného problému (1.5) sme získali nadrovinu, ktorá oddel uje množiny X a Y, pričom vzdialenost od týchto množín je maximálna. Túto skutočnost vyjadruje aj Obrázok 1. Ak v účelovej funkcii nahradíme maximalizáciu minimalizáciou prevrátenej hodnoty 13

15 t a jednotlivé ohraničenia predelíme t, získame úlohu: min a,b,t 1 t a T x i b 1, i = 1,...N, t t a T y i b 1, i = 1,...M, t t a 2 1 t t. Ak zvolíme nové preškálované premenné ã = a/t a b = b/t, potom aj ã = a t Optimalizačná úloha s novými premennými vyzerá nasledovne: min ã, b,t 1 t ã T x i b 1, i = 1,...N, ã T y i b 1, i = 1,...M, (1.6) = ã t. (1.7) ã 2 1 t. Ked že minimalizujeme premennú, ktorá je zároveň horným ohraničením pre ã 2 a v žiadnej inej z nerovností už nevystupuje, môžeme túto nerovnost z ohraničení optimalizačnej úlohy odstránit a priamo v účelovej funkcii požadovat minimalizáciu ã 2. Teda ekvivalentná úloha bude vyzerat : min ã, b ã 2 ã T x i b 1, i = 1,...N, ã T y i b 1, i = 1,...M. (1.8) 1.3 Duálna úloha k problému lineárnej separácie V nasledujúcej podkapitole odvodíme duálnu úlohu k problému lineárnej separácie a popíšeme aj jej geometrickú interpretáciu. Pri odvodzovaní duálnych úloh v d alších častiach tejto práce budeme často využívat lemu: Lema 1: Pre infimum nasledujúcich funkcii platí: (a) inf x 0 c = 0, c T x = inak. (1.9) 14

16 Obr. 1: Geometrický náhl ad na optimalizačnú úlohu: našim ciel om je vybrat takú rovinu, aby vzdialenost od najbližších bodov bola čo najväčšia (b) inf x 0 0 c 0, c T x = inak. (1.10) (c) inf x γ α β α x 2 + β T 2 0, x + γ = inak. (1.11) (d) α 0 : inf x Dôkaz: Tvrdenia (a) a (b) sú triviálne. αx T x + β T x + γ = βt β 2α + γ. (1.12) (c) Pri tomto tvrdení použijeme Cauchy-Schwarzovu nerovnost na člen β T x, teda bude platit vd aka čomu môžeme výraz β T x ohraničit : β T x β 2 x 2, β 2 x 2 β T x β 2 x 2. Zameriame sa na prvú nerovnost. Po pričítaní členu α x 2 + γ k obom stranám nerovnosti a vyňatí x 2 v l avej strane nerovnosti získame: x 2 ( β 2 + α) + γ β T x + α x 2 + γ. Táto nerovnost platí všeobecne, teda aj pre infimum oboch výrazov v nerovnosti: inf x x 2 ( β 2 + α) + γ inf x 15 β T x + α x 2 + γ. (1.13)

17 Zrejme platí: inf x 0 α β 2 0, x 2 ( β 2 + α) = inak. (1.14) Pripočítaním konštanty γ k hodnote infima funkcie x 2 ( β 2 + α) získame hodnotu infima x 2 ( β 2 + α) + γ. Podl a (1.13) sme získali dolné ohraničenie infima funkcie β T x + α x 2 + γ pre dva rôzne prípady a ked že v oboch prípadoch táto funkcia dané hodnoty dosahuje, našli sme najväčšie dolné ohraničenie tejto funkcie, čím sme dokázali tvdenie (c). (d) Pri dôkaze (1.12) využijeme konvexnost funkcie αx T x + β T x + γ. Zderivovaním podl a x nájdeme stacionárny bod, pre ktorý platí x = β 2α. Dosadením tejto hodnoty dostaneme práve hodnotu βt β 2α + γ, čo bolo treba dokázat. Ak v optimalizačnej úlohe (1.5) maximalizáciu t nahradíme minimalizáciou t, Lagrangeova funkcia získa tvar: L(a, b, t; α, β, λ) = t + α i (t + b a T x i ) + M β i (t b + a T y i ) + λ( a 1), (1.15) pričom α 0, β 0, λ 0. Pre formuláciu duálnej funkcie je potrebné nájst infimum lineárnej Lagrangeovej funkcie cez primárne premenné a, b, t. Vyňatím primárnych premenných z pôvodnej formulácie Lagranegovej úlohy získame tvar: ( L(a, b, t; α, β, λ) = t 1 + α i + M ) ( N M β i + b α i β i )+ ( M a T β i y i ) α i x i + λ( a 1). (1.16) Ked že funkcia L je separovatel ná v a, b, t, teda L(a, b, t; α, β, λ) = L 1 (a; α, β, λ) + L 2 (b; α, β, λ) + L 3 (t; α, β, λ), tak pre infimum platí inf a,b,t L(a, b, t; α, β, λ) = inf a L 1 (a; α, β, λ) + inf b L 2 (b; α, β, λ) + inf t L 3 (t; α, β, λ). (1.17) Hl adanie infima funkcie L 1 (t; α, β, λ) je vlastne úloha (1.9) s jednorozmenrou premennou t. Preto pre infimum platí, že je rovné 0 ak: 1 + α i + 16 M β i = 0, (1.18)

18 inak. Podobne, pre funkciu L 2 (b; α, β, λ) s jednorozmernou premennou b platí, že pokial platí: tak je infimum rovné 0, inak. Ak označíme : z = α i M β i = 0, (1.19) M β i y i α i x i, tak o funkcii L 3 (t; α, β, λ) = a T z + λ z 2 λ vd aka (1.11) vieme, že pre jej infimum platí: inf a λ; λ z 0, L 3 (a, α, β, λ) = ; inak. Vd aka vlastnosti 1.17 teda môžeme napísat infimum funkcie ako: λ; N α i M β i = 0, inf a,b,t L(a, b, t; α, β, λ) = 1 + N α i + M β i = 0, λ M β iy i N α ix i 0, (1.20) ; inak. Duálna úloha teda bude vyzerat : max λ M α i β i = 0, α i + M β i = 1, M β i y i α, β 0. α i x i λ, (1.21) Formuláciu úlohy je možné taktiež zjednodušit tým, že premennú λ nahradíme priamo jej dolným ohraničením. Ak navyše úlohu prevedieme na minimalizačnú, môžeme 17

19 získat túto úlohu v ekvivalentnom tvare: M min β i y i α i α i + α i x i M β i = 0, α, β 0. M β i = 1, (1.22) Vyriešením sústavy rovníc získaných z ohraničení úlohy získame vzt ahy: α i = 1 2, (1.23) M β i = 1 2. a pri preškálovaní premenných α i = 2α i, i = 1,...N a β = 2β, i = 1,...M vyzerá úloha geometricky intuitívnejšie: min 1 M β i y i α i x i 2 α i = 1, M β i = 1, α, β 0. Na základe tejto formulácie je možné vidiet, že duálna úloha k úlohe lineárnej separácie je hl adanie vzdialenosti konvexných obalov pôvodných množín X a Y. (1.24) 1.4 Prípad lineárne neseparovatel ných množín Vo všeobecnosti, v problémoch reálneho sveta sú často množiny lineárne neseparovatel né. Uvažujme formuláciu problému separácie ako v (1.4). V takomto prípade je možné pristupovat k úlohe separácie vel mi podobne ako je to pri lineárne separovatel ných množinách avšak s pridaním nových nezáporných slackových premenných u 18

20 Obr. 2: Geometrický náhl ad na duálnu úlohu k problému lineárnej separácie: Našim ciel om je hl adat vzájomnú vzdialenost konvexných obalov jednotlivých množín a v do ohraničení. Takýmto spôsobom získali nové ohraničenia aj pôvodní autori teórie SVM v [4]. Nové ohraničenia tak budú vyzerat : a T x i b 1 u i, i = 1,...N, a T y i b 1 + v i, i = 1,...M. (1.25) Pridaním nových premenných teda relaxujeme jednotlivé ohraničenia, vd aka tomu v prípade neseparovatel ných množín môže pre niektoré body platit a T x i b < 1, resp. a T y i b < 1. Ciel om je čo najlepšie aproximovat úlohu (1.8) pre prípad neseparovatel ných množín. Chceme teda aby slackové premenné boli čo najmenšie a zároveň aby bola splnená podmienka v ohraničeniach. Z vyššie popísaného postupu je možné škonštruovat optimalizačný problém vychádzajúc z úlohy o lineárne separovatel ných množinách. Táto metóda separácie sa nazýva metóda oporného bodu (SVM,[4]). Ked že je našim ciel om minimalizovat pomocné premenné, do účelovej funkcie pridáme penalizačnú funkciu a to jednotkové normy vektorov slackových premenných vynásobený konštantou C upravujúcou váhu týchto premenných. Ohraničenia budú vyzerat vel mi podobne ako v úlohe o separovatel ných množinách s tým rozdielom, že pravá strana bude brat do úvahy aj slackové premenné. Optimalizačný problém bude teda vyzerat : min a,b a 2 + C u 1 + C v 1 a T x i b 1 u i, i = 1,...N, a T y i b 1 + v i, i = 1,...M. (1.26) resp. v rozpísanom tvare, kde je potrebné pridat ohraničenie na nezápornost dopln- 19

21 kových premenných. min a,b a 2 + C u i + C M v i a T x i b 1 u i, i = 1,...N, a T y i b 1 + v i, i = 1,...M, u, v 0. (1.27) čím získame totožné vzt ahy ako sú uvedené v [2] alebo [12]. Táto formulácia s penalizačnou funkciou v tvare súčtu jednotkových noriem vektorov slackových premenných sa používa najčastejšie. Výhodou je dobrá geometrická interpretácia duálnej úlohy. Môžeme však zvolit aj inú penalizačnú funkciu. Ohraničenie o nezápornosti slackových premenných je možné odstránit ak v účelovej funkcii nahradíme súčet jednotkových noriem vektorov slackových premenných súčtom druhých mocnín ich l 2 noriem. Keby totiž akákol vek slack premenná bola menšia ako nula, tak pravá strana príslušného ohraničenia by bola väčšia ako 1. V takom prípade by to však nemohlo byt optimum, pretože akékol vek väčšia a zároveň záporná hodnota slack premennej by viedla k nižšej hodnote účelovej funkcie a stále by spĺňala ohraničenie. Takto získame inú formuláciu problému separácie so slackovými premennými a je možné ju zapísat takto: min a,b a 2 + C u 2 i + C M v 2 i a T x i b 1 u i, i = 1,...N, a T y i b 1 + v i, i = 1,...M. (1.28) Na obrázku č.3 je možné vidiet ilustráciu separácie množín v R 2, ktoré su lineárne neseparovatel né. Pozn.: Úloha (1.27) je úlohou lineárneho programovania, pričom využívame l1 regularizáciu premenných u, v, čo má za následok, že vektory u a v sú v optime riedke, t.j. majú vel a núl. V úlohe (1.28) sa využíva tzv. Tichonovovská regularizácia premenných u, v a je to úloha kvadratického programovania. 20

22 Obr. 3: Geometrický náhl ad na relaxovaný problém: Našim ciel om je vybrat také oporné nadroviny, aby boli od seba čo najd aleja zároveň aby súčet slackov bol čo najmenší 1.5 Duálna úloha k problému lineárne neseparovatel ných množín V nasledujúcej podkapitole ponúkneme naše vlastné odvodenie duálnej úlohy problému 1.7 a jeho geometrickú interpretáciu aj pomocou obrázkov. Ak vo formulácií problému 1.7 nahradíme účelovú funkciu prevrátenou hodnotou t, získa úloha tvar: min a,b 1 t a T x i b 1 u i, i = 1,...N, a T y i b 1 + v i, i = 1,...M, M a 2 + C u i + C v i 1 t, (1.29) u, v 0. úlohu môžeme prevrátením účelovej funkcie pretransformovat na maximalizačnú a jednotlivé ohraničenia prenásobit t, o ktorom vieme, že je kladné, teda úlohu 1.29 môžeme prepísat do tvaru: max a,b,t t ta T x i bt t tu i, i = 1,...N, ta T y i bt t + tv i, i = 1,...M, M t a 2 + tc u i + tc v i 1, (1.30) tu, tv 0. 21

23 Ak označíme vo formulácii predošlej úlohy ã = ta, b = tb, ũ i = tu i a ṽ i = tv i potom aj ã = a t = ã t, môžeme úlohu prepísat na: min a,b,t t ã T x i b t ũ i, i = 1,...N, ã T y i b t + ṽ i, i = 1,...M, M ã 2 + C ũ i + C ṽ i 1, (1.31) ũ, ṽ 0. Z formulácie 1.31 môžeme zostavit Lagranegovú funkciu: L(ã, b, t, ũ, ṽ; α, β, λ) = t + α i (t + b M ã T x i ũ i ) + β i (t b + ã T y i ṽ i )+ λ( a 2 1 C ũ i C M ṽ i ), (1.32) pričom α 0, β 0, λ 0. Pre formuláciu duálnej funkcie je potrebné nájst infimum lineárnej Lagrangeovej funkcie cez premenné a, b, t, u, v. Vyňatím primárnych premenných z pôvodnej formulácie Lagranegovej úlohy získame: ( L(ã, b, t, ũ, ṽ; α, β, λ) = t 1 + [ M ã T ( β i y i α i + M ) β i + b ( N α i M β i )+ ] α i x i ) + λ ã 2 + ũ T (λc1 α) + ṽ T (λc1 β) λ. (1.33) Podobne ako v prípade lineárne separovatel ných množín, táto funkcia je separovatel ná a to v premenných a, b, t, u, v a v premenných b, t, u, v je lineárna. Analogickým postupom ako v kapitole 1.3 dokážeme pomocou (1.9) nájst infimum cez premenné b, t a pomocou (1.11) infimum cez a. Ked že pre premenné u, v platí, že sú nezáporné, tak dokážeme nájst infimum vel mi jednoducho, pretože je to úloha (1.10). Vd aka separovatel nosti L(ã, b, t, ũ, ṽ; α, β, λ) môžeme infimum definovat ako: 22

24 inf a,b,t,u 0,v 0 λ; L(ã, b, t, ũ, ṽ; α, β, λ) = N α i M β i = 0, 1 + N α i + M β i = 0, λ M β iy i N α 2 ix i 0, α Cλ1, β Cλ1, ; inak. (1.34) Analogickým postupom ako v prípade lineárne separovatel ných množín môžeme teda formulovat duálnu úlohu: max λ M α i = β i = 1 2, M β i y i α i x i λ, 2 0 α Cλ1, 0 β Cλ1, (1.35) pri preškálovaní premenných α i = 2α i, i = 1,...N, β i = 2β i, i = 1,...M a λ = 2λ a transformácií na minimalizačnú úlohu vyzerá optimalizačný problém nasledovne: min λ M α i = β i = 1, M β i y i α i x i 2 λ, 0 α C λ1, (1.36) 0 β C λ1. Z ohraničení je zrejmé, že platí C λ 0. Pokial je C λ 1, horné ohraničenie na α, β je redundantné a teda problém sa dá geometricky interpretovat ako hl adanie dvoch bodov, jedného z konvexného obalu množiny X, druhého z konvexného obalu množiny 23

25 Obr. 4: Konvexné obaly v prípade lineárne neseparovatel ných množín sa prekrývajú Y, pričom sa tieto obaly prekrývajú, teda majú spoločné body, čo je možné vidiet na Obrázku 4. To znamená ze stačí zvolit také duálne premenné, aby obe konvexné kombinácie množín vyjadrovali ten istý bod. Táto úloha je teda určite prípustná a v optime platí, že λc = 1. Ak sa pozrieme na prípad hl adania minima problému (1.36) pre λc < 1, horné ohraničenia na α a β sú v tejto úlohe podstatné. Ked že redukovaný konvexný obal mnoziny Z definujeme podl a [11] ako: { K δ i z i K } δ i = 1; 0 δ i µ; µ < 1. Na úlohu (1.36) je možné teda nazerat geometricky ako na hl adanie vzdialenosti redukovaných konvexných obalov množín X a Y, obrázková interpretácia je na Obrázku 5. Obr. 5: Geometrický náhl ad na separáciu lineárne separovatel ných množín: optimalizačný problém je možné geometricky interpretovat ako hl adanie vzdialenosti redukovaných konvexných obalov 24

26 1.6 Metóda oporného bodu v regresii Metóda oporného bodu môže byt použitá aj v regresií, v anglickej literatúre sa často pomenuváva ako Support vector regression, resp. SVR, inšpirovali sme sa [1]. Majme teda množinu W, ktorú tvorí N bodov w i = (x i, y i ); i = 1,..., N, pričom x i R m a y i R. Narozdiel od klasickej regresie je našim ciel om nájst pre body množiny W takú regresnú nadrovinu f(z) = a T z + b, aby pre vopred dané ɛ platilo y i f(x i ) ɛ, x i X. Od regresnej roviny teda požadujeme, aby boli jednotlivé reziduá zhora ohraničené hodnotou ɛ. Najnižšiu možnú hodnotu ɛ, pre ktorú je možné zostavit prípustnú úlohu SVR môžeme nájst vyriešením optimalizačného problému, ktorý možno naformulovat takto: min ɛ y i a T x i b ɛ; i = 1,.., N, (1.37) y i + a T x i + b ɛ; i = 1,.., N. Optimálne riešenie tejto úlohy môžeme označit ˆɛ. Ak teda zvolíme ɛ ˆɛ, regresná rovina bude určite existovat. Ak je zvolené ɛ dostatočne vel ké, regresných rovín môže byt nekonečne vel a. Našim ciel om by mala byt taká nadrovina, pre ktorú je a 2 čo najmenšie. Keby totiž niektorá zložka a bola vel mi vel ká, mohla by zásadne ovplyvňovat vel kost a T x i. Pre fixne dané ɛ môžeme teda naformulovat takto: min a,b a 2 y i a T x i b ɛ; i = 1,.., N, y i + a T x i + b ɛ; i = 1,.., N. (1.38) ak presunieme ɛ v ohraničeniach úlohy (1.38) na l avú stranu získame ekvivalentné ohraničenia: y i ɛ a T x i b 0; i = 1,.., N, (1.39) (y i + ɛ) + a T x i + b 0; i = 1,.., N. Ak zapíšeme tieto podmienky vektorovo, tak platí: ( a, 1) T (x i, y i ɛ) b 0; i = 1,.., N, (a, 1) T (x i, y i + ɛ) + b 0; i = 1,.., N. (1.40) 25

27 Substitúciou ã = (a, 1) a prenásobením prvej nerovnosti 1 získame podmienky: ã T (x i, y i ɛ) b 0; i = 1,.., N, ã T (x i, y i + ɛ) b 0; i = 1,.., N. (1.41) Ako je možné vidiet, vyššie uvedená formulácia priamo určuje separujúcu nadrovinu { } g(z) = ã T z b, ktorá oddeluje množinu W ɛ = (x i, y i + ɛ) (x i, y i ) W a množinu { } W ɛ = (x i, y i ɛ) (x i, y i ) W. Problém SVR teda môžeme geometricky intrepretovat ako úlohu separácie 2 množín, pričom prvná vznikne z pôvodnej množiny W pridaním ku zložke y každého bodu množiny W fixne danú konštrantu ɛ a druhá vznikne taktiež z pôvodnej množiny W a to pridaním ku zložke y každého bodu fixne danú konštrantu ɛ. Z každého bodu získame teda jeden bod množiny W ɛ množiny W ɛ. Situáciu reflektujú Obrázok 6,Obrázok 7 a Obrázok 8. a jeden bod Obr. 6: Z každého bodu množiny W získame posunutím jeden bod, ktorý bude patrit W +ɛ a jeden bod, ktorý bude patrit do W ɛ Obr. 7: Úloha SVR je vlastne úloha na separáciu vzniknutých množín W +ɛ a W ɛ 26

28 Obr. 8: Vzniknutá separujúca nadrovina je zároveň regresnou rovinou pre body množiny W Duálnu úlohu môžeme teda interpretovat rovnako ako v kapitole 1.3, teda ako hl adanie konvexných obalov dvoch množín.teda formálne zapísané: min 1 2 β T (x i, y i + ɛ) α T (x i, y i ɛ) M+1 α i = 1, M+1 β i = 1, α, β 0. (1.42) Geometrický pohl ad je možné vidiet na Obrázku 9. Obr. 9: Duálna úloha SVR je vlastne hl adanie vzdialenosti konvexných obalov množín W +ɛ a W ɛ 27

29 2 Teória kernelových funkcii V tejo kapitole predstavíme teóriu kernelových funkcii, jej súvislost so skalárnym súčinom a Hilbertovým priestorom. Taktiež predstavíme niektoré základné aplikácie kernelových funkcii, ktorým sa však nebudeme nejak zásadne venovat. Ciel om tejto kapitoly je vybudovat teóriu kernelových metód kvôli tzv. kernelovému triku, ktorý je možné použit v d alších kapitolách. Hlavnou myšlienkou tohto triku je zobrazenie dostupných dát v inom priestore vd aka čomu môžu byt tieto dáta lepšie štruktúrované, resp. budú množiny týchto dát lineárne separovatel né. Použitím lineárnej separácie v inom priestore získame separačnú nadrovinu, ktorá oddel uje v tomto priestore pôvodné množiny. Spätným premietnutím do pôvodného priestoru získame nelineárny klasifikátor. Tento postup je možné vidiet na Obrázku 10. Kernelový trik sa používa častokrát v takých situáciách, kedy pracujeme najmä so skalárnym súčinom daných vektorov. Vd aka tomu nie je potrebné vediet presné obrazy daných bodov v inom priestore, ale len ich skalárny súčin v tomto priestore, čo značne znižuje náročnot úlohy. V tejto kapitole sme čerpali z [11],[13],[14],[15]. Obr. 10: Grafická interpretácia kernelového triku, lineárne neseparovatel né body su v priestore s vyššou dimenziou lineárne separovatel né. Obrázok je z [22] 2.1 Unitárny a Hilbertov priestor Aby bolo možné vybudovat a pochopit teóriu okolo kernelových funkcií je potrebné poznat niektoré teoretické poznatky z oblasti unitárneho a Hilbertovho priestoru. Nasledovné definície z [14] nám pomôžu v d alších podkapitolách s budovaním matematickej teórie kernelových funkcii. V nasledujúcih definíciách budeme vždy predpokladat, že lineárny priestor je reálny. 28

30 Definícia 2.1: Unitárnym priestorom nazývame lineárny vektorový priestor Ω so skalárnym súčinom, t.j. s takým zobrazením, : Ω Ω R, že platí: 1. x, x 0 pre všetky x Ω; x, x = 0 x = 0, 2. x, y = y, x pre všetky x, y Ω, 3. x + y, z = x, z + y, z pre všetky x, y Ω, 4. λ x, y = λx, y, pre všetky x, y Ω; λ R. Definícia 2.2: Lineárny vektorový priestor Ω sa nazýva normovaným, ak existuje také zobrazenie : Ω R, že platí: 1. x 0 pre všetky x Ω; x = 0 x = 0, 2. x + y x + y pre všetky x, y Ω, 3. λx = λ x, pre všetky x Ω; λ R. Ak je teda Ω unitárny priestor a pre l ubovol né x Ω položíme x = x, x, potom je Ω s normou lineárnym normovaným priestorom. Definícia 2.3: Unitárny priestor Ω nazývame Hilbertov priestor, ak platí, že je úplný, teda každá cauchyovská postupnost {h i Θ} taká že: konverguje k prvku h Ω lim sup h n h m = 0, n m>n Ak pre Hilbertov priestor platí, že existuje spočítatel ná podmnožina Ω = {h i Ω} taká, že pre všetky h Ω a ɛ > 0 existuje h i Ω také že h i h < ɛ, tak je navyše separovatel ný. 2.2 Kernelové funkcie Autor [20] sformuloval nasledovnú všeobecnú definíciu kernelovej funkcie: Definícia 2.4: Nech χ je priestor s mierou a nech L 2 (χ χ) je množina všetkých meratel ých funkcii χ χ s integrovatel ným kvadrátom. Potom κ je kernelová funkcia ak κ L 2 (χ χ) a existuje separovatel ný Hilbertov priestor Ω so skalárnym súčinom 29

31 , a zobrazenie φ : χ Ω také, že platí: x, x χ : κ(x, x ) = φ(x), φ(x ) Ω Pozn.: Zobrazenie φ budeme nazývat charakteristické zobrazenie (z angl. feature map). Pri aplikovaní kernelových funkcii v strojovom učení sa však pohybujeme na konečnorozmernom priestore, pretože dáta, na ktoré aplikujeme kernelove funckie sú konečné. Budeme teda v nasledujúcom zjednodušene predpokladat, že. Vd aka tejto vlastnosti uvedieme definíciu pre kernelové metódy na konečnom priestore: Definícia 2.5: Konečná kernelová funkcia κ je kernelová funkcia na χ = {x 1, x 2,...x n }. Takže existuje separovatel ný Hilbertov priestor Ω a zobrazenie φ : χ Ω, také, že κ(x i, x j ) = φ(x i ), φ(x j ) Ω, i, j {1,..., n}. Každú konečnú kernelovú funkciu možno teda reprezentovat n n maticou K takou, že K ij = K(x i, x j ). Kernelová matica je vlastne zovšeobecnením Gramovej matice, pretože ak H = R m,, je štandardný skalárny súčin, teda x, y = x T y a zobrazenei φ je identita, tak K je Gramova matica. Ked že prvky matice K sú hodnoty kernelovej funkcie všetkých dvojíc vektorov z χ, tak pri aplikovaní kernelového triku potrebujeme práve tieto hodnoty, preto je poznanie kernelovej matice dostatočné na aplikovanie kernelového triku v metódach strojového učenia. Vd aka týmto vlastnostiam teda nepotrebujeme poznat zobrazenie φ, ani presný tvar κ(x, y). Je známe, že symetrická matica je Gramova matica práve vtedy, ked je kladne semidefinitná. Toto tvrdenie možno analogicky rozšírit na kernelové matice, ako to uvedieme v nasledujúcej vete. Pozn.: Táto veta je špeciálnym prípadom Mercerovej vety [20]. Nasledovná veta nám značne ul ahčí spôsob, ako určit či funkcia je konečnou kernelovou funkciou. Veta 2.6: Matica je kernelovou maticou práve vtedy ked je symetrická a kladne semidefinitná. Dôkaz: V implikáciu ( ) stačí iba dokázat kladnú semidefinitnost matice K, kedže vieme, že kernelová funkcia je definovaná ako skalárny súčin, ktorý je symetrický, tak musí platit aj K ij = K ji, teda K je symetrická. Nech z R m je l ubovol ný vektor, 30

32 potom platí: z T Kz = i,j z i K i,j z j = z i φ(x i ), φ(x j ) Ω z j i,j = z i φ(x i ), z j φ(x j ) i i 2 = z i φ(x i ) 0, teda matica K je aj kladne semidefinitná. Implikáciu ( ) môžeme dokázat pomocou vlastností kladne semidefinitných matíc. Ked že platí, že K je symetrická a kladne semidefitniná, tak pre jej spektrálny rozklad K = UΛU T platí, že aj matica D je kladne semidefinitná. Potom môžeme definovat zobrazenie χ : χ R n = Ω: φ(x i ) : x i ( λ i u 1i, λ i u 2i,..., λ i u ni ), i Ω Ω pričom Ω je v tomto prípade R n so štandardným skalárnym súčinom, teda φ : χ R n a λ i = Λ ii a u i je i ty stĺpec matice U. Potom platí: φ(x i ), φ(x j ) = n λ l u li u lj = (V ΛV T ) ij = K i,j = K(x i, x j ). l=1 2.3 Vlastnosti konečných kernelových funkcii Niektoré vlastnosti konečných kernelových funkcii sme získali z [11] a [13], pričom sme niektoré vlastnosti doplnili a ku všetkým týmto tvrdeniam uvádzame naše vlastné dôkazy. Veta 2.7: Nech χ = {x 1, x 2,..., x n } a predpokladajme, že κ 1, κ 2,...κ N χ χ R sú konečné kernelové funkcie, a, c 0, f : χ R a funkcia P : R R je polynóm s nezápornými koeficientami, teda P (z) = k a iz i, kde a i 0, i = 1,...m. Potom všetky nasledovné funkcie sú konečné kernelové funkcie: 1. κ(x, y) = κ 1 (x, y) + κ 2 (x, y), 2. κ(x, y) = aκ 1 (x, y), 3. κ(x, y) = κ 1 (x, y) κ 2 (x, y), 31

33 4. κ(x, y) = κ 1 (x, y) d, 5. κ(x, y) = κ 1 (x, y) + c, 6. κ(x, y) = f(x)f(y), 7. κ(x, y) = P (κ 1 (x, y)), 8. κ(x, y) = f(x)κ 1 (x, y)f(y), 9. κ(x, y) = lim N N i=0 κ i(x, y), 10. κ(x, y) = e κ1(x,y). Dôkaz: Ked že χ je konečné, tak každá kernelová funkcia κ 1, κ 2 je jednoznačne určená kernelovou maticou. Preto môžeme v jednotlivých dôkazoch využit Vetu 2.6. Označme K 1, K 2,...K N kernelové matice určené kernelovými funkciami κ 1, κ 2,...κ N. 1. Matica, ktorá vznikne aplikovaním súčtu kernelových funkcii na sadu vektorov X je vlastne súčtom kernelových matíc pôvodných kernelových funkcii. Teda platí K = K 1 + K 2. Kedže K 1 a K 2 sú kladne semidefinitné, tak platí: z : z T K 1 z 0 a z T K 2 z 0 a teda aj z T K 1 z + z T K 2 z 0, resp. z T (K 1 + K 2 )z, teda aj matica K = K 1 + K 2 je kladne semidefinitná. 2. Podobne ako v prvej časti, kernelová matica funkcie aκ 1 pričom a > 0 môžeme označit K = ak 1 a kedže z T K 1 z 0, tak aj z T ak 1 z = az T K 1 z 0, teda aj matica K je kladne semidefinitná. 3. Ked že kernelové matice K 1 a K 2 sú kladne semidefinitné a symetrické, tak aj ich Hadamardov súčinom je kladne semidefinitná matica. Dôkaz tohto tvrdenia je v Prílohe 1. Súčin kernelových matíc je teda podl a Vety 2.6 kernelovou maticou. 4. Ked že zobrazenie κ 1 (x, y) d je reprezentované maticou, ktorá vznikne d-násobným Hadamardovým súčinom kladne semidefinitnej matice, tak aj KH d je kladne semidefinitná. Dôkaz tohto tvrdenia je možné nájst v Prílohe Zobrazenie κ 1 (x, y) + c je reprezentované maticou K 1 + c11 T. Obe matice sú kladne semidefinitné a tak aj ich súčet je kladne semidefinitná matica. 32

34 6. Ak označíme f(x i ) = f i ; i = 1,..., n, tak platí κ(x i, x j ) = f i f j. Jednotlivé prvky K teda vyzerajú K ij = f i f j, preto ak označíme v = (f 1, f 2,..., f n ), tak K = vv T, čo znamená že je to kladne semidefinitná matica. 7. Ked že polynóm s nezápornými koeficientami s kernelovou funkciou v argumente je súčet mocnín kernelovej funkcie vynásobený nezápornými koeficientami, tak dôkaz vyplýva priamo z vlastností Podobne ako v 6, označíme f(x i ) = f i ; i = 1,..., n,. Potom jednotlivé prvky K vyzerajú K ij = f i K ij 1 f j, ak označíme v = (f 1, f 2,..., f n ), môžeme túto maticu zapísat ako K = K 1 vv T. O matici K vieme, že je kladne semidefinitná, pretože je to kernelová matica, taktiež matica vv T je kladne semidefinitná matica hodnosti 1. Preto aj ich Hadamardov súčin je kladne semidefinitná matica, pričom dôkaz tohto tvrdenia je možné nájst v Prílohe Kernelová matica kernelu κ(x, y) bude v tomto prípade vyzerat ako nekonečná suma matíc, teda: K = lim N N i=0 K i. Ked že K i sú kernelové matice, tak sú kladne semidefinitné. Kladne semidefinitné matice tvoria podl a [2] uzavretý kužel, tým pádom limita postupnosti kladne semidefinitných matíc je opät kladne semidefinitná matica, z čoho vyplýva, že aj K je kladne semidefinitná. 10. Prvky matice K budú v tomto prípade vyzerat : K ij = e Kij 1. V nasledujúcej formulácií budeme využívat označenie maticových mocnín v tvare Hadamardovho súčinu: A d H = A } A {{... A }. d Pomocou nekonečného rozvoja funkcie f(z) = e z môžeme teda zapísat tvar matice K: K = lim N N i=0 (K 1 ) i H i!. Podl a Dodatku 2 v Prílohe 1 môžeme označit K = e K 1 H, teda K je maticová exponenciála v zmysle Hadamardovho súčinu. Matica K 1 je kladne semidefinitná, rovnako jej mocniny v zmysle Hadamardovho súčinu, pričom dôkaz je možné nájst v Prílohe 1. Teda jedná sa o nekonečnú sumu kladne semidefinitných matíc. Opät, kladne semidefinitné matice tvoria podl a [2] uzavretý kužel, takže limita postupnosti kladne semidefinitných matíc je opät kladne semidefinitná matica takže aj matica K je kladne semidefinitná. 33

35 2.4 Príklady kernelových funkcii V tejto podkapitole predstavíme niektoré používané kernelové funkcie a u niektorých odvodíme aj presný tvar zobrazenia φ. Pri niektorých funkciách sme sa inšpirovali [11]. Pomocou vlastností uvedených vo Vete 2.7 môžeme jednotlivé nižšie uvdené kernelové funkcie transformovat na vytvárat nové kernelové funkcie. Týmito príkladmi kernelových funkcii sme sa inšpirovali z [21]. Poznamenávame, že v praxi sa využívajú aj všeobecné kernelové funkcie, ktoré vo všeobecnosti nie sú kladne semidefinitné Lineárna kernelová funkcia Najjednoduchšou kernelovou funkciou je klasický skalárny súčin, v tomto prípade platí φ : χ R m, teda Hilbertov priestor je v tomto prípade R m s klasickým skalárnym súčinom. Niekedy sa zvykne používat súčet skalárneho súčinu a konštanty, teda κ(x, y) = x T y+c. Z vlastnosti 4 Vety 2.7 vieme, že taktáto funkcia je kernelová, nazýva sa lineárna kernelová funkcia Polynomiálna kernelová funkcia Umocnením lineárneho kernelu na d > 0 získame kernelovú funkciu κ(x, y) = (x T y+c) d, ktorá sa zvykne nazývat polynomiálna kernelová funkcia [13]. Opät, vd aka vlastnosti 3 z Vety 2.7 vieme, že súčin kernelov je opät kernelová funkcia, tym pádom aj umocňovanie. Pre prípad d = 2, c = 0 dokážeme relatívne l ahko nájst zobrazenie φ, nech x, y R m, potom : ( n )( n ) κ(x, y) = (x T y) 2 = x i y i x j y j = = n x i y i x j y j i,j=1 j=1 n (x i x j )(y i y j ), i,j=1 z toho je možné vidiet, že φ : χ R n2. Napríklad zobrazenie pre n=2 vyzerá: (x 1, x 2 ) (x 1 x 1, x 1 x 2, x 2 x 1, x 2 x 2 ). 34

36 Pre d = 3 použijeme podobný postup: ( n )( n )( n ) κ(x, y) = (x T y) 3 = x i y i x j y j x k y k = = n i,j,k=1 n i,j,k=1 x i y i x j y j x k y k j=1 k=1 (x i x j x k )(y i y j y k ), opät na príklade pre m = 2 bude zobrazenie φ vyzerat : (x 1, x 2 ) (x 1 x 1 x 1, x 1 x 1 x 2, x 1 x 2 x 1, x 1 x 2 x 2, x 2 x 1 x 1, x 2 x 1 x 2, x 2 x 2 x 1, x 2 x 2 x 2 ). Pre polynomiálnu kernelovú funkciu je zobrazenie φ : χ R nd, pričom Hilbertov priestor je R nd s klasickým skalárnym súčinom. V príklade vyššie je teda φ : χ R 8. Aj tu je možné vidiet výhody používania kernelovej funkcie, miesto výpočtov v priestore R 8 pracujeme stále iba so skalárnym súčinom. v prípade nenulovej konštanty pre d = 2 platí: κ(x, y) =(x T y + c) 2 n = (x i x j )(y i y j ) + i,j=1 n ( cx i )( cy i ) + c 2, takže v prípade n = 2 dokážeme l ahko nájst aj zobrazeni: φ : (x 1, x 2 ) (x 1 x 1, x 1 x 2, x 2 x 1, x 2 x 2, cx 1, cx 2, c). V takomto prípade zobrazuje φ z χ do priestoru R (n+d d ) RBF kernelová funkcia Jedna z najpoužívaješích kernelových funkcii sa nazýva RBF (Radial basis function) a vyzerá nasledovne: k(x, y) = e x y 2 2 2σ 2, ako je možné vidiet, funkcia nepracuje so skalárnym súčinom, ale s euklidovskou vzdialenost ou daných vektorov.tým istým spôsobom zachytáva mieru podobnosti dvoch vektorov. Jediným vol ným parametrom v tejto funkcii je σ, niekedy je možné nájst 35

37 v literatúre jej ekvivalentný tvar, kde je 1 2σ 2 nahradené γ. Táto kernelová funkcia ma niekol ko modifikácii, ak sa používa v exponente iba prvá mocnina euklidovskej vzdialenosti, jedná sa o exponenciálnu kernelovú funkciu. Ak navyše použijeme v menovateli miesto σ 2 iba σ, kernelová funkcia sa nazýva Laplaceova. Laplaceova kernelová funkcia je menej závislá od parametra σ. Pre dôkaz kladnej semidefinitnosti RBF kernelu je nutné rozpísat výraz v exponente: e x y 2 2 2σ 2 = e (x y)t (x y) 2σ 2 = e (xt x) 2(x T y)+(y T y) 2σ 2. Posledný výraz je možné prepísat do tvaru: 2σ 2 = e ( x 2 ) 2σ 2 e xt y σ 2 e ( y 2 ) 2σ 2. e (xt x) 2(x T y)+(y T y) Vd aka vlastnosti 10 z Vety 2.7 vieme, že κ = 1e xt y σ 2 aj κ lin = xt y σ 2 je kernelová funkcia, pretože je kernelová funkcia, konkrétne lineárna kernelová funckia s kernelovou maticou K lin. Tým pádom, ak označíme f(z) = e ( z 2 ) 2σ 2, môžeme využit vlastnost 8 Vety 2.7, z čoho priamo vyplýva, že e x y 2σ je kernelová funkcia. Pre RBF funkciu vieme l ahko nájst aj tvar kernelovej matice, ked že kernelová matica funkcie κ 1 = e xt y σ 2 je podl a vlastnosti 10 Vety 2.7 maticová exponenciála v zmysle Hadamardovho súčinu teda e K lin H. Tvar výslednej kernelovej matice priamo vyplýva z vlastnosti 8 Vety Sigmoid kernelová funkcia Ďalšou často používanou kernelovou funkciou je sigmodiová funkcia, ktorá má tvar: k(x, y) = tanh(αx T y + c). Ako je možné vidiet, má dva vol né parametre α a c, čím ju môžeme prispôsobovat na konkrétne aplikácie. Táto funkcia sa pôvodne používala iba v neurónových siet ach, no postupne sa začala používat aj v niektorých kernelových metódach. Zaujímavost ou je, že ak sa podl a [21] použije v metóde oporného bodu, ktorou sa budeme v d alších kapitolách zaoberat, stane sa táto úloha ekvivalentná dvojvrstvovej neurónovej sieti. Sigmoid kernelová funkcia je príkladom kernelovej funkcie, ktorej kernelová matica nemusí byt vždy kladne semidefinitná. Avšak vhodným zvolením parametrov α a c dokážeme docielit, aby za nejakých okolností túto vlastnost mala. Ked že je známe, že 36

38 diganonálne dominantná symetrická matica je kladne semidefinitná, stačí zvolit také parametre α a c, aby výsledná kernelová matica bola diagonálne dominantná Zlomková kvadratická kernelová funkcia Podl a [21] by pri použití RBF kernelovej funkcie mohlo niekedy dôjst k problémom s výpočtovou náročnost ou, v takom prípade sa používa zlomková kvadratická kernelová funkcia, ktorá má tvar: k(x, y) = 1 x y 2 x y 2 + c a má práve jeden vol ný parameter a to c. Kernelová matica tejto kernelovej funkcie taktiež nemusí byt nutne kladne semidefinitná. Podobne ako pri sigmoid kernelovej funkcii, aj tu dokážeme vhodným zvolením parametra c docielit, aby kernelová matica priamo určená zlomkovou kvadratickou kernelovou funkciou bola kladne semidefinitná a to zvolením takej hodnoty c, aby kernelová matica bola diagonálne dominantná. Kernelových funkcii je omnoho viac, výber kernelovej funkcie sa viaže častokrát ku konkrétnemu problému a dostupným dátam. Pomocou vol ných parametrov a rôznych operácii podl a Vety 2.7, môžeme jednotlivé kernelové funkcie čiastočne upravovat pre naše potreby. 2.5 Použitie kernelových funkcii Pomocou kernelových funkcii dokážeme jednoducho vypočítat nie len skalárny súčin obrazov daných vektorov v inom priestore, ale aj ich vzdialenost v tomto priestore, resp. vel kost, pretože tieto vzt ahy vychádzajú zo skalárneho súčinu. Vd aka týmto vlastnostiam dokážeme napríklad kernelové funkcie využit pri normalizácii dát, resp. pri centrovaní dát. Viac informácii o týchto aplikáciách je možné nájst v [8]. Uplatnenie kernelových funkcii je v takých metódach, kde potrebujeme poznat iba skalárny súčin vektorov. Najčastejšou a najvýznamnejšou kernelovou aplikáciou je metóda oporného bodu. Táto metóda našla, ako bolo možno vidiet v predošlej kapitole, svoje uplatnenie v klasifikácii alebo regresii. V d alších kapitolách sa budeme venovat aplikovaniu kernelového triku v probléme SVM. 37

39 3 Kernelový trik v metóde oporného bodu V prvej kapitole sme uviedli a odvodili primárne a duálne úlohy metódy SVM. V predošlej kapitole sme uviedli, že zobrazením bodov v inom priestote môžeme získat lepšie štrukturované dáta, resp. môžeme pracovat s metódami, s ktorými to v pôvodnom priestore nebolo možné. Taktiež sme ukázali, že nie vždy je nutné vždy poznat presné obrazy bodov v novom priestore, ale len ich skalárne súčiny, vd aka čomu sú úlohy výpočtovo jednoduchšie. V tejto kapitole spojíme poznatky z oboch kapitol a tak budeme používat metódu SVM nie na pôvodné dáta, ale len na ich obrazy v inom priestore, pričom jediné čo budeme potrebovat sú hodnoty ich skalárnych súčinov, teda hodnoty kernelovej funkcie. 3.1 Alternatívne formulácie problému SVM Ak zobrazíme pôvodné x i, x 2,...x N z množiny X a y i, y 2,...y M z množiny Y a označíme Z = X Y, tak pomocou charakteristického zobrazenia φ : Z Ω získame obrazy týchto bodov v priestore Ω, teda φ(x 1 ), φ(x 2 ),...φ(x N ), resp. φ(y 1 ), φ(y 2 ),...φ(y M ). Ak teda v klasickej SVM metóde bez slackov (1.8) budeme pracovat s obrazmi bodov v inom priestore, úloha bude vyzerat nasledovne: min a,b a 2 a T φ(x i ) b 1, i = 1,...N, a T φ(y i ) b 1, i = 1,...M. (3.1) V tomto prípade budeme zjednodušene označovat a T φ(x i ), resp. a T φ(y i ) skalárny súčin na priestore Ω. Geometrická interpretácia vyššie uvedeného problému je rovnaká ako v prípade pôvodnej úlohy (1.8). Teda opät hl adáme nadrovinu, ktorá čo najlepšie oddel uje obrazy bodov z pôvodných množín. K tejto úlohe vieme podobne ako v 1. kapitole odvodit duálnu úlohu, ktorú možno v takom prípade inteprtovat ako hl adanie vzdialenosti konvexných obalov množín obrazov bodov v novom priestore. Analogicky možno zovšeobecnit úlohu (1.27) so slackovými premennými. V tomto prípade uvažujeme ako možné riešenie aj takú nadrovinu, ktorá povol uje mierne odchýlky, teda nie všetky obrazy bodov pôvodných množín musia byt v dvoch rozdielnych polp- 38

40 riestoroch, ktoré určuje hl adaná nadrovina. Úloha teda získa tvar: min a,b a 2 + C u i + C M a T φ(x i ) b 1 u i, i = 1,...N, a T φ(y i ) b 1 + v i, i = 1,...M. u, v 0. v i (3.2) Rovnako aj v tomto prípade vieme odvodit duálnu úlohu rovnakým postupom ako v 1. kapitole, geometrická interpretácia vyššie spomenutého problému je teda hl adanie vzdialenosti redukovaných konvexných obalov jednotlivých množín obrazov bodov. Obe vyššie spomenuté úlohy ponúkajú zrozumitel né geometrické interpretácie, avšak aby sme mohli skutočne využit kernelový trik, teda nahradenie skalárneho súčinu kernelovou funkciou a dané úlohy riešit, je potrebné účelovú funkciu oboch problémov mierne upravit. Postačuje, aby sme v úlohe (3.1) a (3.2) nahradili v účelovej funkcii člen a 2 členom a = 1 2 at a, čo ukážeme odvodením duálnej úlohy v d alšej podkapitole. Úpravou účelovej funkcie sme sa čiastočne inšpirovali [17]. Úloha (3.1) teda bude vyzerat : A úloha (3.2) získa tvar: min a,b 1 2 at a a T φ(x i ) b 1, i = 1,...N, a T φ(y i ) b 1, i = 1,...M. (3.3) min a,b 1 2 at a + C u i + C M v i a T φ(x i ) b 1 u i, i = 1,...N, a T φ(y i ) b 1 + v i, i = 1,...M. u, v 0. (3.4) 3.2 Duálna úloha alternatívnych formulácii SVM V nasledujúcej časti odvodíme duálne úlohy pre (3.3) a (3.4), čím získame formulácie duálnych úloh, kde bude možné využit kernelový trik, teda nahradíme skalárne súčiny 39

41 kernelovou funkciou. Lagrangeova funkcia úlohy (3.3) vyzerá: L(a, b; α, β) = at a ( 2 M at β i φ(y i ) ) α i φ(x i ) + α i + b M β i M α i + b β i. (3.5) Pre formuláciu duálnej funkcie potrebujeme nájst infimum L(a, b; α, β) cez premenné a, b. Ked že je funkcia L(a, b; α, β) v primárnych premenných separovatel ná, tak platí: kde L(a, b; α, β) = L 1 (a, α, β) + L 2 (b, α, β), (3.6) L 1 (a, α, β) = at a ( 2 M at β i φ(y i ) ( M L 2 (b, α, β) = b β i ) α i φ(x i ) + α i + M β i, (3.7) α i ). (3.8) Vd aka tomu je infimum L(a, b; α, β) súčet infím jednotlivých funkcii L 1, L 2. Funkcia L 2 (b, α, β) je lineárna v b, preto môžeme využit (1.9). Pre L 1 (a, α, β) vieme nájst jednoducho infimum vd aka (1.12). V takom prípade, ak označíme M ψ = β i φ(y i ) α i φ(x i ), tak vo vektorovom zápise platí: inf a Našli sme teda infimum funkcii L 1, L 2, a preto: 1 2 ψt ψ + (α + β) T 1; inf L(a, b; α, β) = a,b ; L 1 (a, α, β) = 1 2 ψt ψ + (α + β) T 1 (3.9) M β i = N α i, inak. (3.10) Spätnou substitúciou získame duálnu úlohu (3.11). Ak pôvodné vektorové výrazy rozpíšeme, duálnu úlohu môžeme zapísat ako: max α,β 1 2 ψt ψ + M β i = α, β 0. α i + α i, 40 M β i (3.11)

42 V prípade (3.4) so zmenenou účelovou funkciou je v Lagrangeovej funkcii (3.5) ešte jeden člen a to u T (C1 α) + v T (C1 β). Lagrangeova funkcia L(a, b, u, v; α, β) je však aj v tomto prípade separovatel ná v každej jednej primárnej premennej, teda platí: L(a, b, u, v; α, β) = L 1 (a, α, β) + L 2 (b, α, β) + L 3 (u, α, β) + L 4 (v, α, β). (3.12) Funkcie L 1 (a, α, β) a L 2 (b, α, β) vyzerajú rovnako ako v (3.7) a (3.8), pre funkcie L 3 (u, α, β) a L 4 (v, α, β) platí: L 3 (u, α, β) = u T (C1 α), L 4 (v, α, β) = v T (C1 β). Ked že z (3.4) vieme, že u, v 0, tak pri hl adaní infima funkcii L 3 (u, α, β) a L 4 (v, α, β) použijeme (1.10). Tým sa však nezmení tvar účelovej funkcie duálnej úlohy, ale získame nové ohraničenia na α, β, pretože vektory C1 α a C1 β musia mat všetky zložky nezáporné podl a (1.10). Duálna úloha teda v takomto prípade vyzerá: max α,β 1 2 ψt ψ + α i + M β i = α i, M β i (3.13) 0 α, β C Kompaktný zápis úloh SVM Úlohy (3.11) a (3.13) vieme zapísat kompaktnejšie pri zvolení nových premenných. Ak označíme vektor duálnych premenných γ = (α, β) a vektor z i ako: x i ; i = 1,..., N, z i = y i ; i = N + 1,..., N + M. dokážeme naformulovat nový tvar duálnej úlohy oboch pôvodných primárnych problémov. V takom prípade platí: ψ = M β i φ(y i ) α i φ(x i ) = 41 N+M γ i φ(z i ).

43 Pomocou matice: I 0, 0 I možno problém (3.11) naformulovat v tvare: max α,β 1 2 ( N+M 1 T γ = 0, Jγ 0. ) T ( N+M γ i φ(z i ) ) γ i φ(z i ) + 1 T Jγ (3.14) Skalárny súčin v účelovej funkcii môžeme po roznásobení zapísat v tvare súčtu a tak kompaktný tvar (3.11): max α,β 1 2 ( N+M,j 1 T γ = 0, Jγ 0. γ i φ(z i ) T φ(z j )γ j ) + 1 T Jγ (3.15) V probléme (3.13) je navyše len horné ohraničenie na α, β, preto analogicky vyzerá kompaktný tvar: max α,β 1 2 ( N+M,j 1 T γ = 0, 0 Jγ C Kernelový trik v úlohách SVM γ i φ(z i ) T φ(z j )γ j ) + 1 T Jγ (3.16) V úlohách (3.15) aj (3.16) dokážeme využit kernelový trik, pretože vo formulácií úlohy nevystupujú samostatne žiadne obrazy bodov, iba ich skalárne súčiny, teda môžeme nahradit tieto skalárnych súčiny kernelovou funkciou κ(x, x ), čo vedie k formulácii: max γ 1 2 ( N+M,j 1 T γ = 0, Jγ 0, γ i κ(z i, z j )γ j ) + 1 T Jγ (3.17) 42

44 resp. v prípade (3.16) analogicky k: max γ 1 2 ( N+M,j 1 T γ = 0, 0 Jγ C1. γ i κ(z i, z j )γ j ) + 1 T Jγ (3.18) Navyše, účelovú funkciu takto dokážeme celú zapísat v maticovom zápise s využitím kernelovej matice, pričom ju môžeme naformulovat ako minimalizačnú úlohu: 1 min γ 2 γt Kγ 1 T Jγ 1 T γ = 0, (3.19) Jγ 0. Analogicky, v prípade (3.16): 1 min γ 2 γt Kγ 1 T Jγ 1 T γ = 0, (3.20) 0 Jγ C1. Matica K je kernelová matica priamo určená kernelovou funkciou κ(x, x ). Vo formuláciách problémov SVM teda nepotrebujeme poznat presný tvar kernelovej funkcie, postačujúca je znalost kernelovej matice. V kapitole 2 sme uviedli, že kernelová matica je kladne semidefinitná, preto problémy popísané vyššie sú riešitel né konvexné úlohy. V týchto úlohách však úplne stačí, ak je matica K kladne semidefinitná na priestore určenom ohraničenami, v našom prípade na [1]. 43

45 4 Aplikácia SVM V tejto kapitole predstavíme dostupné algoritmy, ktoré sa používajú na riešenie úloh SVM a SVR. Pre metódu SVM uvedieme aj výsledky aplikovanie metódy SVM v oblasti spracovania prirodzeného jazyka, porovnáme niekol ko kernelých funkcii vzl adom na rozličné parametre. V tejto časti sme sa prevažne inšpirovali [18],[13], [16], [19]. 4.1 Používané algoritmy Algoritmy od vzniku SVM sa postupne menili a vyvýjali. Jedným z prvých používaných algoritmov bola Modifikovaná gradientová projekcia [13]. Týmto algoritmom bol vyriešený prvý experimentálny SVM problém. Hlavnou myšlienkou je iteratívne hl adanie vhodných smerov zo štartovacieho bodu. Táto metóda však bola vel mi náročná na výpočtový čas a pamät, postupne bola vylepšovaná. Vtedajšie dostupné solvre všaj vyžadovali znalost celej kernelovej matice, ktorá však nebola nutná. Preto prišla onedlho metóda dekompozície hlavného SVM problému na niekol ko menších podproblémov kvadratického programovania. Táto metóda obchádzala nutnost znalosti celej kernelovej matice a viedla tak k efektívnejším výpočtom. Po čase bola metóda dekompozície upravená natol ko, že sa jednotlivé riešenia optimalizačných podproblémov hl adali v smere, ktorý obsahoval iba dve nenulové zložky. Tento algoritmus sa nazýva SMO [13]. Ohraničenia SVM navyše spôsobia, že sa jednotlivé podporblémy stanú jednorozmernými. Tým sa náročnost hl adania newtonovského kroku rapídne zmenšila a výpočtový čas sa skrátil. Väčšina súčansých moderných solverov pracuje práve s SMO. Dostupné informácie o všetkých vyššie popísaných algoritmoch je možné nájst v [13]. V súčasnosti, okrem stáleho zefektívňovania existujúcich algoritmov sa stále pracuje na nových. Niektoré využívajú práve geometrický prístup k problému SVM, ktorú sme popísali v druhej kapitole. Sú aj také, ktoré využívajú napr. tú vlastnost, že geometrická interpretácia duálneho problému je hl adanie redukovaných konvexných obalov. Príkladom tejto metódy je algoritmus popísaný v [12], ktorý využíva vlastnosti redukovaných konvexných obalov pre nájdenie optimálneho riešenia SVM. 44

46 4.2 Spracovanie prirodzeného jazyka a strojové učenie Spracovanie prirodzeného jazyka je medziodborová vedecká disciplína, ktorá stojí na rozhraní matematiky, informatiky, jazykových vied ale aj psychológie. Je to jedna z najväčších oblastí aplikácie umelej inteligencie a metód strojového učenia. Hlavným ciel om je skúmanie komunikácie pomocou výpočtovej techniky, či už komunikácie l udí medzi sebou alebo komunikácie počítača s človekom pomocou bežného l udského jazyka. Spracovanie prirodzeného jazyka v zmysle strojového učenia sa najviac využíva na analýzu bežných l udsky čitatel ných textov a hovorených slov. Medzi najčastejšie aplikácie spracovania prirodzeného jazyka, ktorý sa niekedy označuje skratkou NLP (Natural language processing) patrí rospoznávanie hlasu, detekcia autorstva, rospoznávanie písma a klasifikácia textov. V nasledujúcej časti sa budeme venovat práve detekcii autorstva. Detekcia autorstva ako taká existovala omnoho skôr ako existoval odbor zaoberajúci sa spracovaním prirodzeného jazyka. Problém so správnym určením autorov textu sa prejavoval už v stredoveku a o nejaký čas s týmto problémom bojovali aj v súdnictve. V polovici 20. storočia vznikol samostatný jazykovedný odbor a to forenzná lingvistika. Jej hlavným ciel om bolo na základe analýzy obsahu a skladby viet určit či autor iného textu je autorom skúmaného textu. Z forenznej lingvistiky sa mnohé princípy prebrali a tak detekcia autorstva bola platnou aplikáciou spracovania prirodzeného jazyka, kde úlohu forenzného lingvistika plní počítač. V spracovaní prirodzeného jazyka sa pre porozumenie vety počítačom zvyčajne používajú dva prístupy, tým prvým je analýza kl účových slov, druhý je syntaktickosémantická analýza textu. V detekcií autorstva sa častokárt využíva ten druhý z menovaných. Tento prístup sa osvedčil ako správny najmä preto, že analyzuje text hĺbkovo, po stránke obsahu ale aj skladby, rovnako ako to robí lingvista pri analýze textu, ktorého autorstvo je spochybnené. 4.3 Príprava dát pre detekciu autorstva V tejto časti využijeme poznatky z SVM a spracovania prirodzeného jazyka v aplikácii detekcie autorstva, ktorú sme čiastočne popísali v predošlej podkapitole. SVM bola donedávna najpoužívanejšs metóds v strojovom učení pre detekovanie autorstvva textu, 45

47 dnes sa do popredia často dostávajú neurónové siete s čiastočne lepšou úspešnost ou. V súčasných riešeniach dostupný softvér pre detekciu autorstva využíva vel a rozličných znakov, ktoré sú však prispôsobené na anglický jazyk. V slovanských jazykoch sú však mnohé prvky, ktoré je možné sledovat narozdiel od anglického jazyka a čast znakov, ktoré sa pre slovenčinu využit nedajú. Ako trénovacie dáta sme preto vybrali slovenské texty a to konkrétne z úvodu a záveru bakalárskych prác študentov odboru Ekonomická a finančná matematika a diplomových prác študentov odboru Ekonomicko-finančná matematika a modelovanie. Rozhodli sme sa vyberat práve trénovacie texty z úvodu a záveru, pretože obsahujú minimum citovaných častí a zachytávajú najviac autenticity autora. Kedže znaky, ktoré sme sa rozhodli sledovat sú závislé od správneho použitia interpunkcie, podmienkou na trénovacie texty bola používat texty, kde autor bude interpunkciu dodržiavat, preto sme zvolili záverečnú prácu miesto bežných autorových textov dostupných na sociálnych siet ach. Priemerná dĺžka jedného trénovacieho textu bola približne 200 slov, pretože sme každý text v úvode resp. závere rozdelili na niekol ko osobitných častí. V tejto práci sme sa rozhodli sledovat 6 znakov. Pri ich výbere sme sa inšpirovali napríklad [7] a [18]. Z každého trénovacieho textu sme pomocou nami napísaného programu postupne získavali vektor charakteristík. Tento program je uvedený v Prílohe 2. Jednotlivé zložky vektora charakteristík boli tvorené číselnými údajmi reprezentujúcimi: 1. Priemerná dĺžka viet Týmto základným znakom sme sledovali, kol ko slov využíva priemerne autor textu vo vete. Tým sme chceli rozlíšit autorov, ktorý používajú skôr krátke vety od tých, ktorí vety častejšie rozvíjajú do súvetí. Túto charakterisitku sme určovali podl a počtu bodiek v texte, každá bodka reprezentovala začiatok novej vety. V tomto prípade sme texty očist ovali od bodiek, ktoré slúžili na iný účel. 2. Štandardná odchýlka dĺžky viet V predošlom znaku sme získali informáciu o priemernej dĺžke vety, avšak nevedeli sme zhodnotit či jednoduché vety s dlhými vetami strieda alebo píše vety približne rovnako dlhé. Týmto znakom dokážeme zistit aký vel ký rozptyl bol v dĺžke viet. 46

48 3. Priemerný počet čiarok Pokial autor sa uchyl uje k písaniu dlhých viet (na základe znaku č.1), tak tento znak napovie viac či autor využíva spájanie viet pomocou spojok alebo uprednostňuje využívanie čiarok. Taktiež nám viac napovedá o synaktickej rovine viet a teda či autor využíva skôr prirad ovacie súvetia alebo podrad ovacie. 4. Priemerný počet slov Hapax legomenon Hapax legomenon je slovo, ktoré je využité v texte iba jedenkrát. Sú to istým spôsobom unikántne slová. V tomto znaku počítame priemerný počet týchto slov, ktoré sa v textoch nachádzajú. Táto charakteristika autora taktiež hovorí aj o jeho vzt ahu k využívaniu synoným, pretože pokial sa autor venuje nejakej téme, využívaniu toho istého slova sa vyhne iba využitím vhodných synoným. 5. Priemerný počet stop slov Stop slová su slová s čisto syntaktickým významom v texte a väčšinou nemajú žiaden význam, ked sú izolovane použité mimo kontext. Touto charakteristikou sledujeme ako často autor využíva tieto slová. V tomto znaku uchovávame informáciu o podiele počtu stop slov voči všetkým slovám. Náš program držal pole najčastejších slovenských stop slov, ktorých výskyt v texte kontroloval. 6. Bohatost slovnej zásoby V tomto znaku držíme bohatost autorovej slovnej zásoby označenej K, ktorú sme vypočítatali podl a vzorca, ktorý navrhol v roku 1944 britský štatisitk Udny Yule [18] K = 104 ( i 2 V i N) N 2, pričom N označuje počet slov vo vete a V i označuje počet slov s frekvenciou i. Vyššie popísané znaky je možné rozdelit do dvoch skupín. Tou prvou skupinou znakov sme sledovali najmä syntax, konkrétne priemerný počet čiarok, priemernú dĺžku viet a jej štandarndú odchýlku, druhou skupinou znakov sme pozorovali najmä sémantiku, konkrétne počet slov, ktoré izolovane nemajú žiaden význam, bohatost slovnej zásoby a počet slov využitých práve raz. Väčšinu týchto znakov by sa dali aplikovat na detekovanie autorstva aj v inom jazyku. V súčasnosti prichádza do popredia softvér, ktorý väčšiu pozornost sústred uje na znaky typické pre daný jazyk. Pre slovenčinu by 47

49 to mohli byt napríklad d alšie syntaktické znaky, ako napríklad slovosled, používanie priamych a nepriamych predmetov. Takéto programy majú častokrát väčšiu úspešnost. V tejto práci sa však venujeme väčšine znakov, ktoré sú aplikovatel né aj na niektoré iné jazykov, s výnimkou stop slov, ktoré sa vzt ahujú na slovenské slová. Vd aka pravidlám slovenčiny však dokážeme lepšie interpretovat niektoré znaky ako naprílad priemerný počet čiarok, pretože častokrát hovoria, aké súvetia autor použil, čo sa nedá použit ako kritérium v niektorých jazykoch, resp. toto kritérium nemá až taký dôležitý význam. 4.4 Implementácia detekcie autorstva v Pythone Znaky, ktoré sme popísali v predošlej kapitole sme vyhl adávali v texte pomocou nami napísaného programu v programovacom jazyku Python 3, na riešenie úlohy SVM sme použili knižnicu sklearn a solver LIBSVM. Tento solver ma naimplementovaný vyššie spomínaný vel mi efektívny SMO algoritmus. Každý text trénovacích dát sme označili značkou 1, pokial chceme zistit či tento autor napísal aj texty z testovacích dát. V opačnom prípade sme text označili 0. Vo väčšine prípadov sme poznávali jednotlivé znaky, ako napr. počet slov pomocou medzier, resp. počet viet na základe bodiek. Pred analýzou každého znaku sme sa snažili text ošetrit pred anomáliami, ktoré tam mohli byt a menit čiastočne hodnoty niektorých charakteristík, ako napríklad trojbodka v prípade počtu viet. Ako trénovacie dáta sme použili 26 textov, ako testovacie dáta 10 textov. Program každý raz vybral pseudonáhodne 10 textov, ktoré považoval za testovaciu vzorku, výsledky sa preto každým spustením programu menili, čo znamenalo, že dát je málo. S väčším množstvom dát sme narazli s niektorými kernelmi na problém s výpočtovým časom. Taktiež bolo našim ciel om skôr interpretovat použitie aplikácie SVM ako reálne vytvorit program na spol ahlivú detekciu autorstva. Pri implementácií detekcie autorstva sme použili 3 rôzne kernelové funkcie: 1. Lineárna kernelová funkcia Lineárna kernelová funkcia je vlastne klasický skalárny súčin teda platí K(x, x ) = x T x 48

50 Použtím lineárnej kernelovej funkcie teda riešime problém (2.12), teda úlohu lineárnej separácie so slackovými premennými. jediný parameter, ktorý môžeme pri použití lineárnej kernelovej funkcie použit je parameter C, ktorý je regularizačný parameter vyjadrujúci trade off medzi dosiahnutím správnej klasifikácie v trénovacích dátach a dosiahnutím väčšej vzdialenosti medzi jednotlivými množinami separovaných dát a oddel ujúcej nadroviny. Pri zvolení malého C získame nadrovinu, ktorej vzdialenost od separovaných množín z trénovacích dát bude vel ká, avšak niektoré body budú klasifikované nesprávne. Naopak, zvolením vel kého C získame nadrovinu, ktorá väčšinu bodov z trénovacej sady dát klasifikuje správne, avšak vzdialenost nadroviny od separovaných množín bude menšia. Pre lineárnu kernelovú funkciu sme testovali 50 rôznych hodnôt parametra C na logaritmickej škále v rozmedzí od 10 3 do Najväčšiu úspešnost sme dostali správnym klasifikovaním 7 textov z 10 pre rozličné hodnoty parametra C. Výsledky je možné vidiet na Obrázku 11. Obr. 11: Výsledky pre 26 trénovacích dát a 10 náhodne vybraných testovacích dát pri použití lineárnej kernelovej funkcie 2. Polynomiálna kernelová funkcia Polynomiálna kernelová funkcia vyzerá nasledovne: K(x, x ) = (x T x + r) d, 49

51 klasický skalárny súčin je len špeciálnym prípadom polynomiálnej kernelovej funkcie. Napriek tomu, že polynomiálna kernelová funkcia nie je až taká často využívaná v bežných aplikáciách SVM, v problémoch spracovania prirodzeného jazyka sa používat zvykne. Označenie d nazývame stupeň polynomiálnej kernelovej funkcie a najčastejšie sa používa d = 2, pri väčšom stupni často dochádza k problému prefitovania, resp. po anglicky overfitting. Problém prefitovania je problém, ktorý sa prejavuje v rozličných častiach strojového učenia, dochádza k nemu vtedy, ked sú parametre nastavené tak, aby fitovacia krivka privel mi kopírovala trénovacie dáta, ktoré častokrát obsahujú aj nejakú chybu. V prípade testovacích dát tak môže dôjst k vel mi nespol ahlivým predikciám. V polynomiálne kernelovej funkcií môžeme taktiež menit parameter r. Parameter r zabezpečuje posunutie a v Pythone je predvolene nastavený na hodnotu 0, ktorú v našej aplikácii nebudeme menit. Pre polynomiálnu kernelovú stupňa 2 sme testovali na 10 rôznych hodnotách na logaritmickej škále v rozmedzí od 10 3 do Výsledky je možné vidiet na obrázku, pre relatívne vel ké hodnoty parametra C sa výsledky nijak nemenia. To však neznamená, že oddel ujúca nadrovina je rovnaká, ale, že všetkých 10 bodov je stále v rovnakých polpriestoroch. Najväčšiu úspešnost sme získali správnym klasifikovaných 9 textov z 10, pričom 5 textov bolo od autora, ktorého sme skúmali a 5 textov od iných autorov. Výsledky je možné vidiet na Obrázku 12. A 3. RBF kernelová funkcia RBF kernelová funkcia, resp. Radial Basis Function je najštandardnejšia a najčastejšie používaná nelineárna kernelová funkcia v strojovom učení a má tvar: K(x, x ) = e γ x x 2. Ako je možné vidiet, narozdiel od ostatných, táto funkcia vôbec nepracuje so skalárnym súčinom dvoch vektorov. Rovnako je, narozdiel od predošlých kernelových funkcii, nekonečne diferencovatel ná a vd aka využitiu euklidovskej vzdialenosti miesto skalárneho súčinu, je aj invariantná voči posunutiu. Jediný parameter v RBF kerneli je parameter γ. Tento parameter v podstate predstavuje inverznú hodnotu štandardnej odchýlky normálneho rozdelenia. Pokial sa hodnota tohto parametra zväčšuje, hodnota kernelovej funkcie sa zmenšuje, takže pri 50

52 Obr. 12: Výsledky pre 26 trénovacích dát a 10 náhodne vybraných testovacích dát pri použití polynomiálnej kernelovej funkcie dostatočne vel kej hodnote parametra γ dosahuje kernelová funkcia vel mi nízke hodnoty. Ked že RBF funkcia berie do úvahy vzdialenost vektorov, hovorí teda v istom zmysle o podobnosti dvoch dát. Ak zvolíme vel kú hodnotu γ, tak hodnota kernelovej funkcie dvoch vektorov bude nízka a teda dve vzorky dát budú považované za podobné, aj napriek tomu, že by v skutočnosti boli tieto vektory od seba vel mi vzdialené. V opačnom prípade, pri zvolení nízkej hodnoty γ, je hodnota kernelovej funkcie vel ká a tak aj body z dát, ktoré sú relatívne blízko majú vel mi vel kú hodnotu kernelovej funkcie a tak sú považované za málo podobné. Štandardne sa hodnota tohto parametra v Pythone určuje ako γ = 1 počet charakteristík, táto hodnota je iba inicializačná, ked o povahe dát nevieme vel a a postupne ju upravujeme pre dosiahnutie lepších výsledkov. V našej práci testujeme pre 30 rôznych hodnôt parametra C 30 rozličných hodnôt parametra γ, hodnoty oboch parametrov boli zvolené na logaritmickej škále. Hodnoty C sú v rozmedzí od 10 3 do Hodnoty γ od 10 4 do Pri použití RBF kernelovej funkcie, sme pre rozličné trénovacie a testovacie sady získali odlišné výsledky, to reflektuje stav, že dát nie je až tak vel a a pre spol ahlivý detektor autorstva je potrebné mat dostatočne vel kú sadu dát. Ked že RBF kernelová funkcia bola mimoriadne rýchla, spustili sme 10 testov, kedy každý raz program pseudonáhodne vybral 26 51

53 trénovacích dát a 10 testovacích. Spolu teda dokopy určoval 100 textov, pričom každý raz bol natrénovaný na inej sade. Výsledky je možné vidiet na Obrázku 13, kde je na škále zobrazená percentuálna úspešnost. Zdá sa, že najlepšie výsledky sa dosiahli ked sa γ pohybuje rádovo okolo 10 4 a hodnoty C sú väčšie ako 10. Obr. 13: Výsledky pre 10 testov s každý raz náhodne vybranými trénovacími a testovacími dátami pri použití RBF kernelovej funkcie. Škála zobrazuje percentuálnu úspešnost Ako bolo možné vidiet na výsledkoch použitia rozličných kernelových funkcii, výber kernelu výrazne ovplyvňuje dosiahnuté výsledky. Neexistuje všeobecný návod, ako vybrat správny kernel, závisí to od typu riešného problému a od povahy dostupných dát. Častokrát sa ako prvá nelineárna kernelová funkcia testuje RBF. Výber parametrov, ako bolo možné vidiet, rovnako výrazne ovplyvňuje jednotlivé výsledky. Po výbere kernelu tak je nutné zvolit správne parametre. V súčasnosti existuje viacero metód ako vybrat vhodné parametre, častokrát na základe krížovej validácie alebo pomocou Nelder-Mead simplexovej metódy [13]. Naša implemetácie detekcie autorstva je len zjednodušeným modelom. Pre vybudovanie skutočne spol ahlivého detektoru autorstva by bolo najvhodnejšie použit nejaký jazykový korpus na získanie dostatočného počtu dát. Trénovacia vzorka by mala byt rádovo niekol konásobne väčšia od testovacej. Pre získanie relevantých výsledkov percentuálnej úspešnosti je samozrejme nutné pracovat s omnoho väčšou sadou testovacích dát. To sa potvrdilo pri spúšt aní nášho programu, kedy sme pre rozličné trénovacie dáta 52