Modelovanie inflácie RBF sieťami Milan Marček 1, Anton Vorčák 2 Abstrakt Cieľom príspevku e prezentovať vyvinuté prediktory pre modelovanie a prognózovanie finančných procesov s využitím RBF umelých neurónových sietí a ekonometrických metód. Práca sa zaoberá ekonometrickými metódami, prognostikou a umelými neurónovými sieťami. Presnosť modelovania pomocou RBF neurónových sietí e porovnávaná s presnosťou modelovania pomocou obyčaných neurónových sietí a ekonometrických metód. Kľúčové slova Ekonometria, ekonometrický model, prognózovanie, umelá neurónová sieť, RBF umelá neurónová sieť, ekonomická hypotéza. 1 Úvod Nie všetko sa dá vyskúšať v reálnych podmienkach buď e to nemožné alebo finančne náročné. Preto sa využíva technika modelovania. Výnimkou ne e ani finančná a ekonomická sféra. Využívanie modelovacieho postupu, resp. konštrukcia modelových prognóz v súčasne ekonomike a financiách má stále miesto. V posledne dobe nastal výrazný rozvo v modelovaní časových radov ekonomických a finančných veličín. Dôvodom k tomu sú nové informačné technológie, predovšetkým smery soft computing [3], ale a nové teoretické poznatky v teórii financií. Cieľom príspevku e informovanie o niektorých nových vyvinutých prediktorov ekonomických veličín s použití ekonomicke teórie a metód soft computingu, konkrétne špecificke triedy umelých neurónových sietí RBF (Radial Basis Function) sietí. Neurónové siete predstavuú pomerne nový smer. Pomocou ktorého možno modelovať ekonomické a finančné procesy, avy a vzťahy medzi nimi. Cieľom príspevku e ukážka prezentovanie modelovania vývoa inflácie Slovenske republiky pomocou RBF neurónových sietí. Výsledky presnosti aproximácie a predikcie vývoa inflácie pomocou RBF sietí porovnáme s výsledkami klasických neurónových sietí a štandardných ekonometrických metód. Kapitola druhá sa zaoberá architektúrou RBF neurónove siete a e modifikáciami. Podkapitola tretia prezentue niektoré výsledky aproximačne a predikčne modelovania vývoa inflácie. Podkapitola štvrtá e venovaná vyhodnoteniu modelov inflácie založených na RBF sieťach a ich modifikáciách. Záverečné poznámky k výsledkom sú uvedené v podkapitole piate. 2 Architektúra RBF siete a e modifikácie RBF siete sa v mnohom podobaú sieťam perceptrónového typu s ednou skrytou vrstvou s tým, že sa odlišuú vo výpočtoch potenciálov neurónov v skryte a výstupne vrstve a aktivačnými funkciami. 1 Ing. Milan Marček, PhD., Medis, spol. s r.o., Pri Dobrotke, 659/81, 948 01 Nitra, marcek@fria.utc.sk 2 Ing. Anton Vorčák, Fakulta riadenia a informatiky, ŽU, Univerzitná 1, 010 26 Žilina, anton.vorcak@fri.uniza.sk
Na obr. 2.1 sú nakreslené architektúry klasicke a soft RBF sietí na zobrazenie k 1 vstupného vektora dát x = ( x1, x2,..., xk ) R do premenne y R na výstupe. RBF siete na obr. 2.1 sú siete s dopredným šírením signálov a v tomto zmysle e ekvivalentná s viacvrstvovou sieťou perceptrónového typu. Obidve siete (RBF sieť a sieť perceptrónového typu) maú ednu skrytú vrstvu s procesnými neurónmi a s nelineárnymi aktivačnými funkciami spravidla gaussovského typu. Potenciál neurónu v skryte vrstve RBF siete e rovný štvorcu rozdielu vzdialenosti medzi koncovými bodmi vstupného vektora x a vektora váh w, t.. Obr. 2.1 Architektúra RBF siete na zobrazenie k 1 R R - klasická vľavo, soft vpravo. 2 u = x w, = 1, 2,..., s, (2.1) a výstup z neurónov v stredne vrstve e daný 2 ψ 2( u ) = exp( u / 2 ) σ (2.2) Ak hodnoty týchto výstupov sa budú normalizovať tak, že každý výstup o neurónu v skryte vrstve sa vydelí súčtom hodnôt všetkých výstupov neurónov v stredne vrstve, t.. s výrazom = o 1, získa sa soft RBF sieť. Iné možné vylepšenie aproximačne a predikčne schopnosti soft RBF siete s architektúrou na obr. 10.3 e, ak sa do inferenčného mechanizmu zakomponue tzv. cloud koncept [3], t.. štandardná gaussovská aktivačná funkcia RBF neurónov sa zamení funkciou založenou na cloud koncepte. Bližšie podrobnosti e možné násť v lit. [1] a [3]. 3 Modelovanie a vyhodnotenie modelov inflácie založených na RBF sieťach V teto podkapitole skúmame schopnosť RBF umele neurónove siete modelovať mieru inflácie na základe priatých ekonomických teórii. Konkrétne pôde o ednoduché hypotézy závislosti inflácie r t od miery nezamestnanosti U t, potom od miezd W t, model zotrvačnosti, viacfaktorový model závislosti inflácie od miery nezamestnanosti a miezd a nakoniec viacfaktorový model so zohľadnením a zotrvačnosti inflácie, ktoré boli kvantifikované na základe štvrťročných dát odhadovou metódou OLS v tvaroch: (3.1) (3.2)
(3.3) (3.4) (3.5) Pri modelovaní inflácie podľa tvaro funkcií (3.1) až (3.5) sme parametre sietí volili tak, aby dávali optimálne výsledky. Ide hlavne o veľkosť trénovace množiny, počet procesných neurónov, parameter rýchlosti učenia váh, počet epoch zhlukovania a rýchlosť adaptácie centier RBF neurónov. Vplyv nadôležiteších parametrov sietí na presnosť modelovania inflácie e uvedený v lit. [4]. Výsledky o dosiahnutých chybách presnosti aproximácie vývoa inflácie ednotlivých typov RBF sietí a modelov (3.1) až (3.5) sú uvedené v tabuľkách 3.1 a 3.2. RBF soft-rbf Cloud-RBF soft-cloud-rbf dopredná UNS r t = f(u t-1 ) MSE TRAIN 0,131065 0,190475 0,191246 0,190396 0,150865 0,150739 MSE VAL 0,191502 0,190475 0,191246 0,190396 0,173661 0,607902 r 1Q2008 (%) 3,468 3,871 3,331 3,922 3,736 7,262 RBF soft-rbf Cloud-RBF soft-cloud-rbf dopredná UNS r t = f(w t-1 ) MSE TRAIN 0,239871 0,151723 0,234712 0,151723 0,154176 0,137741 MSE VAL 0,130141 0,193902 0,123717 0,193906 0,196002 0,295846 r 1Q2008 2,179 4,031 2,139 3,969 3,957 4,928 RBF soft-rbf Cloud-RBF soft-cloud-rbf dopredná UNS r t = f(r t-1 ) MSE TRAIN 0,2771 0,085275 0,271885 0,179803 0,061214 0,0492562 MSE VAL 0,085521 0,179002 0,083788 0,179803 0,083312 0,096008 r 1Q2008 3,292 2,189 3,568 2,198 3,691 3,89 RBF soft-rbf cloud-rbf soft-cloud-rbf dopredná UNS r t = f(r t-1 ) MSE TRAIN 0,202953 0,151615 0,198822 0,151615 0,156871 0,115928 MSE VAL 0,13632 0,193911 0,127905 0,193902 0,195616 0,1331853 r 1Q2008 1,951 4,017 1,89 3,995 4,076 2,142 RBF soft-rbf Cloud-RBF soft-cloud-rbf dopredná UNS r t = f(u t-1, W t-1, r t-1 ) MSE TRAIN 0,217477 0,15163 0,213419 0,15163 0,141536 0,048608 MSE VAL 0,07501 0,193902 0,072883 0,193901 0,191577 0,1291521 r 1Q2008 2,731 4,092 2,597 3,985 4,109 4,511 Tab. č. 3.1: Charakteristika presnosti ednotlivých typov modelov inflácie r t meraných pomocou MSE 4 Porovnanie inflačných hypotéz Vývo inflácie sme modelovali pomocou piatich ekonomických hypotéz (3.1) až (3.5). K napresneším prognózam sme sa dopracovali, keď sme vychádzali z hypotézy, ktorá definue závislosť inflácie od miery nezamestnanosti, priemerných miezd a hodnoty inflácie v predchádzaúcom období model (3.5).
Nasleduúca tabuľka 3.2 vznikla porovnaním teto hypotézy s ostatnými použitými ekonomickými hypotézami. Pri každe hypotéze e uvedená chyba MSE VAL, metódy, vďaka ktore sme sa dopracovali k dane hodnote a prognózovaná hodnota inflácie na prvý štvrťrok 2008. r t = f(u t-1 ) r t = f(w t-1 ) r t = f(r t-1 ) r t = f(u t-1, W t- 1) r t = f(u t-1, W t-1, r t-1 ) MSE VAL 0,173661 0,123717 0,083312 0,127905 0,072883 použitá metóda UNS Cloud-RBF UNS cloud-rbf cloud-rbf r 1Q2008 3,736 2,139 3,691 1,89 2,597 Tabuľka 3.2. Porovnanie inflačných hypotéz Presnosť prognóz na základe hypotézy o funkčnom vzťahu r t = f(u t-1, W t-1, r t-1 ) e vyššia ako presnosť dosiahnutá pri zvyšných hypotézach. Prognózovaná hodnota inflácie na prvý štvrťrok roku 2008 podľa modelu založeného na teto hypotéze e 2,597 %. Na mieru inflácie pôsobia mzdy rozdielnou intenzitou ako e nezamestnanosť. Z výsledkov modelovania hypotéz r t = f(u t-1 ) a r t = f(w t-1 ) e vidieť (tab. 3.2), že pri prognózovaní pomocou hypotézy r t = (W t-1 ) boli odhadované hodnoty inflácie lepšie ako pomocou hypotézy r t = f(u t-1 ). Na základe toho sa dá usudzovať, že mzdy maú na mieru inflácie väčší vplyv ako nezamestnanosť. Ak sa pozrieme na vplyv hypotézy zotrvačnosti inflácie r t = f(r t-1 ), môžeme povedať, že hodnota inflácie v predchádzaúcom období má na infláciu v súčasnom období ešte väčší vplyv ako výška miezd v predchádzaúcom období. Toto tvrdenie e potvrdené a pomocou regresne analýzy. Pomocou regresie sme na základe hypotézy r t = f(u t-1, W t-1, r t-1 ) kvantifikovali model v tvare (3.5). V modeli sa potvrdila významnosť zotrvačnosti inflácie, zatiaľ čo vplyv parametrov W t-1 a U t-1 e nevýznamný. Ekonomika Slovenske republiky prešla od roku 1993 výrazným rozvoom, ktorý vplýval na vývo cien. V prvých mesiacoch vzniku SR miera inflácie dosahovala dvociferné hodnoty, v roku 1996 sa ustálila okolo hodnoty 5,5 %. V rokoch 1999 a 2000 nastal vysoký rast inflácie spôsobený ozdravnými opatreniami. Po roku 2000 inflácia začala postupne klesať. Vývo cien v SR bol za minulé obdobia veľmi neštandardný. Údae, ktoré sa použiú na kvantifikáciu modelu veľkou mierou ovplyvňuú eho modelovacie schopnosti. Doteraz sme na modelovanie inflácie používali údae z rokov 1994. Ak budeme kvantifikovať model (3.5) na iných, vekovo mladších množinách dát, získame iné výsledky presností aproximácie a predikcie vývoa inflácie. Tieto hodnoty sú uvedené v tabuľke 3.3. Model bol kvantifikovaný pomocou vekovo mladších údaov.
Množiny dát 1994-1996 - 1998-2000 - 2002 - MSE TRAIN 0,217477 0,19299 0,247539 0,254352 0,254952 MSE VAL 0,07501 0,07634 0,063469 0,036225 0,030382 r 1Q2008 2,739 2,557 2,525 2,878 2,937 Tabuľka 3.3: Modelovanie vzťahu r t = f(u t-1, W t-1, r t-1 ) založenom na cloud-rbf sieti kvantifikovaného na rôznych množinách dát Prognostická schopnosť modelov sa pri vynechaní starších údaov zlepšue. Treba však poznamenať, že pri menše množine vstupných dát sa zmenší i validačná množina a presnosť modelu e vtedy hodnotená na menšom počte údaov. Voľba správne množiny pozorovaní e veľmi podstatná. 5 Vyhodnotenie presnosti modelov inflácie založených na RBF sieťach Pri porovnávaní ednotlivých typov RBF sietí, dopredne UNS a použitého ekonometrického modelu vychádzame z tab. 3.1 až tab. 3.3. Pri modelovaní závislosti r t = f(u t-1 ) a r t = f(w t-1 ) hodnoty MSE pre predikciu indikuú vysokú nepresnosť prognóz. Modely neurónových sietí mali pri týchto hypotézach ednoznačne lepšiu presnosť. Pri modelovaní zvyšných hypotéz boli chyby MSE VAL dosiahnuté metódou namenších štvorcov porovnateľné s chybami UNS. Avšak chyby MSE TRAIN boli takmer vo všetkých prípadoch nižšie ako chyby UNS. Regresnou analýzou sme teda dosiahli dobré výsledky pri aproximácií, ale tieto modely nie sú vhodné na účely prognózovania. Chyby dosiahnuté použitím hypotézy r t = f(u t-1 ) sú oproti ostatným hypotézam vyššie, preto nebudeme výsledkom získaným na základe teto hypotézy prikladať dôležitosť a ďalšie porovnania robíme len na základe modelov (3.2) až (3.5). Ak analýzou chýb porovnáme RBF siete a cloud-rbf siete. Pri cloud-rbf sú chyby MSE TRAIN a MSE VAL o málo nižšie. Je to spôsobené mierou entropie cloud-gaussových aktivačných funkcií použitých v cloud-rbf sieťach. Cloud-koncept zohľadňue určitú náhodnosť, a teda chyby výpočtu siete sú raz väčšie a raz menšie chyby MSE v priebehu učenia siete osciluú. Na nasleduúcich obrázkoch 3.1 a 3.2 e zobrazený priebeh vývoa hodnôt chýb počas učenia soft-rbf a cloud-rbf sietí na základe hypotézy r t = f(u t-1, W t-1, R t-1 ). Grafy priebehov chýb sietí v závislosti od voľby priemerne vzdialenosti prekrývania dát sú uvedené v dodatku. Z grafov na obrázkoch 3.1, 3.2 e vidieť, že chyba sa postupne so zvyšovaním epoch učenia siete ustaľue. Ustálenú hodnotu sme brali ako východiskovú pre určovanie presnosti modelu. Na niektorých grafoch e možné pozorovať že hodnota MSE VAL po určitom klesaní začne rásť nastáva preučenie siete. Za východiskovú hodnotu sme v tomto prípade považovali hodnotu pred preučením siete. Na nasleduúcom obrázku 3.3 e grafické porovnanie skutočných hodnôt inflácie s prognózami ex-post získanými pomocou ekonometrického modelu a RBF umele neurónove siete.
Obrázok 3.1: Vývo chýb MSE TRAIN a MSE VAL pri modelovaní pomocou soft-rbf siete MSE TRAIN MSE VAL Obrázok 3.2: Vývo chýb MSE TRAIN a MSE VAL pri modelovaní pomocou cloud-rbf siete MSE TRAIN MSE VAL 6 Záver Cieľom príspevku bolo modelovanie cenove inflácie v podmienkach ekonomiky Slovenske republiky. Vychádzali sme pritom z ekonomicke teórie, podľa ktore e inflácia závislá od miezd a nezamestnanosti. Na tvorbu prediktorov sme použili RBF umelé neurónové siete a porovnávali sme ich s klasickými doprednými UNS a bežne používanou ekonometrickou regresnou analýzou založenou na metóde namenších štvorcov.
Obrázok 3.3: Porovnanie skutočných hodnôt inflácie s prognózami ex-post Pri RBF neurónových sieťach sme skúmali a vlastností ich modifikácií soft-rbf, cloud- RBF a ich vzáomnú kombináciu soft-cloud-rbf. Pri soft-rbf koncepte bola síce dosiahnutá chybovosť na aproximačne množine menšia, ale na validačne množine sieť disponovala lepšou presnosťou ako klasická RBF sieť. Cloud-RBF sieť dávala výsledky porovnateľné s výsledkami klasicke RBF siete. Výpočty cloud-rbf sietí sa totiž pohybovali okolo výpočtov dosiahnutých pomocou RBF sietí, s tým, že niekedy boli lepšie a niekedy horšie spôsobila to náhodnosť zakomponovaná v cloud-koncepte aktivačných Gaussových funkcií RBF neurónov. Vykonané experimenty potvrdili, že RBF neurónové siete sú vhodným nástroom pre predpovedanie vývoa ekonomických veličín a sú porovnateľné s klasickými ekonometrickými metódami. Nevýhodou neurónových sietí e však fakt, že v sieťach e proces transformácie vstupov siete na výstup komplikovaneší ako pri ekonomických modelov a siete nepodávaú priamu ekonomickú interpretáciu modelovaných procesov. A napriek teto nevýhode ponúkaú neurónové siete veľmi dobré možnosti modelovania ekonomických procesov. Poďakovanie: Príspevok bol napísaný za podpory Grantove agentúry Slovenske republiky VEGA pod číslom proektu 1/0024/08 a grantovou agentúrou Česke republiky GAČR č. proektu 402/08/0022. Literatura [1] MARČEK, D. MARČEK, M. 2006. Neurónové siete a ich aplikácie. Žilina: EDIS vydavateľstvo ŽU, 2006 [2] MARČEK, D. 1999. Ekonometria, základy, postupy, aplikačné príklady. Žilina: ES ŽU, 1999 [3] MARČEK, M. PANČÍKOVÁ, L. MARČEK, D. 2008. Ekonometria a soft computing. Žilina: EDIS vydavateľstvo ŽU, 2008 [4] VORČÁK, A.: Algoritmy a prediktory ekonomických veličín s využitím ekonometrických metód a RBF funkcií. Diplomová práca FRI ŽU, má 2008
Summary An aim was to make a predictor for modeling and forecasting of financial processes based on RBF artificial neural networks and econometric methods. The paper deals with econometric methods, forecasting and artificial neural networks. Accuracy of modeling based on RBF neural networks is compared to accuracy of modeling based on usual neural networks and econometric methods. Dodatok Závislosť chýb RBF siete od voľby priemerne vzdialenosti prekrývania dát (násobku šírky (štandardne odchýlky) RBF neurónu testovaná na vzťahu r t = f(u t-1, W t-1, r t-1 )). Násobok šírky RBF neurónu = 2: MSE TRAIN MSE VAL. Epocha 1 2 3. 20 21 22... 38 39 40 MSE TRAIN 3,9434 3,2842 2,7441 0,371 0,3556 0,3429 0,2834 0,2826 0,2820 MSE VAL 1,65 1,2936 0,9948 0,1074 0,1132 0,1191 0,1767 0,1778 0,1786 Násobok šírky RBF neurónu = 5: MSE TRAIN MSE VAL
. Epocha 1 2 3... 20 21 22. 38 39 40 MSE TRAIN 2,9228 1,3651 0,7866 1,1882 1,185 1,1729 0,3598 0,3579 0,3559 MSE VAL 0,514 0,3691 0,575 0,2202 0,2201 0,22 1,0565 1,0496 1,0428