UNIVERZITA KONŠTANTÍNA FILOZOFA V NITRE NEURÓNOVÉ SIETE A MODELOVANIE CHEMICKÝCH PROCESOV

Prepis

1 UNIVERZITA KONŠTANTÍNA FILOZOFA V NITRE FAKULTA PRÍRODNÝCH VIED NEURÓNOVÉ SIETE A MODELOVANIE CHEMICKÝCH PROCESOV BAKALÁRSKA PRÁCA 2010 Peter Bujalko

2 UNIVERZITA KONŠTANTÍNA FILOZOFA V NITRE FAKULTA PRÍRODNÝCH VIED NEURÓNOVÉ SIETE A MODELOVANIE CHEMICKÝCH PROCESOV BAKALÁRSKA PRÁCA Študijný program: Aplikovaná informatika Školiace pracovisko: Katedra informatiky Školiteľ: prof. RNDr. Tibor Kmeť, CSc. Nitra 2010 Peter Bujalko

3 ABSTRAKT BUJALKO, Peter: Neurónové siete a modelovanie chemických procesov. [Bakalárska práca]. Univerzita Konštantína Filozofa v Nitre. Fakulta prírodných vied. Školiteľ: prof. RNDr. Tibor Kmeť, CSc. Stupeň odbornej kvalifikácie: Bakalár. Nitra : FPV, (40) Táto práca sa zaoberá stručným popisom neurónových sietí a ich využitím v praxi. Spomenutá je inšpirácia z biológie, podobnosti medzi biologickými a umelými neurónovými sieťami, história a ich vývoj. Taktiež sa spomínajú metódy učenia. Popisuje sa základná stavebná jednotka neurónových sietí neurón a rôzne typy sietí, ich stavba, fungovanie a oblasti použitia. Ako sa spomína v názve práce, praktické využitie je zamerané na modelovanie chemických procesov, presnejšie na modelovanie druhej fázy destilácie alkoholu. Podstatou tejto práce je ukázať že neurónové siete môžu byť efektívne modelovacie nástroje. Kľúčové slová: Neurónové siete. Neuroveda. Modelovanie. Destilácia. Spätné šírenie chyby

4 ABSTRACT (v anglickom jazyku) BUJALKO, Peter: Neural networks and chemical processes modeling. [Bachelor Thesis]. Constantine the Philosopher University in Nitra. Faculty of Natural Sciences. Supervisor: prof. RNDr. Tibor Kmeť, CSc. Degree of Qualification: Bachelor. Nitra : FNS, (40) This work deals with a brief description of neural networks and their use in practice. There is mentioned the inspiration from biology, the similarities between biological and artificial neural networks, their history and development. There are also mentioned methods of learning. It describes the basic building unit of neural networks the neuron and different types of neural networks, their structure, function and application areas. As mentioned in the title, the practical application focuses on modeling of chemical processes, more accurate modeling of the second phase of alcohol distillation. The essence of this work is to show that neural networks can be efficiently modeling tools. Keywords: Neural Networks. Neuroscience. Modeling. Backpropagation

5 OBSAH Úvod Základné poznatky z teórie neurónových sietí Inšpirácia z biológie História neurónových sietí Stavba formálneho neurónu Neurónové siete Učenie neurónových sietí Destilácia Modelovanie Použitie neurónových sietí pri modelovaní MATLAB Popis použitej neurónovej site Záver Zoznam použitej literatúry Zoznam príloh... 40

6 Úvod Neurónové siete sa ukázali pri riešení viacerých úloh vhodnejšími ako tradičné algoritmické systémy. Takýmito úlohamy sú rôzne rozpoznávacie úlohy od rozpoznania jednoduchého tlačeného písma a číslic až po ovela zložitejšie rozpoznanie rukopisu, obrazov a rôznych tvarov. Rozpoznávacie úlohy sa v prírode živočíchy s dostatočne vyvinutým nervovým systémom učia podla vzorov. Rozpoznanie tváre pre človeka nie je ničím zložitým napriek tomu, že je ťažké povedať akým spôsobom túto činnosť vykonávajú. Je zložité pomenovať tie znaky podľa, ktorých sa daná tvár dá určite alebo aspon veľkou pravdepodobnosťou rozpoznať. Práve preto je ťažké nájsť také algoritmické riešenie ktoré by túto úlohu riešilo rovnakou úspešnosťou ako človek. Neurónové siete sa vyznačujú paralelným spracovaním a schopnosťou učiť sa. Tieto dva znaky ich značne odlišujú od bežných výpočtových systémov. Navyše pri riešení úloh, ktoré zatial nemajú efektívne algoritmické riešenie dosahujú dobré výsledky. Okrem rozpoznávacích úloh sa stretávame aj s viacerími úlohami na ktoré zatial neexistuje algoritmické riešenie, alebo ak aj takéto riešenie existuje je natolko zložité alebo obsahuje toľko operácií že sa nedá riešiť v reálnom čase ani na dnes najvýkonnejších počitačoch. Pri takýchto úlohách akými sú napríklad predpovedanie správania sa ekonomických a finančných ukazovatelov, pochádza problém z faktu že nemáme k dispozícií dostatočné množstvo informácií na algoritmické riešenie problému. Na riešenie takéhoto problému by sme potrebovali poznať všetky ekonomické zákonitosti, ktorými sa daný systém riadi. Ďalej by bolo potrebné poznať všetky momentálne stavy procesov v systéme a všetky dôležité pôsobenia na systém. O takýchto úlohách máme znalosti aj vo fome údajov, ktoré ak vieme správne použiť nás dovedú k nejakému výsledku úlohy. Daný problém môže mať vždy konečný počet údajov. Neurónové siete sú schopné z takýchto údajov zýskať všeobecnú znalosť systému a dať správnu odpoveď aj na situácie, ktoré sa v daných údajoch nenachádzali. To znamená že aj z neúplných alebo nepresných údajov sa dá zýskať istá znalosť systému, aj keď táto znalosť nám neumožní dokonalé riešenie úlohy, ale dostaneme dostatočne správny výsledok. Pri inej skupine úloh máme dostatočné znalosti aj algoritmické riešenie. Takéto úlohy sú úlohy exponenciálnej zložitosti alebo zložitosti NP. Pri riešení takýchto úloh sa uspokojíme aj s dostatočnou odpoveďou. Medzi takéto problémi patria napríklad kombinatorické alebo optimalizačné úlohy. Neurónové siete je možné použiť na riešenie 6

7 optimalizačných úloh, kde optimálnosť riešenia nie je garantovaná ale pravdepodobnosť na dosiahnutie výsledku veľmi blízkeho k optimálnemu je vysoká. Jednou z dôležitých vlastností je paralelná štrukúra a paralelné fungovanie. Táto paralelná štruktúra a fungovanie zabezpečujú vysoký výkon neurónových sietí. Tento výkon sa dá zvýšiť implementáciou neurónovej siete na hardware, ktorý podporuje paralelné spracovanie informácií. Vďaka paralelnej štruktúre, ktorá zapríčiňuje istú redundanciu je zaistena odolnosť voči chybám. Je známe že ak sa ľudský mozog do istej miery poškodí pri nehode alebo chorobe, neznamená to stratu schopností za ktoré dané oblasti zodpovedali. Iné časti mozgu prevezmú úlohu poškodených oblastí. Ďalšou dôležitou vlastnosťou je schopnosť adaptácie k meniacemu sa okoliu. Neurónové siete sú teda vhodné na riešenie úloh, ktoré sa nedajú alebo sa dajú len veľmi ťažko riešit klasickými algoritmickými metódami. Dokonca ktoré sa nedajú riešiť ani metódami klasickej umelej inteligencie. 7

8 1. Základné poznatky z teórie neurónových sietí 1.1 Inšpirácia z biológie Inšpiráciou pre výskum neurónových sietí je biológia. Presnejšie výskum nervového systému a spôsob ako spracuje informácie. Umelé neurónové siete označil J. W. Clark a spoluautori mozog bez mysle (angl. brain without mind (Clark, 1985)), keďže sa nezaoberajú psychikou les spôsobom spracovania informácií (Kvasnička, 1997).. Obr. 1.1 Anatómia mozgu, pohľad z pravej hemisféry. Znázornené je topologické členenie motorickej kôry (Kvasnička, 1997). 8

9 Nervový systém sa skladá z veľkého počtu nervových buniek a delí sa na centrálny nervový systém sem patrí mozog, miecha a periférny nervový systém takzvané gangliá. Informácie o okolitom svete dostáva centrálny nervový systém zo senzorických nervových buniek, ktoré vnímajú okolitý svet. Tieto spracuje a v prípade že treba okolie ovplyvniť pošle signál nervovým bunkám ktoré riadia svalstvo. Spracovanie jednotlivých úloh majú na starosti rôzne časti mozgu. Mozgový kmeň, ktorý sa ďalej skladá z rôznych častí má na starosti vnímanie bolesti, teploty, motoriku a vegetatívne reflexi akými sú frekvencia srdca, dýchanie, koncentrácia iónov v krvi, rovnováha, pohyb očí a rozširovanie a zužovanie zreníc. Časť ovplyvňujúca emócie sa nazýva limbický systém. Jednou jeho časťou je hippocampus, ktorá má zrejme ulohu vo fyziológii pamäti. V evolúcií človeka má významnú rolu mozgová kôra, práve v nej je najväčší rozdiel medzi človekom a k nemu vývinovo najbližšími opicami. Tvoria ju brázdy a vyvýšeniny. Aby sme si mohli priblížiť, aké funkcie musí nervový systém zabezpečiť, predstavme si, čo musí vykonať, keď chceme prejsť cez frekventovanú ulicu. Aby sme mohli stáť na dvoch končatinách s telom vzpriameným (a teda s ťažiskom vysoko od zeme, v pomerne labilnej polohe), musí nervový systém spracovať informáciu z vestibulárneho orgánu, registrujúceho vplyv gravitácie a zrýchlenie nášho tela v niektorom z troch na seba kolmých smeroch (vestibulárny orgán je uložený v blízkosti vnútorného ucha). Ten je komplikovanou neurónovou sieťou spojený s nervovými bunkami, stimulujúcimi kontrakcie istých svalov (tzv. Posturálne, postojové svalstvo). Primeraná kontrakcia jednotlivých posturálnych svalov udržuje človeka vo vzpriamenej polohe. Ide však o stále sa meniaci proces, rozsah ich kontrakcie totiž závisí od konkrétnej situácie: na ako naklonenom, ako mäkkom a ako pohyblivom povrchu stojíme, odkiaľ a ako silno fúka vietor, čo nesieme v rukách a podobne. Naše oči sledujú ulicu, zatiaľ čo ich oslepuje letné slnko. Informácia o svetelnej intenzite sa tvorí už v oku, ďalej sa spracuje v aferentnej zrakovej dráhe a pomocou ústredí v mozgovom kmeni sa určí, aký má byť prierez zreničky. Jej ovplyvnenie sa deje cestou príslušných eferentných dráh. Zrenička sa potom ako clona na fotoaparáte pri silnom svetle zužuje. Tým zabezpečí primeranú svetelnú intenzitu na spracovanie obrazu sietnicou2 (na tomto mechanizme sa zúčastňuje aj samotná sietnica). Iné centrá v mozgovom kmeni riadia natočenie očných gúľ tak, aby pozerali na ten istý bod (konvergencia). Tak sa môžu obrazy premietnuté na sietnice oboch očí zložiť v zrakovej kôre dohromady, čím na základe ich disparity (t.j. malého posunu medzi 9

10 obrazom v pravom a ľavom oku) môže vzniknúť hĺbka obrazu (jeho trojdimenzionálnosť). Našu vzdialenosť od objektov v zornom poli odhaduje nervový systém aj porovnaním veľkosti obrazu so skúsenosťou (vyžaduje to analýzu celej situácie). Aby sme preorientovali svoj pohľad na iný objekt, je potrebné natočiť očné gule príslušným smerom a upraviť aj ich konvergenciu podľa vzdialenosti objektu od nás. Zrak má okrem toho schopnosť autonómne kompenzovať pohyby hlavy komplexom zložitých reflexov. Pasívne pohyby hlavou sú registrované vestibulárnym aparátom, ktorý potom ovplyvňuje centrá otáčajúce očné gule opačným smerom, ako sa pohybuje hlava. Podobne, ak sa pohybuje obraz dopadajúci na sietnicu (čo sa v našom prípade naozaj deje autá sa pomerne veľkou rýchlosťou približujú a vzďaľujú), očné gule tento pohyb dokážu kompenzovať. Reflexný oblúk je v tomto prípade ešte zložitejší. Zvyčajne nastávajú všetky tieto procesy súčasne, takže dochádza k ich komplexnej superpozícii. Náš sluch registruje hluk ulice. Je v ňom zvuk motora štartujúceho motocykla z blízkeho parkoviska, krik dieťaťa ťahajúceho mamu na opačnej strane cesty k hračkárstvu, brechot psa kdesi zďaleka, slová priateľky popisujúcej zážitky z práce a hluk motorov prechádzajúcich áut. Sluch vníma len jedno spektrum, vzniknuté zložením všetkých týchto zvukov. Napriek tomu vieme veľmi ľahko tieto zvuky odlíšiť, prisúdiť im miesto, odkiaľ prichádzajú, hlasitosť, výšku a farbu. Rozumieme tomu, čo naša priateľka hovorí, zvuky motorov nám pomáhajú odhadnúť, kedy možno prejsť cez cestu. Na to je potrebné, aby náš sluch vyhodnotil spektrum sluchového podnetu, intenzitné a časové charakteristiky (aj vzájomný vzťah týchto parametrov medzi jedným a druhým uchom). Tieto sa musia porovnať so zvukmi uloženými v pamäti. Nervový systém je súčasne nútený riadiť vnútorné prostredie organizmu t.j. parametre ako teplota tela, krvný tlak, frekvencia srdca, dýchania, koncentrácia rôznych látok v krvi. Syntézou všetkých podnetov, ktoré pôsobia na naše zmysly, si vytvárame akýsi vnútorný obraz o premávke na ulici a vnímame aj slová priateľky. Vnímame zmeny veľkosti obrazu áut na našej sietnici, vnímame zmeny ich polohy, zmeny zvuku ich motorov. Situácia v druhom jazdnom smere zatiaľ zostáva v pamäti, dokonca sa podľa odhadu aktualizuje. V momente, keď vypočítame časovú medzeru na prechod ulicou, spustí náš nervový systém natrénovanú sekvenciu procesov v mieche, vedúcich veľmi komplikovaným spôsobom k chôdzi. Dochádza k aktivácii obrovského množstva motorických jednotiek (základných funkčných zložiek svalu) v rôznych svaloch v istej časovej sekvencii. Svaly umožňujúce opačné pohyby však musia relaxovať. Začatý pohyb zmení polohu ťažiska. To zas vedie k reflexnej zmene tonusu 10

11 posturálneho svalstva. Náš pohyb musí byť pri odhade premávky vzatý do úvahy. Cielene presúvame ťažisko z jednej nohy na druhú, kráčame. Všetko toto v zlomkoch sekundy. Náhle zahliadneme rýchlo sa blížiace červené auto. Prudko zastavíme. Bleskovo prebehne sekvencia kontrakcií svalov zabezpečujúca rýchle zastavenie aj udržanie rovnováhy. Všetky tieto procesy (a enormné množstvo ďalších) prebiehajú v našom organizme každý zlomok sekundy, a všetky sú ovládané nervovým systémom. Konštrukcia robota, vykonávajúceho tieto činnosti naraz (napriek skutočnosti, že k tomu nie je nevyhnutnou podmienkou existencia vedomia), zostáva v nedohľadne (Kvasnička, 1997). Neurón Nervový systém sa skladá z veľkého množstva nervových buniek neurónov práve tie zabezpečujú prenos informácií vo forme zmeny membránového potenciálu. Tak ako aj iné bunky v tele aj neuróny sú ohraničené bunkovou membránou. Cez túto membránu môžu preniknúť len niektoré molekuly. Neuróny prenášajú informácie pomocou elektrických signálov. Ktoré sa tvoria preskupením kladných a záporných iónov sodíka Na +, draslíka K +, kalcia Ca 2+ a chloridu Cl - (Rojas, 1996). Veľkosť elektrického náboja týchto iónov je rôzna preto nedokážu prechádzať všetky rovnakými iónovými kanálmi. Iónové kanály sa dujú rozdeliť podla toho akým spôsobom sa aktivujú. leakage kanály (za normálnych okolností otvorené kanály, cez ktoré aj v pokojových podmienkach prechádzajú ióny v závislosti od koncentračného a elektrického gradientu); napätím ovládané kanály (angl. Voltage-operated alebo nazývané aj voltage-gated, otvárajúce sa pri istej hodnote membránového potenciálu). Majú rozhodujúcu funkciu pri šírení zmien elektrického potenciálu pozdĺž bunkovej membrány; receptorom ovládané kanály (angl. Receptor-operated, otvárajúce sa pri naviazaní istej látky tzv. Ligandu na receptor; nazývajú sa aj ligand-gated). Ligand zapadá do príslušnej časti receptorovej molekuly ako ruka do rukavice. Podobne ako rukavica sa aj molekula receptora (zvyčajne tvoria podjednotku kanálu) prispôsobí ligandu. To vyvolá zmenu priestorovej štruktúry celého kanálu. Rozšírením najužšieho miesta kanála (tzv. Brána) sa kanál stáva priechodným. Receptorom ovládané iónové kanály majú rozhodujúcu funkciu pri prenose elektrického vzruchu z jednej nervovej bunky na druhú; 11

12 mechanicky ovládané kanály (otvárajúce sa pri natiahnutí alebo stlačení okolitej membrány). Takéto kanály sú zodpovedné za premenu mechanickej energie na elektrickú aktivitu v zmyslových orgánoch (napr. vnútorné ucho); dvojito-otvárané kanály (angl. Double-gated). Takýmto kanálom je napr. NMDA3 receptorom ovládaný kalciový kanál. Na jeho otvorenie je potrebné jednak naviazanie istej molekuly (neuromediátora glutamát) na jeho receptorovú časť, jednak istá depolarizácia okolitej membrány. Ide teda o kombináciu receptorom a napätím ovládaného kanála(kvasnička, 1997). obr. 1.2 Nervová bunka (neurón). V spodnej časti obrázku je pre orientáciu znázornená mierka. Tvar neuróonu je značne variabilný, na rôznych miestach v nervovom systéme sa nachádzajú bunky veľmi rozdielneho tvaru (Kvasnička, 1997). Neurón sa skladá z tela bunky (lat. soma), z dendritov a z jedného axónu. Cez dendrity neurón signály príjma a cez axón ich posiela ďalej. Funkčné spojenia neuróny vytvárajú v tesnom kontakte axónu jedného neurónu a membrány druhého neurónu. Takéto spojenia nazývame synapsy (lat. synapto tesne sa 12

13 objímať, tento pojem zaviedol Charles Sherrington) (Kvasnička, 1997). Synapsa sa skladá z troch častí membrány presynaptického terminálu, synaptickej štrbiny a postsynaptickej membrány. Synapsy môžeme rozdeliť na axo-dendrické, axo-somatické a axo-axonálne pričom tieto sú zriedkavé. Pri axo-dendrickom spojení je spojený axón jedného a dendrid druhého neurónu, pri axo-somatickom je axón spojený s telom neurónu nakoniec axoaxonálne spojenie je spojenie axónu s iným axónom. obr. 1.3 Typy spojení nervových buniek (Kvasnička, 1997). 1.2 História neurónových sietí Základná myšlienka že na základe biologických neurónových sietí sa dajú skonštruovať výpočtové systémy vznikla v polovici minulého storočia na základe výsledkov výskumu nervovej bunky, prvého modelu neurónu, ktorý skonštruovali Warren McCulloch a Walter Pitts, a podľa výskumu učenia Donalda Hebba (Hebb, 1949). Muselo 13

14 ale prejsť niekoľko rokov, kým sa objavil prvý umelý neurón a umelá neurónová sieť, ktorá ho používala ako základnú stavebnú jednotku. Zaujímavosť modelu nie je ani v jeho stavbe ale v postupe, ktorý umožňuje aby neurón vykonával požadovanú činnosť. Neurón si prispôsobí váhy tak aby pri zadaní daných vstupov dostal dané výstupy. Podľa tohoto jednoduchého modelu skonštruoval Frank Rosenblatt svoj Perceptrón, ktorý už bol schopný jednoduchých triediacich úloh (Rosenblatt, 1958). Prvé výsledky Rosenblatta čoskoro nasledoval Bernard Widrow a jeho Adaline, a k nemu súvisiaci Widrow-Hoff učiaci algoritmus (Widrow, 2000). Samostatný neurón neskôr rozšírili na siete skladajúce sa z neurónov, ktoré dokázali riešiť aj zložitejšie úlohy. Začiatočný sľubný rozvoj neurónových sietí sa čoskoro zastavil, keď Marvin Minsky a Seymour Papert v knihe Perceptrons, poukázali na fakt že perceptrón je schopný riešiť len lineárne separovateľné úlohy, ktoré sú len úzkym okruhom riešených problémov (Minsky, 1969). To znamená že nie je schopný vyriešiť ani jednoduchú funkciu XOR. Minsky vo svojej knihe ukázal aj to že ak neuróny zoskupíme do viacerých vrstiev sú schopné riešiť aj lineárne neseparovateľné úlohy, v tej dobe však nenašli učiaci algoritmus pre viacvrstvovú neurónovú sieť. Minsky predpokladal že takýto algoritmus ani neexistuje. Tento nedostatok neurónových sietí a prestíž kritika (Marvin Minsky bol profesorom na MIT) zapríčinili že záujem o tento odbor značne poklesol, takmer zanikol. Výskum v danej oblasti sa takmer zastavil. Trvalo takmer dvadsať rokov aby sa záujem o neurónové siete obnovil. Záujem obnovil fakt že zopár ľudí pokračovalo s výskumom sietí a dosiahli také výsledky, ktoré upriamili pozornosť odbornej verejnosti na neurónové siete. Najdôležitejšou udalosťou pri obnove záujmu bola publikácia Hopfieldovej siete, ktorá ukázala že relatívne jednoduchá sieť je vhodná na riešenie optimalizačných úloh aj NP úplných (Hopfield, 1982). Ďalším významným objavom bol algoritmus spätného šírenia chýb (back-propagation), ktorý sa ukázal ako efektívny pri učení viacvrstvový neurónových sietí a vyvrátil Minského predpoklad. Tento algoritmus publikovali v roku 1986 David Rumelhart, Geoffrey Hilton, Ronald, Williams a hneď aj predviedli jeho efektívnosť (Rumelhart, 1986). Neskôr vysvitlo že tento algoritmus už skonštruovali viackrát ale z rôznych príčin nikdy nevzbudil takúto pozornosť. Od druhej polovice 80-tych rokov minulého storočia sa výskum neurónových sietí teší veľkej obľube. V dôsledku oživenia výskumu tejto oblasti vychádzalo a aj vychádza čoraz viac článkov a kníh zaoberajúcich sa teoretickými aj praktickými otázkami. 14

15 Každoročne sa uskutočňuje čoraz viac konferencií na túto tému. Ukázali sa však aj nežiadúce javy veľkého záujmu. Neurónové siete sú často predstavované ako univerzálne nástroje na všetky typy úloh a používajú ich alebo odporúčajú ich použitie aj v prípadoch keď by boli tradičné metódy účinnejšie. Medzi oblasťami použitia sú také kde majú neurónové siete značnú výhodu. Tieto sú v prvom rade také, kde iné algoritmické riešenie neviedlo k výsledkom, alebo sa nepodarilo zatiaľ nájsť algoritmické riešenie, alebo sa ukázalo takéto riešenie ako príliš zložité a tak je treba nájsť iné jednoduchšie, rýchlejšie riešenie. Takýmito úlohami sú už spomínané rozpoznávacie alebo optimalizačné úlohy. Ďalšou dôležitou oblasťou použitie je analýza nelineárnych systémov a ich riadenie kde na rozdiel od lineárnych systémov nebola dokázaná výhoda algoritmického riešenia. Vedná oblasť neurónových sietí sa stále vyvíja. Dôsledkom výskumov sa potvrdilo nie len že sú neurónové siete užitočné pri riešení komplexných úloh ale sformulovali sa aj rôzne teoretické základy. Je dokázané že neurónová sieť určitej konštrukcie je schopná aproximovať ľubovolnú nelineárnu funkciu. Takže neurónová sieť sa dá pokladať za univerzálny aproximačný nástroj. Vďaka tejto vlastnosti môžu byť neurónové siete použité na modelovanie nelineárnych statických aj dynamických systémov. Taktiež je dokázané že pri použití vhodného učiaceho algoritmu, sieť danej štruktúry je schopná nájsť súvislosti v dátach a dostať z nich skryté znalosti, teda sa dá používať ako nástroj pri dolovaní dát (data mining). Neurónové siete taktiež prispeli k rozvoju strojového učenia. Teoretické výsledky v prvom rade pomáhajú pochopiť fungovanie sietí, objasňujú ich hranice, možnosti, umožňujú dizajn nových architektúr a vo veľkej miere pomáhajú praktickému využitiu. Výskum neurónových sietí je často spojený s výskumom iných oblastí. Takéto oblasti sú adaptívne systémy, keďže aj neurónové siete majú istú adaptívnu funkciu. Paralelné spracovanie informácií je ďalšou takouto oblasťou, ako sme si už povedali neurónové siete spracovávajú údaje paralelne. Nakoniec je tu biologický výskum s ktorým sú neurónové siete úzko spojené, v prvom rade s výskumom mozgu a nervového systému, keďže ich výskum je a bol inšpirovaný práve nimi. Napriek pokrokom v oblasti zostáva ešte veľa otázok nezodpovedaných. Intenzívny výskum však určite prinesie odpoveď na ne a bližšie určí úlohy kde je výhodné použiť neurónové siete. 15

16 1.3 Stavba formálneho neurónu a jeho funkcia Formálny zápis neurónu býva často len zjednodušený model, keďže biologický neurón je príliš komplikovaný a stále sú ešte nezodpovedané otázky pri jeho fungovaní. Umelý neurón má niekoľko vstupov a jeden výstup. Medzi vstupmi a výstupom vykonáva aktivačnú funkciu. Každému vstupu je priradená váha, ktorá sa mení počas procesu učenia. Vstupná hodnota funkcie je suma súčinov vstupov a váh. obr. 1.4 Formálny neurón Neurónová sieť sa skladá zo základných procesných jednotiek neurónov. Tieto majú zväčša usporiadanú topológiu. Nech ide o synchrónnu sieť, ktorá obsahuje K vrstiev po N formálnych neurónoch. Nech O k j je výstup z jteho formálneho neurónu v k-tej vrstve W k ij je váha spojenia medzi j-tym neurónom k-tej vrstvy a i-tym neurónom k+1-vej vrstvy. Potom výstup i-teho formálneho neurónu k+1-vej vrstvy je daný vzťahom oi k 1 f N W j 1 k ij o k j k 1 i Pričom ϑ predstavuje prah excitácie a f(x) je vstupno výstupná aktivačná funkcia(kvasnička, 1997). Príklady aktivačných funkcií f ( x) y : 16

17 obr. 1.5 skoková funkcia skoková funkcia y x obr. 1.6 lineárna funkcia lineárna funkcia 1 y 1 e x logistická funkcia obr. 1.7 logistická funkcia 17

18 y e x 1 hyperbolický tangens obr. 1.8 hyperbolický tangens 1.4 Neurónové siete Neurónová sieť sa skladá zo základných procesných jednotiek neurónov. Tieto majú zväčša usporiadanú topológiu. Fungovanie neurónových sietí môžeme rozdeliť na dve fázy. V prvej učiacej fáze sa sieť naučí prispôsobí si váhy tak aby zadaným vstupom priradila očakávané výstupy. Až v druhej fáze zadávame údaje, ktoré chceme spracovať. Učiaca fáza je väčšinou zdĺhavá obsahuje veľký počet iterácií. V druhej fáze sa údaje spracujú už rýchlo. Tieto fázy sú väčšinou časovo oddelené. Nemusí to však platiť vždy. V prípadoch keď musí sieť reagovať na meniace sa okolie, musí sa počas spracovania údajov učiť. Spojenia neurónových sietí zabezpečujú jednosmerný prenos údajov z výstupu jedného neurónu na vstup druhého. Jeden výstup môže byť spojený s viacerými vstupmi, všetky tieto vstupy potom dostávajú rovnakú informáciu. Výstupy nemôžu byť spojené. Pod pojmom topológia neurónovej siete rozumieme spôsob spojenia neurónov. Topológiu siete zobrazujeme pomocou orientovaného grafu, kde uzly predstavujú neuróny a hrany predstavujú spojenia medzi nimi. Neurónová sieť môže obsahovať tri druhy neurónov: 18

19 Vstupné neuróny, líšia sa od ostatných neurónov, majú jeden vstup a jeden výstup. Ich vstup je vstup do neurónovej siete a výstup slúži len na pohon iných neurónov. Informácie nijak nespracovávajú. Výstupné neuróny, ich výstupy odovzdávajú informácie okoliu. Skryté neuróny, vstupy aj výstupy majú spojené s inými neurónmi. Neuróny zvykneme zoskupovať do vrstiev, kde v každej vrstve sú rovnaké typy neurónov, dokonca majú rovnaké aj spojenia. Vstupy jednej vrstvy neurónov môžu byť vstupy pre celú neurónovú sieť, výstupy inej vrstvy zase výstupy celej neurónovej siete. Vrstvy neurónových sietí môžeme teda rozdeliť na tri druhy. Na vstupnú vrstvu (input layer), výstupnú vrstvu (output layer) a skrytú vrstvu (hidden layer). Vstupná vrstva sa skladá zo vstupných neurónov, jej jedinou úlohou je dostať vstupy do ďalšej vrstvy. Podľa toho môžeme povedať že neurónová sieť musí mať aspoň dve vrstvy, jednu vstupnú a jednu výstupnú. Medzi nimi môže byť ľubovolný počet skrytých vrstiev. V literatúre je počet vrstiev často odlišný, keďže niektorí autori do počtu vrstiev nezahrňujú vstupnú vrstvu, len výstupnú a skryté. Neurónové siete podľa spôsobu spojenia môžeme rozdeliť na dve hlavné skupiny, neurónové siete s dopredným šírením (feedforward neural networks) a rekurentné neurónové siete (recurrent neural networks). Ak orientovaný graf, ktorý zobrazuje neurónovú sieť obsahuje slučky môžeme hovoriť o rekurentnej neurónovej sieti, inak je sieť s dopredným šírením. Spätná väzba v rekurentných neurónových sietiach môže byť globálna alebo lokálna. Pri globálnej výstup siete je zároveň aj vstupom. Lokálnu spätnú väzbu môžeme ďalej rozdeliť na tri druhy. reccurent connection pri tomto spojení je výstup neurónu zároveň jeho vstupom 19

20 obr. 1.9 Výstupný signál neurónu je zároveň aj jeho vstupom lateral connection, intra-layer connection výstupy neurónov jednej vrstvy sú vstupy nerurónov tej istej vrstvy. obr Výstupný signál neurónu je vstupom neurónu tej istej vrstvy. inter-layer connection pri týchto spojeniach vznikajú na grafe uzly s viacerými vrstvami. obr Výstupný signál neurónu je vstupom neurónu predchádzajúcej vrstvy. Vlastnosti neurónových sietí závisia od vlastností jednotlivých neurónov, od hodnôt váh, od učiaceho algoritmu a od topológie neurónovej siete. Jednou z najdôležitejších úloh 20

21 neurónových sietí je že dokážu aproximovať ľubovolnú funkciu. Táto vlastnosť neurónových sietí nám umožňuje použiť ich ako univerzálny nástroj na triedenie a modelovanie. Triediaca a modelovacia schopnosť im dáva veľa možností využitia. Neurónové siete sa dajú využiť aj na riešenie niektorých optimalizačných uloh (Sinčák, 1996). Samoorganizujúce sa mapy ich autorom je Teuvo Kohonen, patria medzi neurónové siete, ktoré sa učia bez učiteľa. Učiaci algoritmus takýchto sietí nemá informáciu o tom aký by mal byť výstup siete. Hopfieldov model je inšpirovaný Insingovou magnetickou teóriou a Sherringtonovom-Kirkpatrickovom modeli spinového skla. Hopfieldova neurónová sieť sa zvykne volať aj autoasociačná. Patrí medzi celulárne automaty. obr Schéma Hopfieldovej neurónovje siete s dvojstavovými prvkami. Vstup a výstup siete je reprezentovaný konfiguráciou stavov všetkých prvkov. Výstup každého prvku pôsobí na všetky ostatné prvky cez synaptické váhy. Keď sieť naštartujeme z akejkoľvek počiatočnej kovfigurácie aktivity, a necháme ju dynamicky sa vyvíjať, skonverguje do jedného z bodových atraktorov v jej stavovom priestore (Kvasnička, 1997 ). 21

22 Výstup každeho neurónu pôsobý na vstupy ostatných neurónov. obr Ak x nadobudne hodnotu nula berie sa ako vstupná hodnota predchádzajúca (Sinčák 1996). 1.5 Učenie neurónových sietí Typickým znakom neurónových sietí je schopnosť adoptovať a učiť sa. Adaptácia a učenie sú pojmi, ktoré sú väčšinou spájané s biologickými organizmami. Svoje správanie vedia meniť pomocou informácií z prostredia. Presná definícia učenia je zložitá, keďže učením môžeme nazvať aj jednoduchú memorizáciu poznatkov. Podľa vzoru učenia živých organizmov, môžeme hovoriť aj o strojovom učení. Počas strojového učenia si stroj pomocou informácií z okolia zvyšuje výkonnosť. Konštrukcia učiacich sa strojov znamená vývoj takých algoritmov, pomocou ktorých sa takéto zvyšovanie výkonnosti uskutočňuje automaticky. Podobne ako pri živých organizmoch aj strojové učenie môže mať viacero podôb. Pri neurónových sietiach sa používa učenie podľa vzorov. Zmena správania je zameraná na to aby systém pri zadaní istých vstupov vrátil dopredu zadané požadované výsledky. Môže 22

23 však ísť aj o prípad keď výsledky nie sú dopredu známe a chceme aby bola sieť schopná nájsť medzi vstupmi nejaké podobnosti alebo rozdiely. Schopnosť učiť sa umožňuje aby sa doteraz bezchybne fungujúci systém adaptoval podľa meniacich sa okolností. Medzi základné špecifikácie adaptívnych systémov patrí že nemajú dopredu zadané, fixné schopnosti, ktoré by umožňovali riešenie danej úlohy. Svoje schopnosti si vedia vyvíjať a prispôsobovať sa k meniacim podmienkam okolia (Horváth, 2006). Učenie neurónových sietí môžeme rozdeliť dva hlavné druhy: 1. Učenie s učiteľom (supervised learning) 2. Učenie bez učiteľa (unsepervised learning) Učenie s učiteľom: pri tomto učení sú k dispozícií vstupné a príslušné výstupné hodnoty. Úlohou siete je naučiť sa pre zadané vstupy vypočítať súvisiace výstupy. Keďže sú hodnoty výstupov známe, vždy ich môžeme porovnať s výstupmi, ktoré vrátila sieť. Rozdiel medzi požadovaným výstupom a výstupom zo siete môžeme potom použiť na zníženie tejto odchýlky. Učenie s učiteľom je zvyčajne iteratívny proces kde postupne zadávame všetky vstupy kým odchýlka medzi požadovaným a vypočítaným výstupom nespĺňa presnosť. Učenie bez učiteľa: pri tomto type učenia nemáme k dispozícií dopredu známe výstupy. Sieť si musí pomocou vstupov a výstupov vytvoriť nejaké spávanie, z okolia však neprichádza žiadna odpoveď ohľadom správnosti jej fungovania. Neurónové siete s týmto typom učenia musia zistiť či sú medzi vstupnými dátami nejaké súvislosti, či sa dajú medzi nimi vytvoriť nejaké kategórie. Napriek tomu že sieť nevie presne aké výsledky má dosiahnuť dokáže sa meniť tak aby bolo kategorizovanie vstupov čo najlepšie. Kôli tejto vlastnosti sa im zvykne hovoriť sebaorganizovacie siete. Učenie bez učiteľa je tiež iteratívne. 23

24 2. Destilácia Destilácia je difúzny proces, ktorý sa využíva na delenie kvapalných zmesí na základe rozdielnych bodov varu v látok z ktorých sa zmes skladá. Pri destilácií kvasu sa vplyvom zahrievania na teplotu varu oddeľuje hlavne etanol. Kvas obsahujúci vyšší podiel etanolu začne vrieť skôr ako kvas, ktorý etanolu obsahuje menej. Zmes pár ktorá opúšťa destilačný kotol sa vedie uzatvoreným potrubím do chladiča, kde tieto pary kondenzujú. Zvýšenie koncentrácie alkoholu v destiláte sa dá robiť opakovanou destiláciou (rektifikáciou). Prvá destilácia Pri prvej destilácií sa destiluje kvas, pričom sa získava prvý destilát. Kvalita destilátu závisí aj od spôsobu vedenia destilácie. Pri pozornej práci je možné aj z menej kvalitného kvasu získať relatívne dobrý destilát a naopak, v dôsledku nedôslednosti pri destilácií sa môže stať, že aj z veľmi kvalitného kvasu sa získa destilát iba podradnej kvality. Po naplnení kotla sa kvas intenzívne ohrieva, aby začal čo najskôr vrieť. Keď začne z destilačného zariadenia vytekať prvý destilát ohrev sa má spomaliť. Správne vykvasené kvasy, pripravené z dobrej suroviny, môžu byť za rovnakých podmienok destilované rýchlejšie ako kvasy horšie. Vo všeobecnosti sa však pri prvej destilácií môže destilovať rýchlejšie a menej opatrne ako pri destilácii opakovanej. Prvá destilácia sa končí, keď tečie destilát s obsahom 2 až 10 % obj. alkoholu. Ďalšou destiláciou by sa znižoval percentuálny obsah alkoholu v prvom destiláte a okrem toho by sa do destilátu dostali látky s nepríjemnou vôňou a chuťou. Na konci destilácie, približne pri 10 % obj. etanolu, sa v destiláte zvyšuje obsah látok, ktoré je potrebné z destilátu oddeliť, ide hlavne o kyseliny. Preto je vhodné intenzitu ohrevu kotla ku koncu destilácie znížiť. Pri prvej destilácií veľmi kvalitných kvasov a kvasov z jemne aromatického ovocia (napr. maliny, broskyne, marhule) sa niekedy oddelene zberá destilát s obsahom alkoholu približne 70 až 40 % objemu. Tento sa už druhýkrát nedestiluje. Každou destiláciou sa totiž obsah aromatických látok v destiláte znižuje. Pri takomto postupe sa celá prvá destilácia robí pomalšie. Pri výrobe destilátov z kvasov pripravených z výliskov hrozna alebo iného ovocia sa musí destilovať vždy aj druhýkrát, pretože prvý destilát z týchto kvasov obsahuje väčšie 24

25 množstvo metanolu, vyšších alkoholov, aldehydov a kyseliny mravčej. Destilácia sa ukončí zastavení prívodu tepla pod destilačný kotol. Druhá destilácia Prvý destilát ešte nemá požadované kvalitatívne vlastnosti destilátu určeného na konzumáciu, a preto sa opakovane destiluje. Opakovaná destilácia sa nazýva rektifikácia. Požadované vlastnosti získa destilát spravidla už pri druhej destilácii. Rektifikácia je prakticky poslednou pracovnou operáciou v celom procese výroby destilátov, ktorá môže výrazne ovplyvniť kvalitu výrobku. Pri rektifikácii prvého destilátu sa z hľadiska kvality výsledného destilátu dá veľa pokaziť, a preto je potrebné tejto pracovnej operácii venovať mimoriadnu pozornosť. Druhá destilácia umožňuje z prvého destilátu oddeliť látky, ktoré majú nepríjemnú chuť a vôňu, pričom sa zároveň v destiláte zvýši koncentrácia alkoholu. Tretia destilácia je pri výrobe destilátov v pestovateľských páleniciach zvyčajne zbytočná, navyše by spôsobila stratu veľkej časti požadovaných aromatických látok. Pri rektifikácii sa destilát rozdeľuje na tri frakcie: Úkvap je to prvá frakcia destilácie, v ktorej sa nachádza okrem etanolu aj podstatná časť najľahšie prchajúcich látok z destilovanej zmesi, teda látok s nižšími bodmi varu ako má etanol. Sú to látky, ktoré výrazne zhoršujú kvalitu destilátu. Jadro stredná, konzumovateľná frakcia destilácie Dokvap tretia frakcie, obsahujúca opäť vyššie koncentrácie látok zhoršujúcich kvalitu destilátu. V pestovateľských páleniciach sa dokvap zvyčajne nezachytáva a destilácia sa ukončuje skôr ako začína prchať táto frakcia destilácie. Na začiatku rektifikácie sa môže zmes v destilačnom kotle zohrievať rýchlejšie. Keď začnú z destilačného zariadenia vytekať prvé kvapky druhého destilátu, ohrev by sa mal spomaliť. Prvý destilát by sa mal rektifikovať čo najpomalšie, hlavne ak sa destiluje prvý destilát získaný z menej kvalitného kvasu. Čím je destilácia pomalšia, tým lepšie sa dajú oddeliť frakcie, ktoré znižujú kvalitu destilátu. Nie je správne rektifikáciu predlžovať kvôli relatívne vysokej koncentrácii alkoholu v zachytenom destiláte. Lepšie je vysokú koncentráciu alkoholu v destiláte znížiť pridaním destilovanej vody. 25

26 Pri oddeľovaní úkvapu a dokvapu platí známa zásada, že menej je niekedy viac. V našom prípade menej destilátu je viac kvality. Je lepšie zachytiť menej kvalitného jadra, než získať jadra viac, ale za cenu, že do výsledného destilátu preniknú na vôňu a chuť nepríjemné látky (Opáth, 2006). 26

27 3. Modelovanie Pojmy modelovanie a simulácia sú veľmi široké pojmy a v rôznych vedných oboroch si ľudia pod týmito pojmami predstavujú rozdielne skutočnosti. V oblasti ekonómie tieto pojmy predstavuju napr. modelovanie rastu ekonomickych ukazovateľov, predpovedanie vývoja cien a podobne. V oblasti matematickej štatistiky sa pod týmito pojmami rozumie sledovanie určitých štatistických hodnôt a predpovedanie ich správania. V technickej inžinierskej praxi, v závislosti na danom vednom odbore, sa pod pojmami modelovanie ma na mysli modelovanie procesov, dejov, vytváranie CAD modelov súčiastok alebo vyhotovenie modelov v určitej mierke a jej skúmanie. V chemickom odbore sa najčastejšie stretávame s chemickými dejmi a procesmi, a preto je v tomto odbore kladený dôraz na zvládnutie týchto procesov, čomu napomáha ich modelovanie a simulácia. Obdobná situácia je pri vytvaraní nových materiálov oblasť mikro a nano technologií, kde je potrebné dokázať namodelovať proces nanášania jednotlivých vrstiev materiálov. V strojárskom, elektrotechnickom ale aj stavebnom odbore sa často stretávame s návrhmi súčiastok a budov, ktorých vlastnosti musia byť preskúmané skôr ako budú tieto súčiastky alebo budovy reálne vytvorené. To, či daný návrh súčiastky spĺňa zadané požiadavky (napr. tepelnú odolnosť sučiastky, odolnosť budovy voči zemetraseniu) sa preveruje pomocou CAD modelov a ich simuláciami. Z doteraz uvedených skutočností je vidieť, že sice pojmy modelovanie a simulácia v rôznych vedných oboroch (ako aj v rámci daného vedného oboru pre rôzne odbory) predstavujú inú entitu, majú ale určité charakteristiky spoločné: cieľom modelovania je vytvoriť model deja, procesu resp. súčiastky, ktorý bude určitým spôsobom reagovať na zmeny vstupných dát (predstavujú zaťaženie modelu). simulovanie predstavuje proces získania odozvy modelu na tuto zmenu vstupných dát. korektnosť alebo nekorektnosť modelu a samotnej simulácie sa posudzuje na základe vykonaného experimentu, overenej teórie alebo na zaklade dlhodobého pozorovania skutočnosti. 27

28 Pod pojmom systém definujeme kolekciu entit, ktoré sa vzajomne ovplyvňujú, pričom ako už bolo naznačené, pre každý vedný odbor je to iný súbor entít. Každý systém je popisaný stavom systému, ktorý reprezentuje premenné nevyhnutné na opis sysému v danom čase. Vo všeobecnosti systém može byť diskrétny alebo spojitý (kontinualny). Diskretny systém je charakterizovaný skokovými zmenami stavových veličín v čase, spojitý systém je charakterizovaný spojitými zmenami stavových veličín v čase. V určitom časovom okamihu treba študovať správanie sa systému, zmeny systému spôsobené zmenami komponentov alebo predpovedať zmeny stavových veličín. Tieto úlohy môžu byť študované rôznymi spôsobmi. Experiment so skutočným systémom / s modelom systému ak je možné (a cenovo efektívne) meniť systém fyzicky a potom skúmať skutočný systém s týmito zmenenými podmienkami, je to veľmi pozitívne. Avšak takýto prípad je veľmi zriedkavý, pretože experiment býva často veľmi finančne náročný, alebo systém ešte ani neexistuje, keď chceme skúmať jeho správanie za daných podmienok, resp. može sa jednať o podmienky, ktoré majú deštruovať systém (napr. kritické podmienky v jadrovej elektrárni). V takýchto prípadoch je nevyhnutné vytvoriť model ako reprezentáciu systému. V prípade použitia modelu, vždy vzniká otázka verifikácie platnosti dosiahnutých výsledkov. Fyzický / matematický model fyzický model reprezentuje napr. zmenšený model lode na skúmanie vplyvu bočného vlnobitia, zatiaľčo matematický model reprezentuje systém vo forme matematických výrazov v inžinierskej praxi najčastejšie vyjadrene vo forme parciálnych diferenciálnych rovníc. Analytické riešenie / simulácia akonáhle je matematický model vytvorený, je potrebné dokázať odpovedať na otázky ohľadom správania sa systému, ktoré nás zaujímajú. V prípade, že model je dostatočne jednoduchý, dokážeme vyriešiť matematické rovnice matematického modelu exaktne dostávame analytické riešenie. Avšak veľa systémov je veľmi komplexných, čo môže samo o sebe vylúčiť analytické riešenie. V takom prípade musí byť model študovaný pomocou simulácie t.j. riešenie je numerické. Pri štúdiu matematického modelu je užitočné klasifikovať modely nasledovne: 28

29 statický / dynamický model statický model reprezentuje systém v špecifickom čase, avšak čas ako taký nehrá úlohu pri simulácií. Naproti tomu, dynamický model reprezentuje systém v určitom časovom úseku (nie len v jednom konkrétnom čase). deterministický / stochastický model ak model neobsahuje žiadne pravdepodobnostné (náhodné) komponenty, takýto model sa nazýva deterministický. Avšak niektoré modely musia byť modelované s určitými náhodnými vstupmi, takéto modely sa nazývaju stochastické. spojitý / diskrétny model spojitý model je definovaný spojitými zmenami stavových veličín v čase, kým diskrétny model je charakterizovaný skokovými zmenami stavových veličín v čase (Kutiš, 2006). 29

30 4. Použitie neurónových sietí pri modelovaní Pri modelovaní sa využíva tá vlastnosť neurónových sietí, vďaka ktorej dokážu aproximovať ľubovolnú funkciu. Teda aj funkciu podľa ktorej sa správa modelovaný proces. Ako proces pre modelovanie sme zvolili druhú fázu destilácie liehu. Na začiatku tejto fázy obsahoval lieh 80% alkoholu. Celý proces trval tri a pol hodiny. Po tomto čase klesol objem alkoholu na 52%. Namerané údaje obsahujú objem alkoholu v 30 minútových intervaloch počas celého trvania procesu. Namerané hodnoty sú v tabuľke. Čas v 15min. interavloch Obsah alkoholu v percentách Výsledkom bude spojitý model destilácie alkoholu, teda dvojrozmerný graf, ktorý zobrazuje celý priebeh destilácie. Na vytvorenie modelu sme použili program MATLAB. Tento program je ideálny na vedecké výpočty. 4.1 MATLAB Matlab je vysoko výkonný programovací jazyk pre matematické výpočty. Obsahuje veľké množstvo matematických knižníc a nástrojov, ktoré uľahčujú vedecké výpočty. Matlab rieši technické výpočty niekoľkonásobne rýchlejšie ako tradičné programovacie jazyky ako sú C, C++, Fortran, alebo Java. Použitie matlabu: vývoj algoritmov vizualizácia a analýza dát 30

31 numerické výpočty modelovanie rôzne vedecké výpočty (biologické, chemické, fyzikálne) Pre tieto oblasti použitia má matlab špeciálne nástroje, ktoré uľahčia a zrýchlia výpočty. Matlab taktiež obsahuje nástroje na vizualizáciu výpočtov. Umožňuje tvorbu 2D aj 3D grafov, animácií a interaktívnu tvorbu grafov. Všetky tieto výsledky dokáže exportovať do bežne používaných grafických formátov. Taktiež umožňuje upravovanie grafov, pridávanie osí, menenie farieb čiar, pridávanie legiend a rovníc. 4.2 Popis použitej neurónovej siete Pre účeli modelovania sme použili viacvrstvovú doprednú neurónovú sieť (multilayer feed-forward neural network) a ako učiaci algoritmus sme použili algoritmus spätného šírenia chyby (backpropagation). obr. 4.1 Použitá neurónová sieť. Vyznačené sú jednotlivé vrstvy. 31

32 Neurónová sieť má try vrstvy. Vstupnú, ktorá pozostáva z vektora vstupných hodnôt. Skrytú, ktorá obsahuje sedem neurónov a výstupnú, kde je len jeden neurón, keďže na výstupe potrebujeme iba jednu hodnotu a to hladinu alkoholu. obr. 4.2 Priebeh výpočtu v neurónovej sieti.s X predstavuje vstupný vektor. X = (x 1,x 2,...x n ), n je počet vstupných hodnôt Hodnota z X sa šíri do všetkých neurónov skrytej vrstvy. Pred vstupom do neurónu sa násobý váhou spoja w. W. w w w1 n w2 Kde m je počet vrstiev neurónovej siete okrem vstupnej a n je počet neurónov v jednotlivých vrstvách. V neuróne sa vykoná nelineárna funkcia v našom prípade to je logistická funkcia c... xw n, 1 y 1 Z každej vstupnej hodnoty na vstupnej vrstve vytvorí skrytá vrstva vektor hodnôt y h, e x. 32

33 y h = (y 1, y 2,... y n ), n - je počet neurónov v skrytej vrstve ktorý slúži ako vstup pre výstupnú vrstvu. Tieto hodnoty sa taktiež násobia váhami, spočítajú sa, neurón na výstupnej vrstve ich spracuje a dostaneme výstupnú hodnotu zo siete. Táto hodnota sa porovná s očakávanou hodnotou a vypočíta sa odchýlka δ. z y Kde, y je výstup neurónovej siete a z je očakávaný výstup. obr. 4.3 Výpočet odchýlok Spätné šírenie chyby spočíva v tom že sa spätne vypočíta odchýlka aj na neurónoch skrytej vrstvy. Takto sa vytvorý ďalší vektor Δ. Δ = (δ 1, δ 2,... δ n ), n je počet neurónov v skrytej vrstve δ i = w i δ Δ = (δ 1, δ 2,... δ n ), n je počet neurónov v skrytej vrstve 33

34 obr. 4.4 Upravenie váh neurónovej siete. Podľa týchto odchýlok potom algoritmus upraví váhy. w 1 ij w 0 ij df ( c) x dc η ovplivňuje rýchlosť učenia siete. δ je odchýlka pri predošlom výpočte. df(c)/dc je derivácia funkcie neurónu a x je vstup do neurónu. Po úprave sa zoberie dalšia hodnota z X a proces sa opakuje znova, kým odchýlka všetkých hodnôť nie je menšia ako povolená. Výsledky Program dosiahol požadovaný výsledok za 70 tisíc iterácií. Ako výsledok sme dostali graf, ktorý znázorňuje pokles hladiny alkoholu pri desilácií. 34

35 obr. 4.5 Graf chybovej odchýlky Na tomto grafe vidíme ako postupne klesala chyba pri učení. Zvislá os znázorňuje súčet druhých mocnín odchýlok. Vodorovná os znázorňuje počet iterácií. Ako vidíme najväčší pokles chyby nastal po prvých niekoľkých iteráciách. Väčší pokles chyby je možné sledovať ešte 10 tisíc iterácií, ďalších 10 tisíc je pokles minimálny. Po tomto počte opakovnaí je na grafe vidno nulovú hodnotu, je to zapríčinené malou hodnotou chyby, ale je predsa dosť veľká aby program bežal ďalej. Keďže pri výpočte nových váh sa počíta s velkosťou odchýlky, pri menšej odchýlke sa váhy menia o menšiu hodnotu a odchýlka sa znižuje pomalšie. Výpočet trval ešte 50 tisíc iterácií. 35

36 obr. 4.6 Priebeh funkcie a druhémocniny chýb Tento graf znázorňuje priebeh procesu destilácie. Zvislá os znázorňuje objem alkoholu v destiláte v litroch. Vodorovná os znázorňuje čas v 30 minútových intervaloch. V dolnej časti grafu sú znázornené odchýlky od nameraných hodnôt. 36

37 Záver V tejto práci boli popísané rôzne druhy neurónových sietí ich stavba, fungovanie a oblasti použitia. Spomenula sa taktiež história, pokles záujmu v istom období a neskorsie objavy, ktoré znovu upriamili pozornosť na ne. Keďže sú neurónové siete inšpirované biológiou bolo nevihnutné spomenúť isté funkcie mozgu a popísať spojitosť medzi biologickými a umelími neurónovými sieťami. Neurónové siete dokážu efektívne pracovať vďaka učiacim algoritmom, ktoré sú taktiež popísané. Cielom práce bolo, však použiť neurónové siete na modelovanie chemických procesov. V tejto práci je popísaná neurónová sieť, ktorá dokáže modelovať zmenu hladiny alkoholu počas druhej fázy destilácie. Je taktiež vytvorený program v MATLABe, ktorý môže byť použitý aj na modelovanie ostatných fáz destilácie alkoholu. 37

38 Zoznam použitej literatúry 1. Kvasnička, Ľ., Beňušková, Ľ., Pospíchal, J., Farkaš, I., Tiňo, P., Kráľ, A.: Úvod do teórie neurónových sietí, IRIS, Bratislava, 1997, ISBN: Altirchter, M., Horváth, G., Pataki, B., Strausz, G., Takács, G., Valyon J.: Neurális hálózatok, Panem, Budapest, 2006, ISBN: Opáth, R.: Výroba ovocných destilátov, Prima print, Topolčany, ISBN: Sinčák, P., Andrejková, G.: Neurónové siete Inžiniersky prístup. TU Košice, 1996, 5. Sinčák, P., Andrejková, G: Neurónové siete Inžiniersky prístup. TU Košice, 1996, 6. Rojas, R.: Neural Networks A System Introduction, 1 edition, New York: Springer-Verlag, 1996, ISBN-10: , ISBN-13: Clark, J. W., Rafelski, J., Winston, J. V.: Brain without mind: computer simulation of neural networks with modifiable neuronal interactions. Physics Report 1985, University of Cape Town 8. Kutiš V: Základy modelovania a simulácii. Bratislava, Hebb, D. O.: The Organiyation of Behaviour, John Wilez and Sons, New York McCiulloch, W. S., Pitts W.: A Logical Calculus of Ideas Immanent in Nervous Activity, Bulletin of Mathematical Biophysics,

39 11. Rosenblatt, F.: The Perceptron: A Probabilistic Model for Information Storage and Organization of the Brain, Widrow, B., Hoff, M. E.: Adaptive Switching Circuits, IRE WESCON Convention Record, pp. LNAI Springer, Minsky, M., Papert, S.: Perceptrons, MIT Press, Cambridge MA Rumelhart, D. E., Hinton, G. E., Williams, R. J.,: Learning Internal Representations by Error Propagation, in Rumelhart, D. E. McCelland, J. L. (Eds.) Parallel Distributed Processing Explorations in the Microstructure of Cognition, 1. MIT Press. Pp Hopfield, J. J.: Neurons Networks and Physical Systems with Emergent Collective Computational Abilities, Proc. Natl. Acad. Science. Vol. 79. Pp

40 Zoznam príloh 1. CD s prílohami program neurónovej siete, bakalárska práca vo formáte PDF 40