SLOVENSKÁ TECHNICKÁ UNIVERZITA V BRATISLAVE Strojnícka fakulta Ústav automatizácie, merania a aplikovanej informatiky Monitorovanie bezobslužných prev

Prepis

1 SLOVENSKÁ TECHNICKÁ UNIVERZITA V BRATISLAVE Strojnícka fakulta Ústav automatizácie, merania a aplikovanej informatiky Monitorovanie bezobslužných prevádzok v strojárenstve s využitím dedikovaného video servera na báze "Open Source" softvéru Diplomová práca Študijný odbor: automatizácia Študijný program: automatizácia a informatizácia strojov a procesov Vedúci diplomovej práce: Diplomant: Ing. Ján Vachálek, PhD. Bc. Albert Keszeli Konzultant diplomovej práce: Ing. Tomáš Volenský Bratislava, jún 2010

2

3

4 Čestné prehlásenie Vyhlasujem, že záverečnú prácu som vypracoval samostatne na základe vlastných teoretických a praktických poznatkov, konzultácií a štúdia odbornej literatúry a že som uviedol všetku použitú literatúru. Bratislava 8. júna Vlastnoručný podpis

5 Ďakujem vedúcemu diplomovej práce, Ing. Jánovi Vachálkovi, PhD., za odbornú pomoc pri vypracovaní diplomovej práce. Chcem poďakovať Robertovi Juhászovi za uvedenie do problematiky AMF komunikácie, ako aj Mgr. Milanovi Gombíkovi ml. za pomoc, pripomienky a vyčerpávajúce odpovede ohľadom programovania a použitých technológií. Bratislava 8. júna 2010 Bc. Albert Keszeli

6 Názov práce: Monitorovanie bezobslužných prevádzok v strojárenstve s využitím dedikovaného video servera na báze "Open Source" softvéru Kľúčové slová: prenos dát, audio-video komunikácia, monitovanie, Red5 server Abstrakt: Práca sa zaoberá využitím Red5 serverovej aplikácie v strojárenstve na prenos dát internetom. Operátori majú možnosť získavať dáta z prevádzok v reálnom čase cez rozhranie bežného webového prehliadača. Prenos umožňuje platforma Adobe Flash Player doinštalovaním ako plugin. Pre túto platformu boli naprogramované dva typy aplikácií. Prvá umožnuje konferenčný hovor použitím prenosu videa, audia a textových informácií medzi viacerými účastníkmi nezávisle od miesta ich pôsobenia. Povoľuje im základné nastavenie ako je napríklad registrácia do systému, úpravu hesla prostredníctvom u a iné. Druhá aplikácia zase pojednáva o možnosti záznamu videa pri detekovaní pohybu. Treba podotknúť že obe aplikácie využívajú voľne dostupné knižnice a software (tzv. 'Open Source'). Práca taktiež pojednáva o možnosti hosťovania daných aplikácií na linuxových serveroch pre zníženie prevádzkových nákladov.

7 Title: Automated oparation monitoring in engineering with use of a dedicated video server based on open source Keywords: data transfer, audio-video communication, monitoring, Red5 server Abstrakt: The work deals with the use of a Red5 server application for Internet data transfer. Operators are able to obtain data from a different operations in a real time through a common web browser. Transfer is enabled by installing a platform called Adobe Flash Player. I have programmed two types of applications for this platform. The first one allows you to set up an on-line conference by transferring video, audio and text informations between several parties, irrespective of their place of employment. Allowing them basic setup such as the registration process and reseting password through and other. The second application again discusses the possibility of video recording if movement is detected. It should be noted that both applications are based on open source software. The work also discusses the possibility of hosting those applications on Linux servers to reduce operating costs.

8 Predhovor: Predkladaná diplomová práca sa venuje novým technológiám prenosu dát prostredníctvom internetu a ich následnej interpretácii. Za cieľ si kladie vytvorenie aplikácií pre audio-video komunikáciu a vzdialené sledovanie, ktoré môžu poslúžiť ako prípadové štúdie. Práca vznikla na základe predchádzajúcich znalostí z intranetových a internetových aplikácií na ktorých sa autor podieľal. Táto práca predstavuje aj jeden z mála dokumentov, ktoré komplexne rozoberajú použitie serverových video aplikácií. Verím, že touto diplomovou prácou dopomôžem k širšiemu implementovaniu Open Source softvéru v praxi.

9 Obsah Zoznam obrázkov 11 Zoznam použitých skratiek 12 ÚVOD 13 Videokonferencia História videokonferencie Vlastnosti videokonferenčnej aplikácie Psychologické štúdie vizuálneho kontaktu pri práci Vplyv video virtuálneho stretnutia na rôzne typy osobností 17 Uzavreté kamerové systémy História uzavretých kamerových systémov Vlastnosti aplikácií pre dohľad Monitorovanie bezobslužných prevádzok v strojárenstve Základné spracovanie obrazu Kamerové systémy vo výrobnom procese Možnosti softvérového riešenia Open source Open source projekty pre video komunikáciu Komerčné projekty pre video komunikáciu Použité technológie Adobe Flah Player MySQL Databáza HTML PHP - Hypertext Preprocessor XML - extensible Markup Language Protokoly

10 Transmission Control Protocol Hypertext Transfer Protocol Real Time Messaging Protocol - RTMP Action Message Format (AMF) JAVA (programovací jazyk) Apache HTTP Server Praktické využitie znalostí Využitie Red 5 na tvorbu video chatu Využitie Red 5 pre vzdialený dohľad Testovacia prevádzka Debian GNU/Linux Inštalácia Red Záver 55 Použité zdroje 56 Použitá literatúra pri tvorbe aplikácií 58 Zoznam Príloh 59 10

11 Zoznam Obrázkov 1. Softvérové rozhranie pre termografický záznam Indikácia správneho uloženia Spracovanie obrazu Z apojenie monitorovacieho systému do PLC Schéma dopravného pásu Dopravný pás s použitím Master / Slave Logo organizácie Open Souce Initiative Dátový tok VLC media playera Edge/Origin distribúcia aplikácie Distribúcia živého vysielania pomocou Wowza Media Servera Distribúcia Java programu Funkcia na pripojenie sa na server Logo Drupal frameworku MXML štruktúra Autentifikačné okno Dátový tok (video) Nahrávanie profilového obrázku Schéma aplikácie na záznam videa Užívateľské rozhranie detekcia pohybu ruky Profil doma poskladaného servera Spúšťanie Red5 serverovej aplikácie v konzole systému Debian

12 Zoznam použitých skratiek NASA - The National Aeronautics and Space Administration ISDN - Integrated Services Digital Network V-2 - Vergeltungswaffe 2 (technický názov - A4) OSI - Open Source Initiative IPv4 - Internet Protocol Version 4 IPv6 - Internet Protocol Version 6 RTMP - Real Time Messaging Protocol MPEG - Moving Picture Experts Group MP3 - MPEG-1 Audio Layer 3 FLV Flash Video AMF Application Message Format API - Application Programming Interface FMS - Adobe Flash Media Server SQL - Structured Query Language CPU Central Processing Unit PHP - Hypertext Preprocessor HTML - HyperText Markup Language XML - Extensible Markup Language TCP - Transmission Control Protocol HTTP - Hypertext transfer protocol RPC Remote procedure calls MB/s -Megabyte za sekundu PLC - Programmable logic controller 12

13 ÚVOD Komunikácia je proces prenosu informácií od jedného subjektu na iný. Komunikačné procesy sú znamenia sprostredkované interakciami medzi najmenej dvoma agentmi, ktorý zdieľajú repertoár znakov a pravidiel. Komunikácia je všeobecne definovaná ako "oznamovanie alebo vzájomnú výmenu myšlienok, názorov a informácií". História komunikácie ako takej sa datuje späť do ranných foriem života na Zemi. Revolúciu v komunikácii zažilo ľudstvo pri príchode hovorenej reči zhruba pred rokmi. Symboly boli vyvinuté pred a písmo okolo rokov pred našim letopočtom. Avšak v oveľa kratšom čase prišlo k veľkým zmenám hlavne v oblasti telekomunikácií. Prenos signálov cez vzdialenosť pre účely komunikácie začala pred tisíc rokmi s použitím dymových signálov, ale až v roku 1830 sa začali objavovať prvé elektrické telekomunikačné systémy. Príchodom internetu v rokoch 1960 sa výmena informácií ešte viac urýchlila. V prítomnosti hrá prenos dát kľúčovú úlohu pri plynulom chode podniku. Manažéri, vedúci pracovníci ale aj radoví zamestnanci vyžadujú vysoký stupeň informovanosti pri výrobných procesoch a operáciách s nimi spojených. Vďaka internetu a serverovým aplikáciám sme schopní preniesť tieto informácie prakticky kamkoľvek. Mojou úlohou bolo vytvorenie dvoch aplikácií využitím voľne šíriteľného softvéru Red5 na strane servera pre distribuovanie dát na internet z prevádzok. Na strane klienta bolo zas potrebné naprogramovať rozhranie na prezentáciu získaných údajov pomocou Adobe Flash Playeru. Práca rozoberá základné pojmy, rozličné možnosti, inštaláciu, produkty a protokoly pri tvorbe takýchto systémov. Prvá aplikácia je určená na komunikáciu medzi operátormi v rozličných častiach sveta. Umožňuje manažovanie užívateľov, prenos zvuku, videa a krátkych textových správ. Druhá aplikácia pojednáva o 13

14 možnosti zabezpečenia objektov a vzdialeného dohľadu. Zaznamenáva video záznam na server pri detekovaní pohybu a tým šetrí priestor na disku. Záznam sa ukladá vo formáte FLV (Flash Video). Záver práce sa venuje rôznym možnostiam vylepšenia a jemne vykresľuje možný budúci vývoj prenosu informácií. 14

15 Videokonferencia Je súhrn interaktívnych telekomunikačných technológií, ktoré umožňujú spojenie dvoch alebo viacerých lokácií pomocou obojsmerného audia a videa. Taktiež sa nazýva 'vizuálnou kolaboráciou'. Je navrhnutá na obsluhu viacero účastníkov. Má široký pozitívny dopad na rozličné odvetvia ako sú napríklad školstvo, veda, zdravotníctvo atď. Popri audio a video zázname môže videokonferencia prenášať rozličné textové správy, dokumenty a pracovnú plochu. Aby sme sa mohli zapojiť do videokonferencie, potrebujeme mať multimediálny počítač. To je taký, ktorý dokáže pracovať s viacerými typmi dát nielen textovými a grafickými, ale aj zvukovými. Prenos multimediálnych informácii je veľmi náročný na prenosovú rýchlosť siete. [1] Dôležité je, aby bola určitá prenosová rýchlosť garantovaná po celej dĺžke spojenia. To znamená, že máme linku s danou prenosovou rýchlosťou plne k dispozícii. Ak napríklad realizujeme videokonferenciu v rámci školskej siete, ktorá slúži pre mnohých používateľov, kvalita prenosu závisí od jej momentálnej zaťaženosti. Okrem hardvéru a rýchleho sieťového pripojenia je potrebné mať na počítači nainštalovaný softvér. 1.1 História videokonferencie Prvé jednoduché analógové videokonferencie sa začali objavovať krátko po vynájdení televízie. Takéto videokonferencie pozostávali zvyčajne z dvoch uzavretých okruhov televíznych systémov prepojených pomocou káblov. V rokoch 1936 až 1940 bol nasadený jeden z prvých takýchto systémov medzi poštami v Berlíne a okolí. Ďalej počas prvých pilotovaných letov NASA použilo dve 15

16 rádiofrekvenčné väzby, jeden v každom smere. Táto technika bola veľmi drahá a nemohla byť použitá na aplikácie akými sú telemedicína, dištančné vzdelávanie, a obchodné rokovania. S využitím bežných telefónnych sietí na prenos videa prišla ako prvá spoločnosť AT&T. Jej pokusy však zlyhali predovšetkým kvôli zlej kvalite obrazu a nedostatku účinných techník kompresie videa pre prenos. Prelom nastal až v rokoch 1980 možnosťou telefonického digitálneho prenosu pomocou sietí akou je napríklad ISDN (Integrated Services Digital Network), ktoré dokázali zabezpečiť minimálnu prenosovú rýchlosť (zvyčajne 128 kilobitov / s) pre komprimovaný video a audio prenos. [2] Pri rozširovaní siete ISDN začali vznikať na trhu prvé špecializované systémy. Po roku 1990 sa začal prudký rozvoj video telekonferenčných systémov z veľmi nákladných proprietárnych zariadení, softvéru a sieťových požiadaviek k technológiám, ktoré sú ľahko dostupné širokej verejnosti za prijateľnú cenu. 1.2 Vlastnosti videokonferenčnej aplikácie Základom videokonferenčnej aplikácie je zobrazenie základných informácie o všetkých účastníkoch. Každý účastník videokonferencie by mal byť schopný vidieť všetkých ostatných účastníkov, ktorí vysielajú a majú povolené zdieľanie obrazu. Umožňovať textovú komunikáciu (napr. ak si chcú účastníci vymeniť ové adresy, odstrániť poruchu zvukového prenosu a pod.). Všetci účastníci konferencie by sa mali navzájom počuť. Ďalej môže poskytovať grafický priestor do ktorého môžu všetci účastníci písať poprípade kresliť. Videokonferenčná aplikácia by mala byť nezávislá od používaného operačného systému, aby spolu mohli komunikovať používatelia nezávisle od toho aký majú nainštalovaný operačný systém (Windows, MacOS, Unix..). Mala by umožňovať komunikáciu medzi dvomi, alebo viacerými používateľmi. Všetky tieto podmienky málokedy spĺňa jedna videokonferenčná aplikácia. Závisí od používateľa, ktoré vlastnosti sú pre neho najdôležitejšie a na 16

17 základe nich si vybrať najviac vyhovujúcu aplikáciu. 1.3 Psychologické štúdie vizuálneho kontaktu pri práci Video-komunikačné nástroje prispievajú k otvorenosti a diskusii počas online stretnutí, zvyšuje sa kreativita a urýchľujú rozhodovacie procesy. Online stretnutia využívajúce video dokážu vytvoriť silnejšie vzťahy a zlepšiť komunikáciu. Rovnako dokážu zredukovať vplyv stretu rozdielnych kultúr a osobností. Na druhej strane však môže video komunikácia spôsobiť úzkosť z vlastného vystupovania pred kamerou a na obrazovke. Spôsob, akým ľudia hodnotia dôveryhodnosť inej osoby sa do značnej miery zakladá na správaní a jazyku tela. Hovorené slovo prispieva k dôveryhodnosti len siedmimi percentami, no napriek tomu sa pri tímovej spolupráci mnoho spoločností stále spolieha na telefón a audio-konferencie. Najnovšie štúdie poukazujú na to, ako video komunikáciou zlepšiť biznis produktivitu vzdialených tímov, ako aj na to, ako odstrániť psychologické bariéry Vplyv video virtuálneho stretnutia na rôzne typy osobností Vodca / Dominantný účastník: Zvyčajne osoba vedúca stretnutie. Vizuálna podpora napomáha vodcovi vybudovať si postavenie, pričom schopnosť účastníkov vidieť celý tím zároveň znižuje prílišnú dominanciu jednej osoby v diskusii. Energický účastník / Rušiteľ: Títo účastníci majú sporadické návaly zanietenej interakcie striedané s dlhými obdobiami vyrušovania. Tomuto typu osobnosti prináša video vyššiu mieru stimulácie a zúčastnenosti. Mysliteľ / Tichý: Tichí géniovia skupiny, ktorí prinášajú hlbšie myšlienky. S pomocou vizuálnej podpory sú 17 chvíle tichého uvažovania menej

18 pravdepodobne interpretované ako nezúčastnenosť. Priateľský / Urozprávaný: Extroverti, ktorí dokážu rozprávať aj vtedy, keď rozpráva niekto iný, alebo spôsobujú odklon od témy. Schopnosť vidieť kolegov dáva prirodzeným pauzám v konverzácii kontext, čím sa znižuje nutkanie týchto účastníkov vypĺňať ticho. Kreatívny / Nepraktický: Charakterizovaný množstvom kreatívnych a inovatívnych nápadov. Takýchto účastníkov video svojou väčšou škálou interakcie udržiava viac pri zemi. Prízemný / Obštrukčný: Títo jednoduchí pragmatici sú tvrdohlavo zakorenení vo svojom vnímaní reality. Takýmto osobnostiam poskytuje video počas stretnutí vizuálnu prítomnosť, takže je pravdepodobnejšie, že bude vypočutý aj ich názor a budú menej obštrukční. [3] Prehľad video komunikačných nástrojov Videotelefónia Jednoduché použitie, kvalita videa nemusí prenášať všetky vizuálne prvky. Videokonferencia Tímové stretnutia rôzne lokalizovaných jednotlivcov a prostredníctvom stretnutia s externistami. Široká dostupnosť. Pre malý internetu Videokonferencia obraz sú vizuálne prvky ťažšie rozoznateľné. Skupinové stretnutia s jedným alebo dvoma účastníkmi na každej strane. Jemné vizuálne prvky môžu chýbať. Audio kvalita môže byť horšia pri väčších stretnutiach. TelePresence Najviac sa približuje priamemu stretnutiu. Virtuálne obrazy v životnej veľkosti prenášajú reč tela a jemné gestá. 18

19 Uzavreté kamerové systémy Medzi základnú charakteristiku uzavretých kamerových systémov patrí prenos signálu na konkrétne miesto použitím videokamier pre obmedzenú sadu monitorov. Často sa používa na dozor v oblastiach, ktoré môžu vyžadovať monitorovanie ako napríklad banky, kasína, letiská, vojenské objekty, obchody a iné. V priemyselných závodoch sa môžu kamerové zabezpečovacie zariadenia použiť na pozorovanie časti procesu, napríklad keď pracovné prostredie nie je vhodné pre človeka. Ide predovšetkým o procesy v chemickom priemysle, interiéry reaktorov, alebo zariadenia na výrobu jadrového paliva. Pomocou termografických kamier môžu prevádzkovatelia zmerať i teploty procesov. Použitie kamerových systémov v priemyselných procesoch sa často vyžaduje zákonom. Tieto systémy môžu pracovať nepretržite, alebo len v prípade potreby sledovať konkrétnu udalosť. Pokročilejšie formy využívajú digitálne videorekordéry poskytujúce možnosť nahrávania niekoľkých rokov dozadu s rôznou kvalitou obrazu a ďalšími funkciami akými sú napríklad detekcia pohybu, ové upozornenia, prístup zo siete internet a iné. 2.1 História uzavretých kamerových systémov Prvý uzavretý kamerový systém bol nainštalovaný v roku 1942 na Nemeckom území spoločnosťou Siemens pre pozorovanie štartu rakiet V-2. Za návrh a inštaláciu systému bol zodpovedný nemecký inžinier Walter Bruch. V septembri 1968 bol New York prvé mesto v Spojených štátoch, ktoré nainštalovalo kamery pozdĺž jeho hlavnej 19

20 obchodnej ulici v úsilí o boj proti trestnej činnosti. Použitie kamerového bezpečnostného systému zaznamenal obrovský úspech v boji proti trestnej činnosti a jeho výskyt v bankách a obchodoch sa stal samozrejmosťou. [4] 2.2 Vlastnosti aplikácií pre dohľad Dnešný trh obsahuje enormné množstvo aplikácií pre vzdialený dohľad s rozličnými vlastnosťami. Medzi základnú vlastnosť by však mal patriť prenos videa a jeho záznam na pamäťové médium. Sofistikované video aplikácie dokážu rozoznávať a vyhodnocovať rozličné tvary, objekty, teplotné polia, biometrické údaje a na ich základe príslušne reagovať. Obr. č.1 Softvérové rozhranie pre termografický záznam 20

21 Monitorovanie bezobslužných prevádzok v strojárenstve Spracovanie obrazu, ktoré tvorí základ monitorovacích systémov v strojárenstve, je relatívne nový pojem. Iba v posledných desaťročiach došlo k výraznému vývoju v tejto oblasti. Okrem toho došlo k významným pokrokom v iných komponentoch a technológiách: obrazové senzory, špecializované svietidlá, šošovky a (CAD) programy, ktoré napomáhajú inžinierom cez počiatočné fázy príprav procesov a designu. Avšak systémová integrácia zostáva kľúčovým faktorom pre úspešné plánovanie a prevádzku systému pre počítačové videnie. Design priemyselných systémov pre videnie vyžaduje široké spektrum techník a disciplín ako napríklad elektronické inžinierstvo (hardvérový a softvérový design), fyziku (optika a osvetlenie) a strojárstvo (pohony, robotické ramená). Kritickú úlohu v strojovom videní zohráva softvérové inžinierstvo. Jedným z dôvodov pre súčasný trend implementácie systémov strojového videnia vo výrobe, sú klesajúce náklady na výpočtový výkon. Tie umožnili vývoj lacnejších monitorovacích systémov, ktoré následne umožnili stredne veľkým výrobným podnikom zvážiť možnosť použitia strojového videnia. Mnoho podnikov však váha alebo nechcú, aby sa zaviazali k používaniu monitorovacích systémov, pretože sa obávajú investičných nákladov, inštalácie a nákladov súvisiacich s údržbou. Existuje však mnoho hmatateľných prínosov, ktoré môžu byť použité na odôvodnenie investície. Medzi takéto patrí napríklad zlepšenie kvality výrobkov, zvýšenie produktivity, zníženie odpadu, náklady spojené so spätnou prepravou pri chybovosti, zvýšenie presnosti, opakovateľnosti a nižšia chybovosť v porovnaní s manuálnou kontrolou. Monitorovanie je každopádne neoddeliteľnou súčasťou procesu v automatizácii, najmä keď vezmeme do úvahy dôležitosť kvality vo 21

22 výrobe. Medzi hlavné oblasti použitia monitorovacích priemyselných systémov patrí automatizovaná kontrola (obrázok č. 2), meranie a v menšej miere robotické videnie. Z hľadiska prevádzky podniku je dôležité, aby inštalácia systému nebránila v prevádzke. Pri inštalácii monitorovacieho systému do výrobného procesu je potrebné dôsledne zvážiť všetky kroky tak, aby sme nebránili žiadnej inej operácii výrobnej linky. Inak môže mať za následok falošné očakávania od schopností systému. Obr. č. 2 Ukážka naľavo indikuje správne uloženie. Vpravo je vidieť nesprávne uloženie spodného disku 3.1 Základné spracovanie obrazu Najprv zvážime zastúpenie monochromatického (šedej stupnice) obrazu. Nechajme i a j označovať dve celé čísla, kde 1 i m, 1 j n. Ďalej nech je funkcia f(i,j) zdola ohraničená nulou a zhora premennou W, ktorá určuje úroveň bielej na šedej stupnici obrazu celé ( 0 f (i,j) W ). Pole F sa bude nazývať digitálny obraz. Adresa (i j) definuje pozíciu v poli F nazývanú pixel alebo element obrazu. Prvky F značia intenzitu v počte malých obdĺžnikových regiónov v rámci reálneho obrazu. Prísne vzaté f(i,j) meria intenzitu na jednom štvorcovom bode, ale v prípade ak je zodpovedajúca štvorcová oblasť dosť malá, potom bude jej aproximácia dostatočne presná pre väčšinu účelov. Pole F obsahuje celkom m.n prvkov a tento produkt sa nazýva priestorové 22

23 rozlíšenie F. Následne môžeme ľubovoľne priradiť intenzity podľa nasledovnej stupnice: f(i,j) = 0 čierna 0 < f(i,j) 0.30W tmavo šedá 0.30W < f(i,j) 0.70W šedá 0.70W < f(i,j) < W svetlo šedá f(i,j) = W biela Uvažujme koľko dát je nutných aby zastupoval šedú mierku obrazu v tejto podobe. Každý pixel vyžaduje skladovanie log2(1+w) bitov. Predpokladáme, že (1+W) je celé číslo. V prípade ak ním nie je, log2(1+w) zaokrúhlime na celé číslo. Zaokrúhľovanie nám budú značiť ostré zátvorky < log2(1+w) >. Vzhľadom k tomu, že máme m.n elementov obrazu, potrebujeme na uloženie dát pre celý digitálny obraz F m.n.<log2 (1+W)> bitov. Mnoho priemyselných systémov spracovania obrazu používa pri manipulácii s obrázkami nasledovné hodnoty, m = n = 512 a W = 255. Výsledkom týchto hodnôt dostávame veľkosť 256 kilobajtov na jeden obraz. Na rozdiel od monochromatického obrazu má binárny obraz len dve úrovne intenzity (čierna 0 a biela 1). Tým pádom nám stačí na uchovanie binárneho obrazu m.n bitov. Pri farebnom obraze sa zas navyše sčítajú farby (červené, zelené a modré) pre každý pixel. Signál z farebnej kamery môže byť zastúpený pomocou troch zložiek R = (r (i,j)), G = (g (i,j)), B = (b (i,j)). Potom vektor {r(i,j), g(i,j), b(i,j)} definuje intenzitu a farbu v bode (i,j) na farebnej snímke.[5] Farebné obrazy môžu byť zastúpené aj pomocou niekoľkých vrstiev monochromatického obrazu. Pri spracovaní obrazu, analýzy textúry a povrchu samozrejme existujú omnoho sofistikovanejšie riešenia. Rozličné matematické metódy, transformácie, modely a umelá inteligencia dokážu rozlíšiť nielen farbu, tvar, veľkosť, ale aj určiť súradnice pre prípadný pohyb robotických ramien (obrázok č. 3). 23

24 Zdroj<Bruce G. Batchelor and Paul F. Whelan: Intelligent Vision Systems for Industry> Obr. č. 3 Spracovanie obrazu a vyhodnotenie príslušných súradníc 3.2 Kamerové systémy vo výrobnom procese Existuje niekoľko aplikácií vo výrobnom procese, kde sa používajú kamerové systémy. Zahŕňajú procesy ako napríklad maľby zložitých štruktúr pomocou robotov, 3D inšpekcia cudzích subjektov v balených potravinách, monitorovanie továrne (kvôli bezpečnostným rizikám), rozpoznávanie defektov (trhliny, pukliny, atď) na produktoch a iné. Kamerové systémy môžu nájsť uplatnenie vo všetkých odvetviach priemyslu, preto je najvýhodnejšie kamerové systémy komplexných výrobných závodov napájať na PLC jednotku (obrázok č. 4). 24

25 Obr. č. 4 Jednoduché zapojenie monitorovacieho systému do PLC vo výrobnom podniku V najjednoduchších prípadoch sú len dve úrovne signálu cesty medzi monitorovacím systémom a PLC. Jeden z nich prenáša signál z PLC do monitorovacieho systému, vedie ho k digitalizácii obrazu a poháňa jeho cyklus na spracovanie. Druhý zas posiela signál prijatia / zlyhania z kamerového systému do PLC, ktoré na jeho základe spustí príslušný mechanizmus. Medzi jedno z najčastejších patrí použitie PLC k ovládaniu kontrolného systému pôsobiaceho na dopravný pás. Veľa signálov vstupu a výstupu PLC sú binárne, vrátane tých, ktoré slúžia na ovládanie svietidiel, bezpečnostného spínača a prijímajúceho / odmietajúceho mechanizmu. Akákoľvek je úloha kontroly, dôležité je zachytiť a vyhodnotiť obrazové dáta z kamery v najvhodnejší okamih vo výrobnom cykle. Systém synchronizácie môžeme zabezpečiť použitím svetelných senzorov na snímanie príchodu častí produktu na dopravníku (obrázok č. 5). 25

26 Obr. č. 5 Schéma dopravného pásu s použitím monitorovacieho systému V praxi sa najčastejšie stretávame s využitím viac kamerových systémov. Obraz z rôznych kamier sa môže v prípade potreby prekrývať. Pri použití viacerých kamier vo výrobnom procese zapájame systém do štruktúry Master / Slave. V prípade takéhoto systému musíme klásť mimoriadny dôraz na synchronizáciu. Každý Slave dokáže vyhodnotiť obraz a na jeho základe vyslať signál pre ďalšiu operáciu. Časť Master slúži na centralizáciu dát a s ňou spojenej kontroly (obrázok č. 6). Obr. č. 6 Dopravný pás s použitím Master / Slave zapojenia monitorovacieho systému 26

27 Na trhu existuje mnoho výrobcov (Omron, Siemens, Honeywell atď.) sofistikovaných monitorovacích systémov s rozličnými vlastnosťami. Pri výbere musíme zvážiť rozličné faktory, akými sú napríklad kompatibilita už s nainštalovanými časťami výrobného procesu, podporou pri zlyhaní systému, celkovou kvalitou vyhotovenia a iné. 27

28 Možnosti softvérového riešenia Počítačový softvér, alebo len softvér, je všeobecný pojem primárne používaný pre digitálne uložené dáta, akými sú počítačové programy. Softvér má nemateriálovú povahu a tvorí programové vybavenie výpočtového zariadenia. Rozdeľuje sa na systémový a aplikačný. Systémový softvér je navrhnutý pre prevádzku počítačového hardvéru a na zabezpečenie a udržovanie platformy na beh aplikačného softvéru. Aplikačný softvér, tiež známy pod pojmom aplikácia, je počítačový softvér navrhnutý pre užívateľa na uskutočnenie špecifickej úlohy. Pri výbere aplikačného softvéru v prevádzkach zohrávajú dôležitú úlohu rozličné faktory, akými sú napríklad robustnosť, dokumentácia a samozrejme cena. 4.1 Open source softvér Open source softvér je počítačový softvér, ktorý má k dispozícii zdrojový kód. Takýto softvér je publikovaný pod rozličnými licenčnými zmluvami, ktoré užívateľovi zvyčajne umožňujú zdrojový kód študovať, meniť a zlepšovať. Zároveň vyhradzujú autorské práva, možnosť modifikovať a šíriť softvér ďalej či už nezištne, alebo za účelom zisku. Open source licencie môžu obsahovať ešte ďalšie obmedzujúce podmienky, ako napr. uvedenie mena autora a uvedenie autorských práv. Najčastejšie je vyvíjaný širokou verejnosťou na báze spolupráce. Prijatie modelov open source softvéru prispieva k značným úsporám pre konečného spotrebiteľa. Existuje niekoľko všeobecne uznávaných prekážok prijatia open source softvéru v podnikoch. Tieto prekážky zahŕňajú dojem, že open source softvér môže byť nezabezpečený, chýba mu formálna podpora, školenia, pomalá rýchlosť zmien a nedostatok dlhodobých plánov. V skutočnosti je možno považovať open source za 28

29 bezpečný a mnoho vážnych open source projektov (najmä operačných systémov) zarába z platenej podpory a dokumentácie. Možnosť považovať softvér za open source určuje organizácia Open Source Initiative (OSI), ktorá vznikla v roku 1998 (obrázok č. 7). Zdroj < Obr. č.7 Logo organizácie Open Souce Initiative 4.2 Open source projekty pre video komunikáciu Poznáme viacero projektov, ktoré dnes napomáhajú k prenosu audia a videa cez internet. Tieto aplikácie uložené na rozličných serveroch streamujú (preposielajú údaje vo vyhradených 'prúdoch') dáta do celého sveta. Vyzdvihol by som iba najznámejšie projekty, pretože ich je skutočne veľa. Medzi jeden z nich patrí užívateľsky dôverne známy program VLC media player na prehrávanie médií, ktorý môže byť použitý aj ako server na streamovanie cez protokol IPv4 a IPv6. VLC dokáže bežať na rozličných operačných systémoch ako sú Windows, Linux, MacOS a iné. Jeho výhodou je vstavaná podpora kodekov na dekódovanie audia a videa. Nedokáže však spracovať stream zo strany klienta, pracovať so zdielanými objektami, a preto nie je vhodný pre obojsmernú audio video komunikáciu (obrázok č. 8). 29

30 Zdroj< Obr. č. 8 Možnosti streamovania videa pomocou VLC media playera Ako ďalší by som rád vyzdvihol Mammoth Server, ktorý je napísaný v programovacom jazyku C++ (tým pádom by mal byť najkvalitnejší vzhľadom na požiadavky hardwaru). Projekt je stále v štádiu alpha a je vydaný pod GNU Lesser General Public License. [6] Tento server patrí do skupiny streamingových serverov, ktoré využívajú na doručenie obsahu platformu Flash Player. Medzi jeho základné vlastnosti patrí: streamovanie vo všetkých možných flashových kodekoch (h263, h264, mp3, vp6, speex, nellymoser, atď.) využívanie protokolov rtmp, rtmpt, rtmpe s využitím projektu FFmpeg (rieši konvertovanie audia a videa do rozličných formátov) podporuje formáty ako sú: mov, flv, mkv, mp3, atď. 30

31 pomocou knižníc FaceOnIt dokáže rozpoznávať tváre a iné predmety využíva architektúru distribúcie Edge/Origin (obrázok č. 9) Zdroj < Obrázok č. 9 Edge/Origin distribúcia aplikácie Medzi najrobustnejší open source flash server patrí Red 5 vydaný pod GNU Lesser General Public Licenciou. Názov projektu je odvodený z Hviezdnych vojen kde Red 5 bol ten čo dokázal nemožné. [7] Je napísaný v Jave, preto môže byť použitý na ľubovolnom operačnom systéme. Projekt je uložený na serveroch Google (google code) a nachádza sa v stave alpha. Bol vydaný 3700 krát a prešiel momentálne 8 iterácií. Red 5 dokáže streamovať audio (MP3, F4A, M4A) a video (FLV, F4V, MP4). Dokáže spracovať dátový tok pre živý prenos pomocou kódovacích a dekódovacích knižníc Xuggler aj vo formáte h264. Vie pracovať so zdielanými objektami, remotingom (AMF application message format, ktorý umožňuje 31

32 plynulú komunikáciu medzi flash a java platformou) a nahrávať dátový tok od klienta (iba vo formáte FLV Flash Video formát). Z Red 5 bol inšpirovaný už vyššie spomínaný Mammoth server, čo taktiež dokazuje jeho kvality. Projekt je starý viac ako 3 roky a obsahuje riadkov kódu. Podporuje viaceré kodeky pre video (ScreenVideo, On2, VP6, Sorenson, H.263) a audio (ADPCM, NellyMoser, MP3, Speex). Kodeky ako AAC / MP4A sú vo vývoji. Aj keď Red 5 nedosiahol zatiaľ verziu 1.0 (nachádza sa v stave 0.9) bol nasadený vo viacerých projektoch z ktorých najznámejšie sú: Stručný prehľad vývoja Red5 server aplikácie Informácie o zmenách medzi rozličnými verziami Red5 od roku 2008 pre lepšie pochopenie vývoja open source aplikácií [8] Red ( ) Počiatočná podpora klastrovania dát pre viacero Edge a jedným Origin serverom Nový Flex administračný nástroj Pridaná nová základná trieda org.red5.server.adapter.multithreadedapplication Adapter, ktorý umožňuje viacerým klientom pripojenia simultánne na tú istú aplikáciu Podpora pre Javascript na strane servera 32

33 Red RC1 ( ) Podpora nového bezpečnostného modelu podporovaného Flash Playerom od verzie 9,0,124,0 Schopnosť virtuálneho hostingu (iba cez Tomcat) Schopnosť stiahnuť obsah použitím ContextLoader Podpora RTMPS (podobný protokol ako RTMP na rozdiel od neho je preposielaný cez HTTPS) Flexovo založená aplikácia na inštaláciu rozličných ukážkových aplikácií Pridané MP3 ID3 (informácie o skladbe napríklad) dáta do onmetadata eventu Podpora onimagedata a MP3 obrázku z albumu Red RC2 ( ) Pridaný framework na automatické testovanie Red ( ) Vylaďovania a opravy chýb Red ( ) Pridaný AVC/h.264 živý streaming Pridaná možnost pridať IoFiltre k RTMP pripojeniu Pridaný AAC živý streaming kód Vytvorený plug-in / server modulový systém Vytvorený autentifikačný plug-in podporovaný FMS a Red5 autentifikačnými rutinami Pridaná natívna podpora RTMPS 33

34 4.3 Komerčné produkty pre video komunikáciu Popri open source riešeniach existujú aj komerčné produkty s platenou podporou. Medzi takýto produkt patrí aj Adobe Flash Media Server (FMS) predtým známy ako Flash Communication Server. Ide o najkvalitnejšiu server aplikáciu na zdieľanie videa a podľa toho sa formuje aj cena za tento softvér (3200 eur k ). FMS server pracuje s Flash Playerom na vytvorenie médiami poháňanú RIA (Rich Internet Application Robustnú internetovú aplikáciu). Server používa ActionScript 1, založený na ECMAScript skriptovacom jazyku. Používa sa na streamovanie videa pre flash klienta, pre živé vysielanie, komunikáciu v reálnom čase, kolaboráciu medzi užívateľmi ako sú rozličné chatovacie miestnosti a hry pre viacero hráčov. Poznáme viacero projektov, ktoré využívajú FMS aj v Slovenskej Republike. Medzi takéto projekty patrí huste.sk alebo mc2.sk. Medzi silnú vlastnosť FMS patrí optimalizované doručenie dátového toku t. j. detekovanie internetového pripojenia a následné nastavenie kvality videa. Ďalej má prepracovanú bezpečnosť a na priamy prenos dokáže používať HD/H.264 video kodek. Používa RTMP (Real Time Messaging Protokol), samozrejmosťou sú zdielané objekty ako aj AMF3. Medzi novinku patrí doručenie videa pre Adobe Flash Lite, ktoré využívajú mobilné aparáty. Ďalším z čelade komerčných produktov je Wowza Media Server napísaný v Jave, ktorý dokonca používa aj firma Sun Microsystems či Universal Music GmbH. Tento software je možné implementovať na rozličné platformy ako iphone, Silverlight, Flash a iné. Podporuje RTMP, H.264/HE-AAC, SHOUTcast, Icecast, MP3 kodeky a Amazon EC2 architektúru. Je navrhnutý na 64-bitovú architektúru a najlepšie pobeží na 8 jadrovom CPU. Dokáže pracovať s obrovským 34

35 množstvom formátov ako sú.f4v,.mp4,.mov,.3gp a mnoho ďalších. Podobne ako FMS vie spracovať priamy prenos v HD (h.264) kvalite. (obrázok č. 10) Poskytuje rozličné aplikácie na manažment, správu a klastrovanie dát. Zdroj < Obrázok č. 10 Distribúcia živého vysielania pomocou Wowza Media Servera Nakoniec stojí za zmienku projekt WebORB z firmy MidnightCoders. Zaujímavé na ňom je, že existuje vo viacerých formách pre script na strane servera. Ide teda o najflexibilnejší server, ktorý nám umožňuje napísať kód v PHP,.NET, Jave, ColdFusione a v Ruby on Rails. Pri vyvíjaní aplikácií pre WebORB nám napomáhajú rôzne pomocné programy pre generáciu kódu, alebo rozličné debbugovacie a stres testovacie aplikácie. Obsahuje generovanie PDF dokumentov, vývojový kit pre rozposielanie správ, hry atď. Podobne ako konkurencia používa veľké množstvo protokolov, zdielané objekty a iné. Vyznačuje sa rýchlou náučnosťou, vývojom a implementáciou. Poskytuje prepojenie medzi Flashom, Silverlightom, Flexom, Ajaxom a serverovou aplikáciou. Napríklad PHP objekt môže byť prístupný rovnako pre klienta s Flash Playerom ako pre klienta s Ajaxom. 35

36 Použité technológie V tejto časti práce sa budem venovať praktickému využitiu nadobudnutých znalostí pre tvorbu aplikácií na dohľad a videokonferenciu. Najprv by som však chcel čitateľa oboznámiť s technológiami, programovacími jazykmi a protokolmi, ktoré boli pri ich tvorbe použité. 5.1 Adobe Flah Player Adobe Flash Player je softvér pre prehliadanie animácií a filmov pomocou počítačových programov, ako je webový prehliadač (napr. Mozilla Firefox, Opera, Safari a Google Chrome). Flash Player je široko distribuovaný proprietárny multimediálny prehrávač pre aplikácie. Je vyvíjaný a distribuovaný spoločnosťou Adobe po odkúpení spoločnosti Macromedia aj s produktovým portfóliom v roku Flash Player prehráva súbory s koncovkou.swf, ktoré môžu byť vytvorené v programovacom prostredí Adobe Flash, Adobe Flex, alebo iných nástrojov tretích strán. Pre úplnosť je Adobe Flash tvorivé prostredie a Flash Player je platforma používaná na spustenie Flash súborov. V hovorovom jazyku môže "Flash" znamenať buď prehrávač, tvorivé prostredie, alebo súbory aplikácie. Adobe Flash Player používa vektorovú, rastrovú grafiku a natívny skriptovací jazyk s názvom ActionScript, ktorý podporuje objektovo orientovaný kód. 36

37 5.2 MySQL databáza MySQL je slobodný a otvorený viacvláknový, viacužívateľský SQL relačný databázový server. MySQL je podporovaný na viacerých platformách (ako Linux, Windows či Solaris a je implementovaný vo viacerých programovacích jazykoch ako PHP, C++ či Perl. Databázový systém je relačný typu DBMS (database management system). Každá databáza je v MySQL tvorená z jednej alebo z viacerých tabuliek, ktoré majú riadky a stĺpce. V riadkoch sa rozoznávajú jednotlivé záznamy, stĺpce udávajú dátový typ jednotlivých záznamov, pracuje sa s nimi ako s poľami. Práca s MySQL databázou je vykonávaná pomocou takzvaných dotazov, ktoré vychádzajú z programovacieho jazyka SQL (Structured Query Language). [9] 5.3 HTML Hypertextový značkový jazyk (HyperText Markup Language; HTML) je značkový jazyk určený na vytváranie webových stránok a iných informácií zobraziteľných vo webovom prehliadači. HTML kladie dôraz skôr na prezentáciu informácií (odseky, fonty, váha písma, tabuľky atď.) ako na sémantiku (význam slov). Špecifikáciu jazyka HTML udržiava World Wide Web Consortium (W3C). Aktuálna verzia je HTML 4.01, ale W3C plánuje nahradiť HTML jazykom XHTML, implementáciou jazyka XML, ktorá zjednoduší prácu prehliadačov aj tvorcov web stránok. 5.4 PHP - Hypertext Preprocessor PHP: Hypertext Preprocessor je široko používaný open source skriptovací 37

38 programovací jazyk ktorý bol pôvodne určený na programovanie klient-server aplikácií (na strane servera) a pre vývoj dynamických webových stránok. Ide o softvér uvoľnený pod PHP Licenciou. Pre tento účel je PHP kód vložený do zdrojového kódu HTML dokumentu a následne spracovaný webovým serverom, ktorý 'vykreslí' webovú stránku. PHP je k dispozícii pre väčšinu moderných webových serverov a ako samostatný interpret pobeží na väčšine operačných systémov a počítačových platformách. 5.5 XML - extensible Markup Language XML znamená extensible Markup Language, v preklade rozšíriteľný značkovací jazyk, ktorý bol podobne ako PHP programovací jazyk vyvinutý a štandardizovaný konzorciom W3C ako pokračovanie jazyka HTML. Umožňuje jednoduché vytváranie konkrétnych značkovacích jazykov na rôzne účely a široké spektrum rôznych typov údajov. Jazyk je určený predovšetkým na výmenu údajov medzi aplikáciami a na publikovanie dokumentov. Jazyk umožňuje popísať štruktúru dokumentu z hľadiska vecného obsahu jednotlivých častí a nezaoberá sa sám o sebe vzhľadom dokumentu alebo jeho časťami. Prezentácia dokumentu (vzhľadu) sa potom definuje pripojeným štýlom. Ďalšou možnosťou je pomocou rôznych štýlov vykonať transformáciu do iného typu dokumentu alebo do inej štruktúry XML. Pôvodný jazyk na publikovanie HTML už prestal vyhovovať predovšetkým pre svoju zložitosť, ktorá vznikla jeho postupným (a svojvoľným) rozširovaním. Jazyk XML nemá žiadne preddefinované značky (tagy, názvy jednotlivých elementov) a tiež jeho syntax je podstatne prísnejšia ako syntax HTML. [10] 38

39 5.6 Protokoly V počítačovej praxi je protokol konvencia alebo štandard, ktorý riadi alebo umožňuje spojenie, komunikáciu a prenos dát medzi dvoma počítačovými koncovými bodmi. Protokoly môžu byť implementované v hardvéri, softvéri alebo v kombinácii oboch. Na najnižšej úrovni protokol definuje správanie hardvérového spojenia. [11] Transmission Control Protocol Transmission Control Protocol (TCP) je jedným z protokolov vďaka ktorým môžu programy na počítačoch v sieti vytvárať medzi sebou spojenia, ktorými je možné posielať dáta. Protokol pritom zaručuje, že dáta odoslané z jedného konca spojenia budú prijaté na druhej strane spojenia v rovnakom poradí a bez chýbajúcich častí. Rozlišuje tiež dáta pre rôzne aplikácie (ako webserver a ový server) v rámci jedného počítača. TCP spojenie má tri fázy: nadviazanie spojenia, prenos dát a ukončenie spojenia. Počas vytvárania spojenia sa inicializujú parametre ako poradové čísla paketov, aby sa zabezpečila robustnosť a poradie doručenia. TCP používa značenie pomocou čísel portov na identifikáciu prijímajúcich a odosielajúcich aplikácií. Každá strana TCP spojenia má priradené 16-bitové číslo bez znamienka (65535 portov) podľa odosielajúcej alebo prijímajúcej aplikácie. Na týchto portoch počúvajú známe aplikácie bežiace ako server. Patria medzi ne napríklad FTP (port číslo 21), Telnet (port číslo 23), SMTP (port číslo 25) a HTTP (port číslo 80). [12] Hypertext Transfer Protocol HTTP (Hypertext transfer protocol) je primárna metóda prepravy informácií na internete. Pôvodný účel bol poskytovať prostriedky pre publikáciu a získavanie 39

40 HTML stránok. HTTP je protokol definujúci požiadavky a odpovede medzi klientmi a servermi. HTTP klient (označovaný ako user agent), ako webový prehliadač zvyčajne začne požiadavku nadviazaním TCP spojenia na určenom porte vzdialeného stroja (štandardne port 80). HTTP server počúvajúci na danom porte čaká, kým klient pošle reťazec s požiadavkou ako "GET / HTTP/1.1" (ktorý žiada o zaslanie štartovacej stránky web servera) nasledovaný sériou hlavičiek opisujúcich detaily požiadavky a nasledovaných telesom ľubovoľných údajov. Po prijatí požiadavky server pošle reťazec s odpoveďou ako "200 OK" nasledovaní hlavičkou spolu so samotnou správou, ktorej telo tvorí obsah požadovaného súboru, chybové hlásenie alebo iná informácia Real Time Messaging Protocol - RTMP Ide o protokol vyvinutý spoločnosťou Adobe Systems pre prenos audia, videa a dát cez internet medzi Flash Playerom a serverom. Bol založený na TCP (Transmission Control Protocol) s jedným trvácnym pripojením na umožnenie komunikácie v reálnom čase. Pre zaručenie plynulého prenosu videa a audia pri zachovaní schopnosti preniesť väčšie množstvo informácií dokáže tento protokol rozdeliť video a dáta do fragmentov. Veľkosť fragmentov je možné dynamicky nastavovať medzi klientom a serverom, alebo ich kompletne zablokovať. Predvolená veľkosť fragmentov je 128 bytov pre video a pre dáta, pre audio je to 64 bytov. RTMP definuje niekoľko kanálov (napr. dáta, video, audio), na ktorých môže prijímať/odosielať pakety a ktoré pracujú nezávisle od seba. Po uložení RTMP dát do paketov sa vytvorí tzv. hlavička, ktorá obsahuje rozličnú špecifikáciu ako čas, veľkosť paketov, id kanála. Po vytvorení hlavičky začína zaťaženie paketmi, ktoré sú fragmentované podľa už dohodnutej veľkosti. Hlavička sa nikdy nefragmentuje a jej 40

41 veľkosť sa nezapočítava do veľkosti paketovaného prvého fragmentu. Z toho vyplýva, že iba zaťaženie paketov je predmetom fragmentácie. Vo vyššej úrovni RTMP zapuzdruje MP3 a Flash Video multimediálne streamy a môže uskutočniť vzdialené procedurálne volania (RPC remote procedure calls) použitím AMF (napr. priamo zavolať funkciu v ActionScripte). RTMP protokol má tri variácie: 1. Tzv. 'čistý' protokol (RTMP), ktorý vychádza z TCP a používa predvolený port číslo RTMPT je protokol zapuzdrený do HTTP požiadaviek na prekročenie firewallu 3. RTMPS pracuje podobne ako RTMPT, ale je preposielaný cez HTTPS (Hypertextový prenosový protokol s využitím SSL [secure socket layers] ) pripojenie a používa predvolený port 443 I keď sú protokoly RTMPT a RTMPS väčšie ako nezapuzdrovaný RTMP, kvôli HTTP a HTTPS hlavičkám, ich použitie má opodstatnenie ak sa klient nachádza za firewallom, ktorý bráni všetky spojenia okrem HTTP a HTTPS [13]. Hlavnou motiváciou pre RTMP bol trvácny protokol pre Flash, môžeme ho však nájsť aj v iných aplikáciách ako sú napr. Adobe LiveCycle Data Servises ES. Adobe publikovalo RTMP špecifikáciu 15. júna Action Message Format (AMF) AMF je binárny formát používaný na serializovanie ActionScriptových objektov. Je určený primárne na výmenu dát medzi Adobe Flash aplikáciou a 41

42 vzdialenou službou cez internet. Typické použitie z Adobe Flash Player obsahuje ActionSript program, ktorý: 1. Uskutoční pripojenie na bližšie špecifikovanú 'bránu' URL na web servery 2. Pripojí sa na službu umožňujúcu AMF komunikáciu 3. Zavolá metódu, ktorá je uložená v službe s určitou návratnou hodnotou 4. Preposielané argumenty sa serializujú do AMF formátu a deserializujú sa pri prijímaní 5. Služba spracuje volanie a môže preposlať dáta (volanie) naspäť cez AMF 6. Pri spätnom volaní sa spustí metóda a vrátené dáta sa môžu spracovať AMF bolo predstavené s Flash Playerom 6 a bola uvedená ako verzia AMF 0. Formát ostal nezmenený až do príchodu Flash Playera 9 a podporou ActionScript 3.0. Zmenou dátových typov a funkcií jazyka podmienili aktualizáciu AMF formátu na AMF 3. Adobe publikovalo AMF binárnu datovú špecifikáciu 13. decembra 2007 a prisľúbila podporu protokolu pre každú serverovú platformu. AMF protokol je podporovaný mnohými serverovými jazykmi a technológiami vo forme knižníc a služieb, ktoré musia byť nainštalované a integrované aplikačným developerom. Platformy pre AMF: Java BlazeDS, Red5, Cinnamon, OpenAMF, Pimento, Granite.Net WebORB, FluorineFx, AMF.NET PHP AMFPHP, SabreAMF, WebORB Python PyAMF, Flashticle, amfast, Plasma Perl AMF::Perl Ruby RubyAMF, WebORB 42

43 Curl Curl Data Services Frameworky pre prácu s AMF: Ruby on Rails RubyAMF Zend Framework Zend_AMF OSGi Framework AMF3 for OSGi Django Django AMF CakePHP CakeAMFPHP Grails (framework) BlazeDS 5.8 JAVA (programovací jazyk) Java je programovací jazyk pôvodne vyvinutý Jamesom Goslingom v spoločnosti Sun Microsystems (ktorá je teraz dcérskou spoločnosťou Oracle Corporation). Veľká časť jeho syntaxe vychádza z programovacieho jazyka C a C ++, ale má jednoduchší objektový model. Java aplikácie sú obvykle zostavené pomocou kompilátora do bytového kódu (súbor, triedy), ktoré môžu bežať na platforme Java Virtual Machine (JVM), bez ohľadu na počítačové architektúry (obrázok č. 11). Je určená pre vývojárov aplikácií, ktorý napísaný kód distribuujú na rôzne operačné systémy bez nutnosti zmeny v programe. [14] Java je považovaná ako jeden z najvplyvnejších programovacích jazykov 20. storočia, je široko používaná od aplikačného softvéru až po webové aplikácie. Od roku 1995, kedy bola Java oficiálne predstavená, prekonala niekoľko vývojových štádií. Postupne sa prepracovala z klientskej strany na serverovú a jej robustná architektúra si vyslúžila dôveru aj v oblasti bankovníctva a finančníctva. Dnes je možné ju nájsť nielen vo firemnej sfére, ale aj v mobilných telefónoch či 43

44 komunikačných moduloch. 13. novembra 2006 Sun Microsystems uvoľnil veľkú časť zdrojového kódu Javy pod GNU General Public License (GPLv2). 8. mája 2007 uvoľnil zvyšnú časť kódov, ku ktorým mal na to práva. Reimplementácia zvyšných častí pokračuje. Zdroj < Obrázok č. 11 Distribúcia základnej 'hello world!' aplikácie na rozličné operačné systémy 5.9 Apache HTTP Server Apache HTTP Server je projekt výsledkom spoločného vývoja softvéru schopného komerčného zavedenia zameraného na vytvorenie robustnej a voľne dostupnej implementácie HTTP (Web) serveru. Tento projekt je spoločne riadený skupinou dobrovoľníkov, ktorí sa nachádza po celom svete. Okrem toho, stovky užívateľov prispelo nápadmi, kódom a dokumentáciou k projektu. [15] Je k dispozícii pre celý rad operačných systémov, vrátane Unix, GNU, FreeBSD, Linux, Solaris, Novell NetWare, Mac OS X, Microsoft Windows, OS / 2, TPF, a ecomstation. Tento projekt je súčasťou Apache Software Foundation a je poskytovaný ako open source pod Apache licenciou. 44

45 Praktické využitie znalostí V tejto časti práce by som rád demonštroval nadobudnuté znalosti pomocou dvoch aplikácií. Tieto aplikácie majú čisto demonštračné účely. 6.1 Využitie Red 5 na tvorbu video chatu Pri praktickom využití poznatkov som sa pokúsil o vytvorenie vlastnej video chat aplikácie pomocou Red 5 na komunikáciu medzi operátormi. Aplikácia sa skladá z viacerých častí. Asi medzi najdôležitejšiu patrí čast na strane servera, do ktorej zapadá server Red 5 a na mieru napísaná aplikácia v ňom pre náš video chat (obrázok č. 12). Obrázok č. 12 Časť kódu na strane servera - funkcia na pripojenie sa na server 45

46 Medzi ďalšiu časť patrí databáza užívateľov, obrázkov, session handlerov a iných bezpečnostných prvkov, o ktorú sa stará Drupal (obrázok č. 13). Drupal je open source modulárny framework a redakčný systém napísaný v jazyku PHP. Podobne ako ostatné moderné redakčné systémy i Drupal umožňuje systémovému administrátorovi vytvárať a organizovať obsah, manažovať užívateľov a príspevky. Napriek sofistikovanému programovému rozhraniu sa väčšina úloh môže vykonať bez väčších programovacích znalostí. Drupal je často opisovaný ako framework pre webovú aplikáciu, pretože nám umožnuje rozšíriť systém o rozličné servisy a pluginy. S našou aplikáciou ho spája AMF plugin, pomocou ktorého dokáže komunikovať a zdielať objekty z jazyka PHP do jazyka ActionScript (naše užívateľské rozhranie Flash Player). Drupal dokáže pracovať v rozličných systémoch ako sú Windows, Mac OS X, Linux, FreeBSD, OpenBSD a iných platformách, na ktorých dokáže fungovať Apache a PHP jazyk. Podporuje MySQL alebo PostgreSQL databázu na ukladanie obsahu a nastavení. Obrázok č. 13 Logo Drupal frameworku Ďalšia čast sa nazýva 'client-side', znamená časť aplikácie na strane klienta. Táto časť bola vyvíjaná v Eclipse (open source IDE - integrated development environment) s príslušnými pluginmi ako sú napr. Flex Builder 3. Platforma doručenia je Flash Player, (nainštalovaný na 98% počítačoch) z uvedeného dôvodu je značná časť kódu (obrázok č. 14) napísaná v ActionScripte a štrukturizovaná v MXML (scriptovací jazyk založený na štruktúre XML). 46

47 Obrázok č. 14 MXML štruktúra Pri spustení / načítaní tejto časti kódu sa zobrazí autentifikačné okno, z ktorého sa vieme zaregistrovať, ak sme noví užívatelia, vyžiadať nové heslo, ak sme ho zabudli (heslo sa zašle mailom pomocou Drupalu) a hlavne pri správne zadanom hesle a užívateľskom mene vstúpiť do aplikácie. (obrázok č. 1 5) Obrázok č. 15 Autentifikačné okno Meno a heslo sa porovná s databázou. Pri zhode sa užívateľ ocitne v hlavnom rozhraní, kde vidí kto sa nachádza vo video chate (užívateľské mená), chat ako taký na písanie krátkych správ o ktoré sa stará Red 5, svoj dátový tok a dátový 47

48 tok určitého vopred vybraného užívateľa (obrázok č. 16). Obrázok č. 16 Dátový tok (video) zachytený pomocou web kamery na strane užívateľa Hore v záložkách si môžeme kliknúť na 'userov' kde je možné vidieť všetkých zaregistrovaných užívateľov (aj tých čo momentálne nie sú online). Zároveň sa môžeme prepnúť do záložky profil, kde môžeme zmeniť heslo, , meno a profilovú fotku. (obrázok č. 17). Počas celého času je možné sa z aplikácie odhlásiť pri kliknutí na dvere v pravom hornom rohu. V ľavom hornom rohu máme možnosť sledovať momentálne množstvo pripojených užívateľov a čas nastavený na serveri. Obrázok č. 17 Záložka 'Profile' - nahrávanie profilového obrázku 48

49 6.2 Využitie Red 5 pre vzdialený dohľad Podobne ako prvá aplikácia i táto bola napísaná v Eclipse s Flex Builder 3 pluginom. Taktiež sa delí na serverovú a klientskú časť. Aplikácia slúži na záznam videa pri detekovaní pohybu na vzdialené úložisko dát pre zvýšenú bezpečnosť. Bolo treba naprogramovať pripojenie na server Red5, spustiť funkciu na strane užívateľa pri detekcii pohybu (zmeny obrazu), zahájiť nahrávanie, posielanie videa na server a jeho následné uloženie vo formáte.flv (obrázok č. 20). Obrázok č. 18 Schéma aplikácie na záznam videa Užívateľské rozhranie sa skladá zo vstupného textu na zápis prenosového vlákna (adresa web servera). Ďalej obsahuje informatívne textové pole, ktoré nás informuje o stave nášho pripojenia. Sledované video s možnosťou nastavenia senzitivity zmeny obrazu, pri ktorom sa spustí automatické nahrávanie a samozrejme aj tlačidlo na manuálne spustenie nahrávania(obrázok č. 21). 49

50 Obrázok č. 19 Užívateľské rozhranie detekcia pohybu ruky Možnosť využitia takejto aplikácie v praxi je skutočne veľká. Počnúc možnosťou evidencie dochádzky na pracovisko cez zabezpečenie prevádzky od nepovoleného vstupu, až po záznam tovarov na bežiacom páse. V praxi by bolo veľkou výhodou pre danú aplikáciu jej cenová relácia pri realizácii. Pri voľbe už spomínaných open source riešení odpadajú náklady na operačný systém, serverovú aplikáciu, užívateľské rozhranie a vývojové prostredie. Náklady by tvorila iba hardvérová časť (server, web kamera) a internetové pripojenie. 6.3 Testovacia prevádzka Na overenie funkčnosti mojej aplikácie som si poskladal doma server (obrázok č. 18) s nasledovnou konfiguráciou: Procesor: AMD Athlon(tm) 64 Processor Cache pamäť: 512kb 50

51 Frekvencia: 1800 MHz Pamäť RAM: 2063MB Sieťová karta: Marvell Technology Group Ltd. 88E8053 PCI-E Gigabit Ethernet Controller Operačný systém: Debian GNU/Linux Obrázok č. 20 Profil doma poskladaného servera Debian GNU/Linux Ako je možné vidieť pri výbere operačného systému som opäť siahol po open source riešení. Projekt Debian ako prvý oznámil dňa 16. augusta 1993 Ian Murdock. Hlavná časť je uvoľnená po licenciou GNU General Public. Môže byť použitý ako desktop, rovnako ako serverový operačný systém. Zameriava sa na stabilitu, bezpečnosť a zároveň je používaný ako základňa pre mnoho iných distribúcií. 51

52 Rozvíjal sa pomaly a v rokoch 1994 a 1995 bol sponzorovaný nadáciou Free Software Foundation GNU. Verziu 1.x Debian dosiahol až v roku Vyvíja ho viac ako tisícka dobrovoľníkov z celého sveta a je podporovaný darcovstvom od mnohých neziskových organizácií. Ide o nezávislú decentralizovanú organizáciu, ktorá nie je podporovaná komerčnou spoločnosťou na rozdiel od iných distribúcií GNU / Linux ako napríklad Ubuntu, opensuse, Fedora a Mandriva. Aktuálna stabilná verzia zahŕňa viac ako 25 tisíc softvérových balíčkov pre dvanásť počítačových architektúr. Náklady na vývoj všetkých balíčkov v distribúcii Debian 4.0 etch (283 miliónov riadkov kódu), boli odhadnuté na takmer 13 mld USD. K 2. aprílu 2009 mal Debian 45 miliónov riadkov kódu a jeho cena sa odhadovala na 819 miliónov dolárov. [16] Inštalácia Red5 Inštalácia aplikácie Red5 na operačný systém Debian sa skladá z 10 krokov 1. Stiahnutie a nainštalovanie programu Subversion (program slúži okrem iného na sťahovanie projektov z internetu) príkazom: apt-get install subversion 2. Nainštalovanie nástrojov pre tvorbu vlastných Debian programových balíkov apt-get install dpkg-dev debhelper dh-make devscripts fakeroot 3. Inštalácia Java balíkov apt-get install java-package 4. Inštalácia Apache Ant 1.7 (kompilátor) wget tar zxvf apache-ant bin.tar.gz 52

53 mv apache-ant /usr/local/ant export ANT_HOME=/usr/local/ant (uloženie do systémovej premennej) 5. Stiahnutie najnovšej developerskej verzie Red5 pomocou Subversion svn co red5-trunk 6. Kompilácia stiahnutého Red5 kódu pomocou Apache Ant cd red5-trunk /usr/local/ant/bin/ant 7. Vytvorenie priečinku pre skompilovaný projekt mkdir /usr/local/red5 8. Nahranie projektu do nami vytvoreného priečinku cp -R red5-trunk/dist/* /usr/local/red5/ 9. Nastavenie prístupových pravidiel cd /usr/local/red5 chmod 755 red5.sh 10. Manuálne spustenie Red5 služby (obrázok č. 19)./red5.sh 53

54 Obrázok č. 21 Spúšťanie Red5 serverovej aplikácie v konzole systému Debian Pri skúšobnej prevádzke som nezaznamenal žiadne väčšie problémy. Na server sa podarilo pripojiť viacerých klientov z Bratislavy a Prahy. Pri vyššom počte klientov však obraz prenosu videa začal trocha trhať čo sa však dalo očakávať pri rýchlosti 0,5 Mb/s na ktorý bol tento skúšobný server napojený. 54