Spracovanie multimediálnych signálov I Ján Staš

Prepis

1 Spracovanie multimediálnych signálov I Ján Staš

2 Základné pojmy médium v oblasti informačných a komunikačných technológií sa pojem médium vzťahuje na rôzne druhy informácií, ktoré sa spracúvavajú a prenášajú multimédiá viac než jeden druh informácie, ktorá sa má spracovávať/prenášať súčasne modalita kompaktná zložka multimediálnych dát multimediálny systém systém na spracovanie, resp. prenos multimédiálnych dát multimediálna aplikácia/služba režim multimediálneho systému, ktorým sa realizuje sprístupnenie multimédií používateľovi 1/20

3 Klasifikácia modalít vzhľadom na čas statické text grafika statický obraz dynamické reč/hlas audio animácie video vzhľadom na priestor jednorozmerné reč/hlas audio dvojrozmerné text grafika statický obraz viacrozmerné animácie video iné druhy modalít biologické signály EEG, EKG, EMG, a i. interaktívne systémy behaviorálne kognitívne Internet vecí distribuované výpočtové prostredie 2/20

4 Spracovanie multimediálnych signálov súhrn postupov, ktoré zabezpečujú úpravu ich formy s ohľadom na ich ďalšie spracovanie a prenos k vzdialenému používateľovi. Zahŕňa digitalizácia (diskretizácia) prevod analógového signálu do číslicovej podoby predspracovanie vzorkovanie (diskretizácia) kvantovanie binárne/zdrojové kódovanie kompresia odstránenie redundancie (nadbytočnosti) obsiahnutej v dátach dekorelácia zdrojových dát kvantovanie a redukcia entropie bezstratové/entropické kódovanie zapamätanie proces uloženia modality do pamäte s cieľom jej archivácie indexácia proces uloženia metainformácie o modalite s cieľom jej rýchleho vyhľadania vyhľadávanie proces výberu archivovanej modality z pamäte 3/20

5 Digitalizácia signálov 1/17 predspracovanie (low-pass filtering) obmedzenie maximálnej frekvencie signálu vzorkovanie (sampling) transformácia analógového signálu na postupnosť vzoriek so spojite sa meniacou amplitúdou (reverzibilný proces) kvantovanie (quantization) transformácia postupnosti vzoriek so spojite sa meniacou amplitúdou na postupnosť vzoriek s diskrétne sa meniacou amplitúdou (ireverzibilný proces) binárne/zdrojové kódovanie (binary/source encoding) priradenie kódových slov jednotlivým kvantizačným úrovniam 4/20

6 Digitalizácia signálov 2/17 vzorkovanie (sampling) jednorozmerných signálov analógový signál po obmedzení dolnopriepustným filtrom je vzorkovaný každých TT ss sekúnd, pričom TT ss je vzorkovacia perióda výstupom je signál diskrétny v čase, ale spojitý v amplitúde (hodnote) Shannonova-Koteľnikova/Nyquistova veta o vzorkovaní vzorkovacia frekvencia ff ss = 1/TT ss musí byť minimálne 2x väčšia než maximálna frekvencia vzorkovaného signálu ff ss = 1 TT ss 2ff mmmmmm pričom platí, čím vyššia je vzorkovacia frekvencia, tým lepšia bude rekonštukcia signálu tento proces sa nazýva aj pulzná amplitúdová modulácia (pulse amplitude modulation, skr. PAM) 5/20

7 Digitalizácia signálov 3/17 vzorkovanie (sampling) jednorozmerných signálov existujú 3 spôsoby vzorkovania signálu ideálne (ideal) vzorka signálu je jednotkový impulz, pričom šírka impulzu je nekonečne malá prirodzené (natural) vzorka signálu je krátky impulz s meniacou sa amplitúdou ploché (flat-top) vzorka signálu je krátky impulz s konštantnou amplitúdou 6/20

8 Digitalizácia signálov 4/17 efekt aliasingu ak signál vzorkujeme s rýchlosťou ff ss = 1/TT ss [vzoriek/sekundu] a ak kk je kladné alebo záporné celé číslo, je prakticky nemožné rozlíšiť dve vzorky signálu s frekvenciou ff 0 a ff 0 + kkff ss [Hz] 7/20

9 Digitalizácia signálov 5/17 predspracovanie dolnopriepustným filtrom (low-pass filtering) pred vzorkovaním pred vzorkovaním musíme analógový signál filtrovať dolnopriepustným filtrom, aby sme obmedzili jeho maximálnu frekvenciu, čím ovplyvníme aj vzorkovaciu frekvenciu ff ss = 1/TT ss filtráciou odstránime komponenty vyšších frekvencií, ktoré ovplyvňujú tvar signálu, čím predídeme následnému skresleniu signálu v ďalšom kroku digitalizácie signálu tento proces sa nazýva inak aj anti-aliasing (zabránenie prekrývania sa spektier signálu) 8/20

10 Digitalizácia signálov 6/17 vzorkovanie (sampling) dvojrozmerných signálov pri spracovaní dvojrozmerných signálov ako sú napr. statické obrazy je rozumné vzorkovať aspoň 5x jemnejšie, než je teoretická hranica daná vzorkovacou vetou výber vzorkovacej mriežky štvorce (rectangular sampling) trojuholníky (polygonal triangular sampling) šesťuholníky (hexagonal sampling) jednému vzorkovanému bodu v mriežke zodpovedá jeden obrazový prvok (pixel) 9/20

11 Digitalizácia signálov 7/17 rozdiel medzi šesťuholníkovou a štvorcovou mriežkou pri vzorkovaní farebných obrazov 10/20

12 Digitalizácia signálov 8/17 kvantovanie (quantization) proces konverzie spojitej amplitúdy vzoriek signálu do konečného počtu kvantizačných hladín, ktoré je možné kódovať konečným počtom bitov amplitúda medzi jednotlivými vzorkami signálu nadobúda nekonečne veľa hodnôt, preto sa snažíme tento nekonečný počet namapovať na konečný počet hodnôt to sa dá dosiahnuť rozdelením intervalu hodnôt medzi minimálnou a maximálnou hodnotou vzorkovaného signálu do NN úrovní s veľkosťou, pričom = (mmmmmm mmmmmm)/nn počet úrovní nn-bitového kvantizátora je potom NN = 2 nn rozlišujeme skalárne a vektorové (blokové) kvantovanie 11/20

13 Digitalizácia signálov 9/17 typy kvantizátorov lineárny (uniform) skalárny kvantizátor rovnomerné rozloženie kvantizačných a rozhodovacích úrovní adaptívny (adaptive) skalárny kvantizátor ako lineárny skalárny kvantizátor avšak na obmedzenom intervale hodnôt, prispôsobuje kvantizačný krok vstupnej, resp. výstupnej postupnosti hodnôt nelineárny (non-uniform) skalárny kvantizátor nerovnomerné rozloženie kvantizačných a rozhodovacích úrovní (exponenciálne narastá) nelineárny skalárny kvantizátor s kompandovaním (companding) aproximácia nelineárneho kvantizátora pomocou kompresora, lineárneho kvantizátora a expandéra vektorový (blokový) kvantizátor - každému vstupnému vektoru hodnôt v N rozmernom priestore je priradený jeden z výstupných vektorov (z tzv. kódovej knihy) 12/20

14 Digitalizácia signálov 10/17 lineárny vs. nelineárny skalárny kvantizátor 13/20

15 Digitalizácia signálov 11/17 adaptívny skalárny kvantizátor kvantizátor s doprednou (feedforward) adaptáciou kvantizátor so spätnoväzobnou (feedback) adaptáciou 14/20

16 Digitalizácia signálov 12/17 nelineárny skalárny kvantizátor s kompandovaním kompresia (compression) realizuje nelineárnu transformáciu vstupnej postupnosti hodnôt lineárne skalárne kvantovanie rovnomerné rozdelenie kvantizačných a rozhodovacích úrovní s optimálnym kvantizačným krokom expanzia (expansion) vykonáva transformáciu postupnosti na výstupnú postupnosť hodnôt kvantovanej 15/20

17 Digitalizácia signálov 13/17 nelineárny skalárny kvantizátor s kompandovaním činiteľ kompresie charakterizuje zakrivenie kompresnej charakteristiky, ktorá má logaritimický priebeh 16/20

18 Digitalizácia signálov 14/17 kvantovanie (quantization) dvoj- a viacrozmerných signálov (blokové) vektorové kvantovanie proces priradenia každému vstupnému vektoru hodnôt jeden z výstupných vektorov (z tzv. kódovej knihy) v N rozmernom priestore 17/20

19 Digitalizácia signálov 15/17 kvantizačný šum (chyba, skreslenie) rozdiel medzi aktuálnou amplitúdou a strednou hodnotou kvantizačnej úrovne so zvyšujúcim sa počtom kvantizačných úrovní sa kvantizačná chyba zmenšuje rozlišujeme granulačný šum odchýlky vstupných hodnôt premenných od hodnôt príslušných kvantizačných úrovní šum z preťaženia kvantizátora prípad, kedy hodnota vstupnej premennej prevyšuje rozsah kvantizátora, potom na jeho výstupe bude maximálna hodnota jeho rozsahu neistota kvantovania kvantizátor si nie je istý, ktorej kvantizačnej hladine priradiť hodnotu 18/20

20 Digitalizácia signálov 16/17 binárne/zdrojové kódovanie každej kvantizačnej úrovni je potom priradený binárny kód v prípade 3-bitového kvantizátora je potom dĺžka kódového slova 3 a počet kódových slov 2 3 = 8, obdobne v prípade 4-bitového kvantizátora je potom dĺžka kódového slova 4 a počet kódových slov 2 4 = 16 príklad formát CD audio - ff ss = HHHH, nn bb = 16 bbbbbb ak chceme zakódovať 1 minútu stereo nahrávky tak: formát PCM bude zaberať 60 ssssss 2 ccc HHHH 16 bbbbbb = 80,75 MMMM pamäte bitová rýchlosť bude 2 ccc HHHH 16 bbbbbb = 1,41 MMMMMMMM/ss 19/20

21 Digitalizácia signálov 17/17 princíp prevodu analógového signálu do číslicovej podoby a naopak proces sa označuje aj ako pulzná kódová modulácia (pulse code modulation) 20/20

22 Ďakujem za pozornosť