Prenosový kanál a jeho kapacita

Prenosový kanál a jeho kapacita Stanislav Palúch Fakulta riadenia a informatiky, Žilinská univerzita 5. mája 2011 Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 1/18

Prenosový ret azec a prenosový kanál Prenosový ret azec Zdroj signálu Kóder Prenosový kanál Dekóder Prijímač Šum Prenosový kanál Prenosový kanál komunikačné zariadenie so vstupom a výstupom. Vstup dokáže spracovávat znaky vstupnej abecedy Y. Z výstupu kanála vystupujú znaky výstupnej abecedy Z. y 1,y 2,y3, Prenosový kanál z 1,z 2,z 3,... Vo väčšine prípadov Y = Z. Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 2/18

Prenosový ret azec a prenosový kanál Prenosový ret azec Zdroj signálu Kóder Prenosový kanál Dekóder Prijímač Šum Prenosový kanál Prenosový kanál komunikačné zariadenie so vstupom a výstupom. Vstup dokáže spracovávat znaky vstupnej abecedy Y. Z výstupu kanála vystupujú znaky výstupnej abecedy Z. y 1,y 2,y3, Prenosový kanál z 1,z 2,z 3,... Vo väčšine prípadov Y = Z. Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 2/18

Príklad Príklady Vstupná abeceda Y = {0, 1} reprezentovaná napät ovými úrovňami 0 = L (Low nízka napr. 0.7 V) 1 = H (High vysoká napr. 5.5 V) Výstupná abeceda Z = {0,1, } 0 0.7, 2.3 Príklad 1 3.9, 5.5 (3.9,5.5) chyba Nech vstupnú abecedu Y kanála tvorí množina všetkých 8-bitových čísel s párnou paritou. Ak ide o poruchový kanál, môžu sa na výstupe objavit aj 8-bitové čísla s nepárnou paritou. Výstupnou abecedou Z kanála je množina všetkých 8-bitových čísel. Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 3/18

Bezporuchový kanál Definícia Bezporuchový kanál Bezporuchový kanál je taký kanál, pri ktorm znak z i prijatý v čase i jednoznačne závisí len od vyslaného slova y 1,y 2,...,y i t. j. z i = F i (y 1,y 2,...,y i ). Ak znak z i prijatý v čase i z i závisí len na vyslanom znaku y i t. j. z i = f i (y i ), potom hovoríme, že sa jedná o prenosový kanál bez pamäte. Inak hovoríme, že ide o prenosový kanál s pamät ou. Bezporuchový kanál teda jednoznačne popíšeme súborom funkcíı {f i } i=1,2,... resp. {F i } i=1,2,.... Vel mi často f i resp. F i nezávisia na i a dokonca f i býva identita. Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 4/18

Prenosové kanály so šumom Ak vyšleme cez rušený kanál vstupné slovo y 1,y 2,...,y i, môžeme vplyvom porúch prijat l ubovol né výstupné slovo z 1,z 2,...,z i, pravda, s rôznou pravdepodobnost ou. Podmienená pravdepodobnost prijatia slova z 1,z 2,...,z i za predpokladu, že bolo vyslané slovo y 1,y 2,...,y i. Definícia ν(z 1,z 2,...,z i y 1,y 2,...,y i ) Prenosový kanál C je usporiadaná trojica C = (Y,Z,ν), kde Y je vstupná abeceda, Z je výstupná abeceda a ν : i=1 (Zi Y i ) 0,1, pričom ν(z 1,z 2,...,z i y 1,y 2,...,y i ) je podmienená pravdepodobnost, že na výstupe sa objaví slovo z 1,z 2,...,z i za predpokladu, že na vstupe bolo slovo y 1,y 2,...,y i. Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 5/18

Prenosové kanály so šumom ν i (z i y 1,y 2,...,y i ) podmienená pravdepodobnost javu, že sa v čase i objaví na výstupe znak z i za predpokladu, že na vstupe bolo slovo y 1,y 2,...,y i. Potom ν i (z i y 1,y 2,...,y i ) = ν(z 1,z 2,...,z i y 1,y 2,...,y i ). z 1,z 2,...,z i 1 Hovoríme, že kanál C je kanál bez pamäte, ak ν i (z i y 1,y 2,...,y i ) závisí iba na y i, t. j. ak ν i (z i y 1,y 2,...,y i ) = ν i (z i y i ). Ak navyše ν i (z i y i ) nezávisí na i, t. j. ak ν i (z i y i ) = ν(z i y i ), hovoríme, že C je stacionárny kanál bez pamäte. Ak ν(z 1,z 2,...,z i y 1,y 2,...,y i ) = ν(z 1 y 1 )ν(z 2 y 2 )...ν(z i y i ) = hovoríme, že C je stacionárny nezávislý kanál. i ν(z k y k ), Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 6/18 k=1

Prenosové kanály so šumom ν i (z i y 1,y 2,...,y i ) podmienená pravdepodobnost javu, že sa v čase i objaví na výstupe znak z i za predpokladu, že na vstupe bolo slovo y 1,y 2,...,y i. Potom ν i (z i y 1,y 2,...,y i ) = ν(z 1,z 2,...,z i y 1,y 2,...,y i ). z 1,z 2,...,z i 1 Hovoríme, že kanál C je kanál bez pamäte, ak ν i (z i y 1,y 2,...,y i ) závisí iba na y i, t. j. ak ν i (z i y 1,y 2,...,y i ) = ν i (z i y i ). Ak navyše ν i (z i y i ) nezávisí na i, t. j. ak ν i (z i y i ) = ν(z i y i ), hovoríme, že C je stacionárny kanál bez pamäte. Ak ν(z 1,z 2,...,z i y 1,y 2,...,y i ) = ν(z 1 y 1 )ν(z 2 y 2 )...ν(z i y i ) = hovoríme, že C je stacionárny nezávislý kanál. i ν(z k y k ), Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 6/18 k=1

Prenosové kanály so šumom ν i (z i y 1,y 2,...,y i ) podmienená pravdepodobnost javu, že sa v čase i objaví na výstupe znak z i za predpokladu, že na vstupe bolo slovo y 1,y 2,...,y i. Potom ν i (z i y 1,y 2,...,y i ) = ν(z 1,z 2,...,z i y 1,y 2,...,y i ). z 1,z 2,...,z i 1 Hovoríme, že kanál C je kanál bez pamäte, ak ν i (z i y 1,y 2,...,y i ) závisí iba na y i, t. j. ak ν i (z i y 1,y 2,...,y i ) = ν i (z i y i ). Ak navyše ν i (z i y i ) nezávisí na i, t. j. ak ν i (z i y i ) = ν(z i y i ), hovoríme, že C je stacionárny kanál bez pamäte. Ak ν(z 1,z 2,...,z i y 1,y 2,...,y i ) = ν(z 1 y 1 )ν(z 2 y 2 )...ν(z i y i ) = hovoríme, že C je stacionárny nezávislý kanál. i ν(z k y k ), Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 6/18 k=1

Prenosové kanály so šumom ν i (z i y 1,y 2,...,y i ) podmienená pravdepodobnost javu, že sa v čase i objaví na výstupe znak z i za predpokladu, že na vstupe bolo slovo y 1,y 2,...,y i. Potom ν i (z i y 1,y 2,...,y i ) = ν(z 1,z 2,...,z i y 1,y 2,...,y i ). z 1,z 2,...,z i 1 Hovoríme, že kanál C je kanál bez pamäte, ak ν i (z i y 1,y 2,...,y i ) závisí iba na y i, t. j. ak ν i (z i y 1,y 2,...,y i ) = ν i (z i y i ). Ak navyše ν i (z i y i ) nezávisí na i, t. j. ak ν i (z i y i ) = ν(z i y i ), hovoríme, že C je stacionárny kanál bez pamäte. Ak ν(z 1,z 2,...,z i y 1,y 2,...,y i ) = ν(z 1 y 1 )ν(z 2 y 2 )...ν(z i y i ) = hovoríme, že C je stacionárny nezávislý kanál. i ν(z k y k ), Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 6/18 k=1

Stacionárny nezávislý kanál Majme stacionárny nezávislý kanál so vstupnou abecedou A = {a 1,a 2,...,a n } a výstupnou abecedou B = {b 1,b 2,...,b r }. Označme q ij = ν(b j a i ) pravdepodobnost, že ak je na vstupe kanála vstupný znak a i, na výstupe sa objaví znak b j. Hodnoty q ij sa volajú prenosové pravdepodobnosti a matica typu n r q 11 q 12... q 1r Q = q 21 q 22... q 2r............ q n1 q n2... q nr je matica prenosových pravdepodobností. Poznámka Súčet prvkov každého riadku matice Q sa rovná 1, t. j. r j=1 q kj = 1 pre každé k = 1,2,...,n. Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 7/18

Stacionárny nezávislý kanál P(a i ) = p i pravdepodobnost javu, že sa na vstupe kanála objaví znak a i. P(a i b j ) pravdepodobnost javu že na vstupe kanála bude znak a i a na jeho výstupe znak b j, P(b j ) pravdepodobnost, že sa na výstupe kanála objaví b j q ij = ν(b j a i ) pravdepodobnost, že ak je na vstupe kanála vstupný znak a i, na výstupe sa objaví znak b j. P(a i b j ) = p i q ij. n P(b j ) = P(a 1 b j )+P(a 2 b j )+ +P(a n b j ) = p t q tj. t=1 Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 8/18

Stacionárny nezávislý kanál Na výskyt znaku a i na vstupe kanála resp. znaku b j na výstupe kanála sa môžeme pozerat ako na výsledky pokusov A = { {a 1 },{a 2 },...,{a n } }, B = { {b 1 },{b 2 },...,{b r } }. Príjemcu správ na výstupe kanála zaujíma, aký znak bol vyslaný teda aký bol výsledok pokusu A. Má však k dispozícii len výsledok pokusu B. Stredná hodnota informácie obsiahnutá v pokuse B o pokuse A sa dá vyjadrit ako spoločná informácia I(A,B) pokusov A, B, pre ktorú využijeme vzt ah n r ( ) P(Ai B j ) I(A,B) = P(A i B j ).log 2. P(A i ).P(B j ) i=1 j=1 I(A,B) = n r i=1 j=1 P(a i b j )log 2 P(a i b j ) P(a i )P(b j ) Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 9/18

Stacionárny nezávislý kanál P(a i ) = p i P(a i b j ) = p i q ij n P(b j ) = p t q tj t=1 I(A,B) = = = n r i=1 j=1 n i=1 j=1 P(a i b j )log 2 P(a i b j ) P(a i )P(b j ) r p i q ij p i q ij log 2 n p i t=1 p tq tj n r p i q ij log 2 i=1 j=1 q ij n t=1 p tq tj. (1) Ak sa bude pokus A mnohokrát nezávisle opakovat, výraz (1) je stredné množstvo informácie prenesené kanálom pripadajúce na jeden znak. Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 10/18

Maximalizácia množstva prenesenej informácie Množstvo prenesenej informácie I(A, B) je funkciou pravdepodobností p 1,p 2,...,p n, n r q ij I(A,B) = I(A,B)(p 1,p 2,...,p n) = p i q ij log 2 n. t=1 ptqtj Maximallizovat množstvo prenesenej informácie hl adat viazaný extrém funkcie F za podmienky n i=1pi, pi 0 pre i = 1,2,...,n. Položme ( n ) F(p 1,p 2,...,p n) = I(A,B)+λ 1 p i = = i=1 n r p i q ij log 2 i=1 j=1 i=1 j=1 q ij n t=1 ptqtj }{{} ( ) Parciálna derivácia výrazu (*) v (2) sa vypočíta takto: p k log 2 = log 2 (e) q ij n t=1 ptqtj = n t=1 ptqtj q ij p k log 2 (e) ln q ij ( n q ij n t=1 ptqtj = ( +λ 1 t=1 ptqtj ) 2 q kj = log 2 (e) n ) p i. (2) i=1 q kj n t=1 ptqtj. Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 11/18

Maximalizácia množstva prenesenej informácie F r q = q kj log p 2 kj n k j=1 t=1 p (log 2 e +λ). tq tj }{{} γ Položením parciálnych derivácíı nule, dostaneme nasledujúcu sústavu rovníc pre neznáme p 1,p 2,...,p n a γ: j=1 n p i = 1 (3) i=1 r q kj q kj log 2 n t=1 p = γ pre k = 1,2,...,n. (4) tq tj Dá sa ukázat, že funkcia I(A,B) (1) je konkávna, a že splnenie podmienok (3) a (4) stačí na to, aby príslušná hodnota funkcie I(A,B) bola maximálna. Rovnice (3) a (4)nazveme kapacitné rovnice kanála. Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 12/18

Množstvo prenesenej informácie Pripojme na vstup kanála zdroj S = (Y,µ). Pravdepodobnost vyslania slova y = (y 1,y 2,...,y n ) je µ(y 1,y 2,...,y i ). Ak sa na vstupe kanála C = (Y,Z,ν) budú objavovat vstupné slova zo zdroja S, jeho výstup sa bude javit ako zdroj označovaný symbolom R = R(C,S) s abecedou Z a pravdepodobnostnou funkciou π, pre ktorú platí π(z) = π(z 1,z 2,...,z n ) = = ν(z y)µ(y) = ν(z 1,z 2,...,z n y 1,y 2,...,y n ) µ(y 1,y 2,...,y n ). y Y n y 1y 2...y n Y n Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 13/18

Množstvo prenesenej informácie Pripojme na vstup kanála zdroj S = (Y,µ). Pravdepodobnost vyslania slova y = (y 1,y 2,...,y n ) je µ(y 1,y 2,...,y i ). Ak sa na vstupe kanála C = (Y,Z,ν) budú objavovat vstupné slova zo zdroja S, jeho výstup sa bude javit ako zdroj označovaný symbolom R = R(C,S) s abecedou Z a pravdepodobnostnou funkciou π, pre ktorú platí π(z) = π(z 1,z 2,...,z n ) = = ν(z y)µ(y) = ν(z 1,z 2,...,z n y 1,y 2,...,y n ) µ(y 1,y 2,...,y n ). y Y n y 1y 2...y n Y n Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 13/18

Množstvo prenesenej informácie Okrem výstupného zdroja R = R(C, S) môžeme dvojici vstupného zdroja S a kanála C priradit ešte aj tzv. dvojitý zdroj D = ((Y Z),ψ)), ktorý akoby vysielal dvojice (y i,z i ) vstupného a výstupného znaku. Ak stotožníme slovo (y 1,z 1 )(y 2,z 2 )...(y n,z n ) s usporiadanou dvojicou (y,z) = ((y 1,y 2,...,y n ),(z 1,z 2,...,z n )), môžeme pravdepodobnost ψ(y, z) vypočítat nasledovne ψ(y,z) = ν(z y) µ(y). Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 14/18

Množstvo prenesenej informácie Fixujme n a označme A n, B n rozklady množiny Y n Z n, na množiny tvaru B n = { {Y n z } z Z n} = { Y n {(z 1,...,z n )} (z 1,...,z n ) Z n} A n = { {y Z n } y Y n} = { {(y 1,...,y n )} Z n (y 1,...,y n ) Y n} Definujme ešte kombinovaný pokus D n = A n B n. Podl a definície je D n = {(y,z) y Y n,z Z n } Odpoved na výsledok pokusu A n nám hovorí, aké slovo bolo vyslané. To ale na prijímacej strane kanála C nevieme. Vieme však výsledok pokusu B n. Stredná hodnota informácie o pokuse A n v pokuse B n je I(A n,b n ). Na jeden znak pripadá 1 n I(A n,b n ) a pre vel mi dlhé správy 1 I(S,R) = lim n n I(A n,b n ) Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 15/18

Množstvo prenesenej informácie Vieme, že pre entropie vstupného zdroja S, výstupného zdroja R(C, S) a dvojitého zdroja D platí H(S) = lim n 1 n H(B n) H(R) = lim n 1 n H(A n) H(D) = lim n 1 n H(D n) I(A n,b n ) = H(A n )+H(B n ) H(D n ) 1 I(S,R) = lim n n I(A n,b n ) = H(S)+H(R) H(D). Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 16/18

Kapacita kanála Kapacitu kanála môžeme definovat troma spôsobmi pomocou maximálneho množstva informácie pripadajúcej na jeden znak, ktoré je kanál schopný preniest C 1 (C) pomocou maximálnej entropie zdroja, ktorého správy je kanál schopný prenášat s l ubovol ne malým rizikom C 2 (C) pomocou počtu spol ahlivo prenesených postupností C 3 (C). Kapacita kanála prvého druhu Kapacitu prvého druhu definujeme nasledovne C 1 (C) = supi(s,r(c,s)), S kde suprémum berieme cez množinu všetkých zdrojov s abecedou Y. Ostatné kapacity nešpecifikujeme, platí však C 1 (C) = C 1 (C) = C 1 (C). Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 17/18

Shannonove vety Veta (Priama Shannonova veta) Ak pre stacionárny nezávislý zdroj S a pre stacionárny nezávislý kanál C platí H(S) < C(C), potom možno správy zdroja S preniest cez kanál C s l ubovol ne malým rizikom. Veta (Obrátená Shannonova veta) Ak pre stacionárny nezávislý zdroj S a pre stacionárny nezávislý kanál C platí H(S) > C(C), potom nemožno správy zdroja S preniest cez kanál C s l ubovol ne malým rizikom. Stanislav Palúch, Fakulta riadenia a informatiky, Žilinská univerzita Prenosový kanál a jeho kapacita 18/18