Technická univerzita v Košiciach Fakulta elektrotechniky a informatiky Katedra elektroniky a multimediálnych telekomunikácií Metódy a algoritmy spracovania signálu z mikrofónových polí Študijný program: Infoelektronika Typ záverečnej práce: Diplomová práca Meno vedúceho a konzultanta: prof. Ing. Jozef Juhár, CSc. Meno študenta: Tomáš Sučik
Metódy a algoritmy spracovania signálu z mikrofónových polí 1. Na základe poskytnutej odbornej literatúry a dostupných informačných zdrojov preštudujte problematiku metód a algoritmov lokalizácie akustických zdrojov pomocou mikrofónových polí a spracujte prehľad problematiky. 2. Implementujte vybrané algoritmy pomocou Matlabu a porovnajte/vyhodnoťte ich vlastnosti. 3. Vypracujte dokumentáciu v požadovanom rozsahu.
Zoznam úloh riešených v zimnom semestri Naštudovanie používaných metód a konkrétnych algoritmov spracovania signálu z mikrofónového poľa Realizácia vlastného mikrofónového poľa a následné spracovanie zaznamenaného signálu Naprogramovanie vlastného algoritmu v prostredí MATLAB a jeho otestovanie
Čo sú mikrofónové polia a na čo sa Systémy zložené z viacerých mikrofónov Používajú sa ako súčasť systémov slúžiacich na lokalizáciu akustického zdroja resp. skvalitnenie snímania zvuku v rušivom resp. dozvukovom prostredí, diaľkové snímanie akustickej scény a pod. Podobný princíp ako polia antén, seizmometrov či hydrofónov používajú?
Prehľad algoritmov 01. Algoritmy založené na časovom oneskorení (TDOA): -pre jeden mikrofónový pár(krížová korelácia medzi dvojicou mikrofónov) -kombinácia mikrofónových párov (krížová korelácia medzi vybranými pármi mikrofónov v mikrofónovom poli) 02. Algoritmy založené na intenzite predpokladanej odpovede (SRP): -konvenčné algoritmy -váhové algoritmy -algoritmy maximálnej pravdepodobnosti (ML Maximum Likelihood) -tzv. MUSIC algoritmus (Multiple Signal Classification) - algoritmy založené na kombinovaní bin-ov -najpoužívanejšie typy: TDE (Time Delay Elevation) interpolácia, TDE estimácia, SRP PHAT (Phase Transform), SRP MLR, SRP ML, SRP MUSIC -časticové filtre
Najjednoduchšie mikrofónové pole Princíp metódy TDOA (Time Delay Of Arrival)
Zakreslenie môjho pracoviska
Analýza záznamov Program Cool Edit Pro pre prácu so zvukovými stopami Hladiny akustickej intenzity Minimálny RMS výkon Maximálny RMS výkon Priemerný RMS výkon Celkový RMS výkon
Princíp vyhodnocovania záznamov
Môj script pre postspracovanie % Tomáš Sučik Diplomova Praca close all; clear all; %Naèítanie zvukového súboru [n1,fvz1,nbits1] = wavread('mikrofon1.wav'); n1 = n1'; %transponovanie vektora str1 = mean(n1); %stredná (priemerná) hodnota signálu n_bez_js1 = n1 - str1; %signál bez js zložky N1 = length(n_bez_js1); %poèet vzoriek signálu Lram1 = 240; %dåžka vzoriek jedného rámca Nram1 = floor(n1/lram1); %výpoèet a zaokrúhlenie poètu rámcov n_novy1 = n_bez_js1(1:lram1*nram1); %orezanie pôvodného vektora signálu matica1 = reshape(n_novy1,lram1,nram1); %rozdelenie signálu na rámce %Naèítanie zvukového súboru [n2,fvz2,nbits2] = wavread('mikrofon2.wav'); n2 = n2'; %transponovanie vektora str2 = mean(n2); %stredná (priemerná) hodnota signálu n_bez_js2 = n2 - str2; %signál bez js zložky N2 = length(n_bez_js2); %poèet vzoriek signálu Lram2 = 240; %dåžka vzoriek jedného rámca Nram2 = floor(n2/lram2); %výpoèet a zaokrúhlenie poètu rámcov n_novy2 = n_bez_js2(1:lram2*nram2); %orezanie pôvodného vektora signálu matica2 = reshape(n_novy2,lram2,nram2); %rozdelenie signálu na rámce matica1auto = xcorr(matica1); %autokorelaèná funkcia matice signálu z mikrofónu è.1 matica2auto = xcorr(matica2); %autokorelaèná funkcia matice signálu z mikrofónu è.2 matica = xcorr2(matica1,matica2); %crosskorelaèná funkcia matíc signálov z mikrofónov è. 1 a 2
figure(1); subplot(3,1,1) plot(matica1auto), grid on; title('zobrazenie autokorelaènej funkcie matice è. 1'); subplot(3,1,2) plot(matica2auto), grid on; title('zobrazenie autokorelaènej funkcie matíce è. 2'); subplot(3,1,3) plot(matica1auto), grid on; title('zobrazenie crosskorelaènej funkcie matíc è. 1 a 2'); [max_matica, imax] = max(abs(matica(:))); [ypeak, xpeak] = ind2sub(size(matica),imax(1)); corr_offset = [ (ypeak-size(matica2,1)) (xpeak-size(matica2,2)) ]; [max_matica1, imax1] = max(abs(matica1(:))); [ypeak1, xpeak1] = ind2sub(size(matica1),imax(1)); [max_matica2, imax2] = max(abs(matica2(:))); [ypeak2, xpeak2] = ind2sub(size(matica2),imax(1)); t_vzorky = 1/Fvz1; %èas medzi dvoma vzorkami t = abs(ypeak-size(matica2,1))/(fvz1); %oneskorenie medzi signálmi z mikrofónov vzdialenost = t*340; % vzdialenos od vzdialenejšieho mikrofónu k bodu, kam zvuk dorazil pre oba mikrofóny v rovnakom èase uhol_alfa = acos(vzdialenost)*57.2957795; % vynásobenie konštantou (57.2957795) kvôli prepoètu radiánov na stupne string = ['Uhol natoèenia k zdroju zvuku = ',mat2str(uhol_alfa),' (stupòov)']; disp(string); if (ypeak-size(matica2,1))<0 fprintf('zdroj sa nachádza v sektore prislúchajúcom mikrofónu è.1.'); elseif (ypeak-size(matica2,1))>0 fprintf('zdroj sa nachádza v sektore prislúchajúcom mikrofónu è.2.'); else fprintf('zdroj sa nachádza na rozhraní sektorov prislúchajúcich mikrofónom'); end
Moja momentálna práca na diplomovej práci Hĺbková analýza konvenčných metód a algoritmov postspracovania audio resp. rečových signálov Programovanie a testovanie algoritmov (SRP PHAT, MUSIC...)na signáloch z uskutočneného merania pomocou dvojprvkového lineárneho mikrofónového poľa Príprava nového štvorprvkového lineárneho mikrofónového poľa pre ďalšie merania, podľa možností aj v reálnom čase
Zoznam plánovaných úloh pre letný semester Testovanie v súčasnosti používaných algoritmov spracovania signálov z mikrofónového poľa (TDE, SRP BF, SRP PHAT, SRP MLR, SRP ML, SRP MUSIC) Porovnanie výsledkov konvenčných metód a algoritmov spracovania signálu z mikrofónového poľa Porovnanie výsledkov spracovania pomocou vlastného algoritmu a zaužívaných algoritmov
Zoznam použitej literatúry [1] TASHEV, Ivan: Sound Capture and Processing. John Wiley and Sons, 2009. 176 s. ISBN 978-0-470-31983-3 [2] ELKO, George: Superdirective microphone arrays, in Acoustic Signal Processing for Telecommunications. Norwell, MA: Kluwer Academic, 2000. s. 181-237. [3] TASHEV, Ivan - MALVAR, Henrich: A new beamformer design algorithm for microphone arrays. Philadelphia, PA: Proceedings of International Conference of Acoustic, Speech and Signal Processing ICASSP, 2005. s. 18-19. [4] ER, Martin: A robust formulation for an optimum beamformer subject to amplitude and phase perturbations. California: Signal processing, 1990. s. 17-26. [5] DOCLO, Sean - MOONEN, Matthew: Superdirective beamforming robust against microphone mismatch. California: IEEE Transactions on Audio, Speech, and Language Processing, 2007. s. 617-631.
Ďakujem za pozornosť!