Speech processing

Weekly outline

• A2M31ZRE - Zpracování řeči
  

  A2M31ZRE - Zpracování řeči

  Předmět je zaměřen na seznámení studentů magisterského studia s problematikou zpracování řečových signálů se zaměřením na použití v multimediálních aplikacích. Tato problematika má široký aplikační záběr v různých systémech z mnoha odvětví (informační dialogové systémy, hlasové ovládání zařízení, diktovací systémy resp. transkripce audio/video záznamů, podpora výuky jazyků, apod.). Veřejně dostupná stránka předmětu je na adrese: http://noel.feld.cvut.cz/vyu/a2m31zre 
  Výsledek studentské ankety předmětu je zde: A2M31ZRE   

  • OTÁZKY KE ZKOUŠCE File
  • Tabulka hodnocení práce ve cvičeních URL
• Přednášky
  

  Přednášky

  • 1 - St 5.10.2016 (Pollák) 

    Úvod - řečový signál, model vzniku řeči, základní charakteristiky, fonetické a artikulační aspekty

  • Přednáška - úvod File
  • Přednáška - aplikace, model vzniku, digitalizace, časové charakteristiky File
  • ———————————————————

    2 - St 12.10.2016 (Pollák) 

    Spektrální charakteristiky řečového signálu (DFT a LPC spektrum) 

  • Přednáška - spektrální charakteristiky řečového signálu, LPC, LSF, formanty File
  • ———————————————————

    3 - St 19.10.2016 (Pollák) 

    Kepstrální charakteristiky řečového signálu, detekce řečové aktivity

  • Přednáška - kepstrální charakteristiky řečového signálu, detekce řečové aktivity File
  • ———————————————————

    4 - St 26.10.2016 (Pollak) 

    Potlačování šumu v řeči: šum aditivní, konvoluční; jednokanálové a vícekanálové systémy

  • Přednáška - řeč a šum, zvýrazňování řeči, měření kvality File
  • ———————————————————

    5 - St 2.11.2016 (Pollák) 

    Sluchové pomůcky a kochleární implantáty: anatomie a model sluchu, zpracování řeči.

  • Přednáška - zpracování řečového signálu ve sluchových náhradách File
  • ———————————————————

    6 - St 9.11.2016 (Pollák) 

    Syntéza řeči, principy základních přístupů (formantová syntéza, PSOLA)

  • Prednáška - Syntéza řeči File
  • ———————————————————

    St 16.11.2016 - ODPADÁ - Výuka dle pátečního rozvrhu
    

  • ———————————————————

    7 - St 23.11.2016 (Pollák) 

    Rozpoznávání řeči I: základní rozpoznávací úlohy a používané techniky (příznaky, GMM, HMM, ANN, DNN, VQ)

  • Přednáška - Rozpoznávání řeči I - úvod, klasifikace File
  • ———————————————————

    8 - 30.11.2016 (Pollák) 

    Rozpoznávání řeči II: verifikace a identifikace mluvčího.

  • Přednáška - Rozpoznávání řeči II - rozpoznávání mluvčího File
  • ———————————————————

    9 - St 7.12.2016 (Pollák) 

    Rozpoznávání řeči III: rozpoznávání řeči s malým a velkým slovníkem (DTW, GMM-HMM, LVCSR) 

  • Přednáška - Rozpoznávání řeči III - DTW, HMM, LVCSR File
  • ———————————————————

    10 - St 14.12.2016 (Pollák) 

    Rozpoznávání řeči IV: Moderní systémy na bázi DNN-HMM, adaptační techniky, speciální a robustní parametrizace

  • Rozpoznávání řeči IV - LVSCR & WFST, adaptační techniky, DNN, fonetická segmentace File
  • ———————————————————

    11 - St 21.12.2016 (Čmejla) 

    Charakteristiky a zpracování patologického hlasu a řeči

  • Přednáška. Page
  • ———————————————————

    12 - St 4.1.2016 (Pollák) 

    Audio-visuální řečové technologie. Multimediální systémy s hlasovým vstupem

  • Prednáška - Audiovizuální zpracování řeči File
  • Přednáška - Vizuální podpora výuky jazyků, multimediální slovníky File
  • ———————————————————

    13 - St 11.1.2017 (Pollák) 

    Databáze pro řečové technologie. Rozpoznávání jazyka.
    

  • Přednáška - Rozpoznávání jazyka File
  • Přednáška - Databáze pro řečové technologie File
• Cvičení
  

  Cvičení

  • 1 - St 5.10.2016 (Pollák)  

    Úvod: řečový signál, nástroje pro analýzu, dostupné zdroje signálů 
    - interaktivní práce se signály v prostředích MATLAB, Praat, Wavesurfer 
    - vytvoření databáze signálů pro další práci v semestru

  • Návod ke cvičení URL
  • ———————————————————

    2 - St 12.10.2016 (Pollák)

    Základní časové a spektrální charakteristiky řeči
    - energetické charakteristiky - energie, výkon, intenzita, RMS, PP 
    - počet průchodů nulou 
    - spektrogram, použití banky filtrů (melovský spektrogram)

  • Návod ke cvičení URL
  • MOŽNÁ ŘEŠENÍ v MATLABu:

  • speechpwr.m File
  • speechzcr.m File
  • cv2_pwr_zcr.m File
  • ———————————————————

    3 - St 19.10.2016 (Pollák) 

    Odhad základního tónu řeči
    - odhad základního tónu řeči na bázi autokorelace 
    - demonstrace dalších možných algoritmů, odhad umístění hlasivkových pulzů 

  • Návod k praktické části URL
  • MOŽNÁ ŘEŠENÍ v MATLABu:

  • speechpitch.m File
  • med.m File
  • cv2_pitch.m File
  • ———————————————————

    4 - St 26.10.2016 (Fiala) 

    LPC spektrum a odhad formantů 
    - výpočet a vykreslení LPC spektra řeči 
    - odhad formantů z LPC (z parametrů AR modelu)
    

  • Návod ke cvičení URL
  • MOŽNÁ ŘEŠENÍ v MATLABu:

  • cv5_lpcspec_formants.m File
  • speechformants.m File
  • cv5_lpcspectrograms.m - výpočet DFT a LPC spektrogramu File
  • speechlpcspec.m File
  • ———————————————————

    7 - St 2.11.2016 (Fiala) 

    Kepstrum a kepstrální vzdálenost: detekce řečových úseků
    - definice a výpočet reálného (DFT) a LPC kepstra 
    - výpočet kepstrální vzdálenosti aktuálního segmentu od pozadí, detekce řečové aktivity 

  • Návod ke cvičení URL
  • MOŽNÁ ŘEŠENÍ v MATLABu:

  • cv6_kepstrum_vad.m File
  • ———————————————————

    12 - St 9.11.2016 (Pollák) 

    Systémy zvýrazňování řeči
    - potlačování stacionárního aditivního šumu v řečovém signálu 
    - potlačování nestacionárního aditivního šumu v řečovém signálu 
    - metody na bázi spektrálního odečítání 

  • Návod ke cvičení URL
  • MOŽNÁ ŘEŠENÍ v MATLABu:

  • cv13_enhancement.m - simulace zašuměných signálů a spektrální odečítání File
  • sigs_cv_13_demo.mat - mat-soubor s uloženými signály pro skript cv13_enhancement.m File
  • ———————————————————

    4 - St 16.11.2016 - ODPADÁ - STÁTNÍ SVÁTEK

  • ———————————————————

    8 - St 23.11.2016 (Pollák) 

    Základní klasifikační metody 
    - princip GMM a VQ
    - klasifikace samohlásek (ruční výpočet + MATLAB)

  • Návod ke cvičení URL
  • MOŽNÁ ŘEŠENÍ v MATLABu:

  • cv8_klasifikace.m (Úkoly 1, 2, 3) File
  • my_gauss.m File
  • cv8_vowel_gmm_train.m (Trénování GMM modelů samohlásek z databáze ZRERATDB) File
  • cv8_vowel_gmms.mat (Natrénované GMM modely samohlásek) File
  • cv8_vowel_gmm_recog.m (Rozpoznávání samohlásek na bázi GMM modelů) File
  • ———————————————————

    9 - St 30.11.2016 (Pollák) 

    Verifikace mluvčího  na bázi VQ
    - rozložení kepstra daného mluvčího v kesptrálním prostoru, rozdíly mezi mluvčími
    - vytvoření kódové knihy kepster daného mluvčího
    - realizace verifikace mluvčího
    - interaktivní verifikace mluvčího v malých pracovních skupinkách 2-4 studentů
    - verifikace mluvčího na bázi časového zarovnání 

  • Návod ke cvičení URL
  • MOŽNÁ ŘEŠENÍ V MATLABu:

  • cv_10_demo_vq_spk_verif.m File
  • cmn.m (FUNCTION for Cepstral Mean Normalization) File
  • ———————————————————

    10 - St 7.12.2016 (Pollák) 

    Identifikace mluvčího na bázi GMM
    - demonstrace použití dostupných funkcí pro GMM modelování
    - vytvoření GMM modelů pro jednotlivé mluvčí
    - interaktivní verifikace mluvčího v malých pracovních skupinkách 4 studentů

  • Návod ke cvičení URL
  • demo_loadbin_in_cycle.m URL
  • MOŽNÁ ŘEŠENÍ v MATLABu:

  • cv_11_demo_gmm_spk_verif.m File
  • cv_11_demo_spksearch.m File
  • spksearch_161171_links.txt File
  • ———————————————————

    11 - St 14.12.2016 (Pollák) 

    Rozpoznávání na bázi DTW 
    - výpočet matice vzdáleností 
    - nalezení nejkratší možné cesty průchodu maticí vzdáleností 
    - realizace rozpoznávače číslovek 

  • Návod ke cvičení URL
  • MOŽNÁ ŘEŠENÍ v MATLABu:

  • dtwdist.m - funkce pro výpočet kumulované DTW vzdálenosti File
  • cv12_DTW.m - Rzopoznavani izlovanych slov na bazi DTW File
  • ———————————————————

    5 - St 21.12.2016 (Čmejla) 

    Zpracování a analýza patologického hlasu a řeči

  • návod File
  • ———————————————————

    5 - St 4.1.2017 (Fiala) 

    Rozpoznávání na bázi HMM - I
    

  • ———————————————————

    5 - St 11.1.2017 (Fiala) 

    Rozpoznávání na bázi HMM - II
    

    Konzultace. Zápočty.

• Úkoly
  

  Úkoly

  • ÚKOL 1 - Odevzdání databáze promluv Assignment
  • ÚKOL cvičení formanty - Odevzdání opravené databáze samohlásek Assignment
• Wiki
  

  Wiki
• Doporučená literatura
  

  Doporučená literatura

  [1]		Uhlíř, J. - Sovka, P. - Pollák, P. - Hanžl, V. - Čmejla, R.: Technologie hlasových komunikací. Nakladatelství ČVUT, 2007.
  [2]		Psutka, J. - Müller, L. - Matoušek, J. - Radová, V.: Mluvíme s počítačem česky. Academia 2006.
  [3]		Huang, X. - Acero, A. - Hon, H.-W.: Spoken Language Processing. Prentice Hall 2001.