Moodle FEL ČVUT
Pravděpodobnost, statistika a teorie informace
B232 - Letní 23/24
Pravděpodobnost, statistika a teorie informace - A8B01PSI
| Kredity | 6 |
| Semestry | zimní |
| Zakončení | zápočet a zkouška |
| Jazyk výuky | čeština |
| Rozsah výuky | 4P+2S |
Anotace
Předmět seznamuje se základy teorie pravděpodobnosti, matematické
statistiky, matematické teorie informace a kódování. Zahrnuje popisy
pravděpodobnosti, náhodných veličin, jejich rozdělení,
charakteristik a operací s náhodnými veličinami. Jsou vyloženy
výběrové statistiky, bodové a intervalové odhady, základní testy
hypotéz a metoda nejmenších čtverců. Základy teorie Markovových řetězců.
Shannonova entropie, vzájemná a podmíněná informace.
\\Výsledek studentské ankety předmětu je zde: http://www.fel.cvut.cz/anketa/aktualni/courses/AD0B01PSI \\Výsledek studentské ankety předmětu je zde: http://www.fel.cvut.cz/anketa/aktualni/courses/A0B01PSI
statistiky, matematické teorie informace a kódování. Zahrnuje popisy
pravděpodobnosti, náhodných veličin, jejich rozdělení,
charakteristik a operací s náhodnými veličinami. Jsou vyloženy
výběrové statistiky, bodové a intervalové odhady, základní testy
hypotéz a metoda nejmenších čtverců. Základy teorie Markovových řetězců.
Shannonova entropie, vzájemná a podmíněná informace.
\\Výsledek studentské ankety předmětu je zde: http://www.fel.cvut.cz/anketa/aktualni/courses/AD0B01PSI \\Výsledek studentské ankety předmětu je zde: http://www.fel.cvut.cz/anketa/aktualni/courses/A0B01PSI
Cíle studia
Zvládnutí základů teorie pravděpodobnosti a jejich využití pro statistické odhady a testy.
Využití Markovových řetězců pro modelování.
Základní pojmy teorie informace.
Využití Markovových řetězců pro modelování.
Základní pojmy teorie informace.
Osnovy přednášek
1. Základní pojmy teorie pravděpodobnosti. Kolmogorovův model pravděpodobnosti. Nezávislost, podmíněná pravděpodobnost, Bayesův vzorec.
2. Náhodné veličiny a způsoby jejich popisu. Náhodný vektor. Distribuční funkce.
3. Kvantilová funkce. Směs náhodných veličin.
4. Charakteristiky náhodných veličin a jejich vlastnosti. Operace s náhodnými veličinami.
Základní typy rozdělení.
5. Charakteristiky náhodných vektorů. Kovariance, korelace. Čebyševova nerovnost. Zákon velkých čísel. Centrální limitní věta.
6. Základní pojmy statistiky. Výběrový průměr, výběrový rozptyl.
Intervalové odhady střední hodnoty a rozptylu.
7. Metoda momentů, metoda maximální věrohodnosti. EM algoritmus.
8. Testování hypotéz o střední hodnotě a rozptylu.
Testy dobré shody, testy korelace, neparametrické testy.
9. Diskrétní náhodné procesy. Stacionární procesy. Markovovy řetězce.
10. Klasifikace stavů Markovových řetězců.
11. Asymptotické vlastnosti Markovových řetězců. Přehled a ukázky aplikací.
12. Shannonova entropie. Rychlost entropie stacionárního zdroje informace.
13. Základy kódování. Kraftova nerovnost. Huffmanovo kódování.
14. Vzájemná informace, kapacita informačního kanálu.
2. Náhodné veličiny a způsoby jejich popisu. Náhodný vektor. Distribuční funkce.
3. Kvantilová funkce. Směs náhodných veličin.
4. Charakteristiky náhodných veličin a jejich vlastnosti. Operace s náhodnými veličinami.
Základní typy rozdělení.
5. Charakteristiky náhodných vektorů. Kovariance, korelace. Čebyševova nerovnost. Zákon velkých čísel. Centrální limitní věta.
6. Základní pojmy statistiky. Výběrový průměr, výběrový rozptyl.
Intervalové odhady střední hodnoty a rozptylu.
7. Metoda momentů, metoda maximální věrohodnosti. EM algoritmus.
8. Testování hypotéz o střední hodnotě a rozptylu.
Testy dobré shody, testy korelace, neparametrické testy.
9. Diskrétní náhodné procesy. Stacionární procesy. Markovovy řetězce.
10. Klasifikace stavů Markovových řetězců.
11. Asymptotické vlastnosti Markovových řetězců. Přehled a ukázky aplikací.
12. Shannonova entropie. Rychlost entropie stacionárního zdroje informace.
13. Základy kódování. Kraftova nerovnost. Huffmanovo kódování.
14. Vzájemná informace, kapacita informačního kanálu.
Osnovy cvičení
1. Příklady na elementární pravděpodobnost.
2. Kolmogorovův model pravděpodobnosti. Nezávislost, podmíněná pravděpodobnost, Bayesův vzorec.
3. Směs náhodných veličin. Střední hodnota. Unární operace s náhodnými veličinami.
4. Rozptyl. Náhodný vektor, sdružené rozdělení. Binární operace s náhodnými veličinami.
5. Výběrový průměr, výběrový rozptyl. Čebyševova nerovnost. Centrální limitní věta.
6. Intervalové odhady střední hodnoty a rozptylu.
7. Metoda momentů, metoda maximální věrohodnosti.
8. Testování hypotéz o střední hodnotě a rozptylu.
Testy dobré shody, testy korelace, neparametrické testy.
9. Diskrétní náhodné procesy. Stacionární procesy. Markovovy řetězce.
10. Klasifikace stavů Markovových řetězců.
11. Asymptotické vlastnosti Markovových řetězců.
12. Shannonova entropie. Rychlost entropie stacionárního zdroje informace.
13. Základy kódování. Kraftova nerovnost. Huffmanovo kódování.
14. Vzájemná informace, kapacita informačního kanálu.
2. Kolmogorovův model pravděpodobnosti. Nezávislost, podmíněná pravděpodobnost, Bayesův vzorec.
3. Směs náhodných veličin. Střední hodnota. Unární operace s náhodnými veličinami.
4. Rozptyl. Náhodný vektor, sdružené rozdělení. Binární operace s náhodnými veličinami.
5. Výběrový průměr, výběrový rozptyl. Čebyševova nerovnost. Centrální limitní věta.
6. Intervalové odhady střední hodnoty a rozptylu.
7. Metoda momentů, metoda maximální věrohodnosti.
8. Testování hypotéz o střední hodnotě a rozptylu.
Testy dobré shody, testy korelace, neparametrické testy.
9. Diskrétní náhodné procesy. Stacionární procesy. Markovovy řetězce.
10. Klasifikace stavů Markovových řetězců.
11. Asymptotické vlastnosti Markovových řetězců.
12. Shannonova entropie. Rychlost entropie stacionárního zdroje informace.
13. Základy kódování. Kraftova nerovnost. Huffmanovo kódování.
14. Vzájemná informace, kapacita informačního kanálu.
Literatura
[1] Navara, M.: Pravděpodobnost a matematická statistika. Skriptum
FEL ČVUT, 1. vydání, Praha, 2007.
[2] Rogalewicz, V.: Pravděpodobnost a statistika pro inženýry.
Skriptum FBMI ČVUT, 2. vydání, Praha, 2007.
[3] Zvára, K., Štěpán, J.: Pravděpodobnost a matematická statistika,
2. vydání, Matfyzpress, MFF UK, Praha, 2002.
[4] Nagy, I.: Pravděpodobnost a matematická statistika. Cvičení.
Skriptum FD CVUT, Praha, 2002.
FEL ČVUT, 1. vydání, Praha, 2007.
[2] Rogalewicz, V.: Pravděpodobnost a statistika pro inženýry.
Skriptum FBMI ČVUT, 2. vydání, Praha, 2007.
[3] Zvára, K., Štěpán, J.: Pravděpodobnost a matematická statistika,
2. vydání, Matfyzpress, MFF UK, Praha, 2002.
[4] Nagy, I.: Pravděpodobnost a matematická statistika. Cvičení.
Skriptum FD CVUT, Praha, 2002.
Požadavky
Lineární algebra, Matematická analýza,
Diskrétní matematika
Diskrétní matematika