CTU FEE Moodle
Optimal and Robust Control
B241 - Winter 2024/2025
This is a grouped Moodle course. It consists of several separate courses that share learning materials, assignments, tests etc. Below you can see information about the individual courses that make up this Moodle course.
Optimal and Robust Control - BE3M35ORR
Main course
| Credits | 6 |
| Semesters | Summer |
| Completion | Assessment + Examination |
| Language of teaching | English |
| Extent of teaching | 2P+2C |
Annotation
This advanced course will be focused on design methods for optimal and robust control. Major emphasis will be put on practical computational skills and realistically complex problem assignments.
Study targets
Design advanced feedback controllers for realistically complex systems, while using existing specialized software.
Course outlines
1. Motivation for optimal and robust control; Introduction to optimization: optimization without and with constraints of equality and inequality types (Lagrange multipliers, KKT conditions)
2. Intro to algorithms for numerical optimization: steepest descent, Newton, quasi-Newton, projected gradient, ...
3. Optimal control for a discrete-time LTI systems – direct approach: discrete-time LQ-optimal control on a finite time horizon, receding horizon control (aka model predictive control, MPC).
4. Optimal control for a discrete-time LTI system – indirect approach: LQ-optimal control, finite and infinite-time horizons, discrete-time algebraic Riccati equation (DARE).
5. Dynamic programing in discrete and continuous time: Bellmans principle of optimality, HJB equation, application to derivation of LQ-optimal control problem.
6. Optimal control for a continuous-time system – indirect approach: introduction to calculus of variations, differential Riccati equations, continuous-time LQ-optimal control (regulation and tracking).
7. Optimal control for a continuous-time system with free final time and constraints on the control variable: Pontryagin's principle of maximum, time-optimal control.
8. Numerical methods for optimal control for continuous-time systems: direct and indirect, shooting, multiple shooting, collocation.
9. Some extensions of LQ-optimal control: LQG-optimal control (augmentation of an LQ-optimal state feedback with Kalman filter); robustification of an LQG controller using an LTR method; H2 optimal control as a generalization of LQ/LQG-optimal control.
10. (Models of) uncertainty and robustness; analysis of robust stability and robust performance.
11. Design of a robust controller by minimizing the Hinf norm of the system: mixed sensitivity minimization, general Hinf optimal control problem, robust Hinf loopshaping, mu-synthesis.
12. Analysis of achievable control performance.
13. Reduction of the order of the system and the controller.
14. Semidefinite programming and linear matrix inequalities in control design.
2. Intro to algorithms for numerical optimization: steepest descent, Newton, quasi-Newton, projected gradient, ...
3. Optimal control for a discrete-time LTI systems – direct approach: discrete-time LQ-optimal control on a finite time horizon, receding horizon control (aka model predictive control, MPC).
4. Optimal control for a discrete-time LTI system – indirect approach: LQ-optimal control, finite and infinite-time horizons, discrete-time algebraic Riccati equation (DARE).
5. Dynamic programing in discrete and continuous time: Bellmans principle of optimality, HJB equation, application to derivation of LQ-optimal control problem.
6. Optimal control for a continuous-time system – indirect approach: introduction to calculus of variations, differential Riccati equations, continuous-time LQ-optimal control (regulation and tracking).
7. Optimal control for a continuous-time system with free final time and constraints on the control variable: Pontryagin's principle of maximum, time-optimal control.
8. Numerical methods for optimal control for continuous-time systems: direct and indirect, shooting, multiple shooting, collocation.
9. Some extensions of LQ-optimal control: LQG-optimal control (augmentation of an LQ-optimal state feedback with Kalman filter); robustification of an LQG controller using an LTR method; H2 optimal control as a generalization of LQ/LQG-optimal control.
10. (Models of) uncertainty and robustness; analysis of robust stability and robust performance.
11. Design of a robust controller by minimizing the Hinf norm of the system: mixed sensitivity minimization, general Hinf optimal control problem, robust Hinf loopshaping, mu-synthesis.
12. Analysis of achievable control performance.
13. Reduction of the order of the system and the controller.
14. Semidefinite programming and linear matrix inequalities in control design.
Exercises outlines
Some exercises (mainly those at the beginning of the semester) will be dedicated to solving some computational problems together with the instructor and other students. In the second half (or so) of the semester, exercises will also be used by the students to work on the assigned (laboratory) projects.
Literature
Compulsory
• Sigurd Skogestad a Ian Postlethwaite. Multivariable Feedback Control – Analysis and Design. 2nd ed., Wiley, 2005. Some 15 copies reserved for students of this course in the university library.
• For topics not covered in Skogestad's book, lecture notes have been created by the lecturer and made available to the students through the course Moodle page. In addition, some other resources will be referenced/linked when needed such as papers, online texts. Majority of topics/lectures are prepared in the form of videos uploaded on Youtube (AA4CC channel, Optimal and robust control playlist).
Recommended
• Kirk, Donald E. 2004. Optimal Control Theory: An Introduction. Dover Publications. Available online through the university library. But also affordable in print.
• Gros, Sébastien, a Moritz Diehl. 2020. Numerical Optimal Control. Draft. KU Leuven. Freely available online at https://www.syscop.de/teaching/ss2017/numerical-optimal-control.
• Rawlings, James B., David Q. Mayne, a Moritz M. Diehl. 2017. Model Predictive Control: Theory, Computation, and Design. 2nd ed. Madison, Wisconsin: Nob Hill Publishing, LLC. Freely available at http://www.nobhillpublishing.com/mpc-paperback/index-mpc.html.
• Anderson, Brian D. O., a John B. Moore. 2007. Optimal Control: Linear Quadratic Methods. Dover Publications. 10 copies in the library.
• Borrelli, Francesco, Alberto Bemporad, a Manfred Morari. 2017. Predictive Control for Linear and Hybrid Systems. Cambridge, New York: Cambridge University Press. The authors made an electronic version freely available at http://cse.lab.imtlucca.it/~bemporad/publications/papers/BBMbook.pdf.
• Sigurd Skogestad a Ian Postlethwaite. Multivariable Feedback Control – Analysis and Design. 2nd ed., Wiley, 2005. Some 15 copies reserved for students of this course in the university library.
• For topics not covered in Skogestad's book, lecture notes have been created by the lecturer and made available to the students through the course Moodle page. In addition, some other resources will be referenced/linked when needed such as papers, online texts. Majority of topics/lectures are prepared in the form of videos uploaded on Youtube (AA4CC channel, Optimal and robust control playlist).
Recommended
• Kirk, Donald E. 2004. Optimal Control Theory: An Introduction. Dover Publications. Available online through the university library. But also affordable in print.
• Gros, Sébastien, a Moritz Diehl. 2020. Numerical Optimal Control. Draft. KU Leuven. Freely available online at https://www.syscop.de/teaching/ss2017/numerical-optimal-control.
• Rawlings, James B., David Q. Mayne, a Moritz M. Diehl. 2017. Model Predictive Control: Theory, Computation, and Design. 2nd ed. Madison, Wisconsin: Nob Hill Publishing, LLC. Freely available at http://www.nobhillpublishing.com/mpc-paperback/index-mpc.html.
• Anderson, Brian D. O., a John B. Moore. 2007. Optimal Control: Linear Quadratic Methods. Dover Publications. 10 copies in the library.
• Borrelli, Francesco, Alberto Bemporad, a Manfred Morari. 2017. Predictive Control for Linear and Hybrid Systems. Cambridge, New York: Cambridge University Press. The authors made an electronic version freely available at http://cse.lab.imtlucca.it/~bemporad/publications/papers/BBMbook.pdf.
Requirements
(Informally recommended) prerequisites for successful passing of this course is a good background in the following areas and topics:
1.) basics of dynamic systems and feedback control: feedback control, stability, magnitude and phase margins, PID control, frequency methods for control design.
2.) linear (matrix) algebra: linear equations and their numerical solution using LU, Cholesky and QR matrix decompositions, eigenvalues, eigenvectors, positive (semi)definite matrix, singular value decomposition, conditioning of a matrix.
3.) complex functions of complex variables: analytic function, z-transform and Laplace transform and their regions of convergence, Fourier transform.
4.) random processes: random process, white noise, correlation, covariance, (auto)correlation function, spectral density.
1.) basics of dynamic systems and feedback control: feedback control, stability, magnitude and phase margins, PID control, frequency methods for control design.
2.) linear (matrix) algebra: linear equations and their numerical solution using LU, Cholesky and QR matrix decompositions, eigenvalues, eigenvectors, positive (semi)definite matrix, singular value decomposition, conditioning of a matrix.
3.) complex functions of complex variables: analytic function, z-transform and Laplace transform and their regions of convergence, Fourier transform.
4.) random processes: random process, white noise, correlation, covariance, (auto)correlation function, spectral density.
Optimal and robust control - B3M35ORR
| Credits | 6 |
| Semesters | Summer |
| Completion | Assessment + Examination |
| Language of teaching | Czech |
| Extent of teaching | 2P+2C |
Annotation
Tento pokročilý kurz je zaměřen na výpočetní metody návrhu optimálního a robustního řízení. Cílem je porozumění principům i omezením těchto metod a získání praktických výpočetních dovedností pro řešení realisticky složitých aplikačních problémů.
Study targets
Navrhovat pokročilé zpětnovazební regulátory pro realisticky složité systémy, a to s využitím specializovaného software.
Course outlines
1. Úvod do numerické optimalizace – analýza: nutné a postačující podmínky optimality pro úlohy bez omezení i s omezením typu rovnost či nerovnost (Lagrange, KKT).
2. Úvod do numerické optimalizace – algoritmy: gradientní metody, Newtonova metoda, kvazi-Newtonovy metody, projektované gradientní metody a přehled dalších.
3. Optimální řízení v diskrétním čase – přímý přístup: prediktivní řízení založené na modelu (angl. model predictive control, MPC).
4. Optimální řízení v diskrétním čase – nepřímý přístup: LQ-optimální řízení (LQR) na konečném i nekonečném časovém horizontu (diferenční a algebraická Riccatiho rovnice), regulace i sledování reference.
5. Dynamické programování v diskrétním i spojitém čase: Bellmanův princip optimality, Hamiltonova-Jacobiho-Bellmanova rovnice, numerický algoritmus i odvození LQR. Stručný úvod do řízení na bázi posilovaného učení (angl. reinforcement learning).
6. Optimální řízení ve spojitém čase – nepřímý přístup: variační počet, LQ-optimální řízení na konečném i nekonečném časovém horizontu (diferenciální i algebraická Riccatiho rovnice), regulace i sledování reference.
7. Optimální řízení ve spojitém čase při volném koncovém čase a omezení na akční zásah: Pontrjagynův princip maxima, časově optimální řízení (bang-bang řízení pro dvojitý integrátor).
8. Optimální řízení ve spojitém čase – numerické metody optimálního řízení (angl. numerical optimal control) pro přímý i nepřímý přístup (metoda střelby, vícenásobné střelby i kolokační metody).
9. Některá rozšíření LQR-optimálního řízení: LQG, LTR (Loop Transfer Recovery) a H2-optimální řízení.
10. Modely neurčitosti a analýza robustnosti (stability i kvality řízení).
11. Klasické i moderní metody pro návrh robustního řízení ve frekvenční oblasti: minimalizace normy H∞ smíšené citlivostní funkce, obecný H∞ problém, robustní tvarování frekvenční charakteristiky H∞ optimalizací, μ-syntéza pro systémy se strukturovanou neurčitostí.
12. Analýza dosažitelné kvality řízení.
13. Redukce řádu modelu i regulátoru.
14. Lineární maticové nerovnosti a semidefinitní programování coby nástroje pro analýzu i syntézu optimálního a robustního řízení.
2. Úvod do numerické optimalizace – algoritmy: gradientní metody, Newtonova metoda, kvazi-Newtonovy metody, projektované gradientní metody a přehled dalších.
3. Optimální řízení v diskrétním čase – přímý přístup: prediktivní řízení založené na modelu (angl. model predictive control, MPC).
4. Optimální řízení v diskrétním čase – nepřímý přístup: LQ-optimální řízení (LQR) na konečném i nekonečném časovém horizontu (diferenční a algebraická Riccatiho rovnice), regulace i sledování reference.
5. Dynamické programování v diskrétním i spojitém čase: Bellmanův princip optimality, Hamiltonova-Jacobiho-Bellmanova rovnice, numerický algoritmus i odvození LQR. Stručný úvod do řízení na bázi posilovaného učení (angl. reinforcement learning).
6. Optimální řízení ve spojitém čase – nepřímý přístup: variační počet, LQ-optimální řízení na konečném i nekonečném časovém horizontu (diferenciální i algebraická Riccatiho rovnice), regulace i sledování reference.
7. Optimální řízení ve spojitém čase při volném koncovém čase a omezení na akční zásah: Pontrjagynův princip maxima, časově optimální řízení (bang-bang řízení pro dvojitý integrátor).
8. Optimální řízení ve spojitém čase – numerické metody optimálního řízení (angl. numerical optimal control) pro přímý i nepřímý přístup (metoda střelby, vícenásobné střelby i kolokační metody).
9. Některá rozšíření LQR-optimálního řízení: LQG, LTR (Loop Transfer Recovery) a H2-optimální řízení.
10. Modely neurčitosti a analýza robustnosti (stability i kvality řízení).
11. Klasické i moderní metody pro návrh robustního řízení ve frekvenční oblasti: minimalizace normy H∞ smíšené citlivostní funkce, obecný H∞ problém, robustní tvarování frekvenční charakteristiky H∞ optimalizací, μ-syntéza pro systémy se strukturovanou neurčitostí.
12. Analýza dosažitelné kvality řízení.
13. Redukce řádu modelu i regulátoru.
14. Lineární maticové nerovnosti a semidefinitní programování coby nástroje pro analýzu i syntézu optimálního a robustního řízení.
Exercises outlines
Část cvičení (zejména na začátku předmětu) bude realizována jako výpočetní, kdy studenti budou samostatně pracovat na zadaných větších projektech s možností konzultací s přítomným vyučujícím. Větší část cvičení ale bude věnována samostatné práci studentů na laboratorních úlohách.
Literature
Povinná
• Sigurd Skogestad a Ian Postlethwaite. Multivariable Feedback Control – Analysis and Design. 2.vydání, Wiley, 2005. V počtu cca 15 kusů dostupná v knihovně a rezervována pro studenty předmětu.
• Pro témata neobsažená v knize vytvořil přednášející vlastní poznámky (anglicky psané lecture notes), které jsou studentům k dispozici na stránce předmětu ve fakultním systému Moodle. Kromě vlastních poznámek vyučujícího budou studenti odkazováni na partikulární zdroje pro dílčí témata (články v časopisech, online texty jiných vyučujících, …), viz dnešní stránka předmětu. Velká část témat (přednášek) je navíc zpracována ve formě videi, které jsou studentům k dispozici na Youtube (kanál AA4CC, playlist Optimal and robust control).
Doporučená
• Kirk, Donald E. 2004. Optimal Control Theory: An Introduction. Dover Publications. Kniha je přístupná online přes univerzitní knihovnu. Zároveň je poměrně finančně dostupná i v tištěné formě. Velmi doporučení hodná klasika.
• Gros, Sébastien, a Moritz Diehl. 2020. Numerical Optimal Control. Draft. KU Leuven. Zdarma dostupné online na https://www.syscop.de/teaching/ss2017/numerical-optimal-control.
• Rawlings, James B., David Q. Mayne, a Moritz M. Diehl. 2017. Model Predictive Control: Theory, Computation, and Design. 2. vyd. Madison, Wisconsin: Nob Hill Publishing, LLC. http://www.nobhillpublishing.com/mpc-paperback/index-mpc.html. Na stránce vydavatele i zdarma ke stažení.
• Anderson, Brian D. O., a John B. Moore. 2007. Optimal Control: Linear Quadratic Methods. Dover Publications. V počtu cca 10 ks k dispozici v knihovně.
• Borrelli, Francesco, Alberto Bemporad, a Manfred Morari. 2017. Predictive Control for Linear and Hybrid Systems. Cambridge, New York: Cambridge University Press. Autoři dali volně ke stažení na http://cse.lab.imtlucca.it/~bemporad/publications/papers/BBMbook.pdf.
• Sigurd Skogestad a Ian Postlethwaite. Multivariable Feedback Control – Analysis and Design. 2.vydání, Wiley, 2005. V počtu cca 15 kusů dostupná v knihovně a rezervována pro studenty předmětu.
• Pro témata neobsažená v knize vytvořil přednášející vlastní poznámky (anglicky psané lecture notes), které jsou studentům k dispozici na stránce předmětu ve fakultním systému Moodle. Kromě vlastních poznámek vyučujícího budou studenti odkazováni na partikulární zdroje pro dílčí témata (články v časopisech, online texty jiných vyučujících, …), viz dnešní stránka předmětu. Velká část témat (přednášek) je navíc zpracována ve formě videi, které jsou studentům k dispozici na Youtube (kanál AA4CC, playlist Optimal and robust control).
Doporučená
• Kirk, Donald E. 2004. Optimal Control Theory: An Introduction. Dover Publications. Kniha je přístupná online přes univerzitní knihovnu. Zároveň je poměrně finančně dostupná i v tištěné formě. Velmi doporučení hodná klasika.
• Gros, Sébastien, a Moritz Diehl. 2020. Numerical Optimal Control. Draft. KU Leuven. Zdarma dostupné online na https://www.syscop.de/teaching/ss2017/numerical-optimal-control.
• Rawlings, James B., David Q. Mayne, a Moritz M. Diehl. 2017. Model Predictive Control: Theory, Computation, and Design. 2. vyd. Madison, Wisconsin: Nob Hill Publishing, LLC. http://www.nobhillpublishing.com/mpc-paperback/index-mpc.html. Na stránce vydavatele i zdarma ke stažení.
• Anderson, Brian D. O., a John B. Moore. 2007. Optimal Control: Linear Quadratic Methods. Dover Publications. V počtu cca 10 ks k dispozici v knihovně.
• Borrelli, Francesco, Alberto Bemporad, a Manfred Morari. 2017. Predictive Control for Linear and Hybrid Systems. Cambridge, New York: Cambridge University Press. Autoři dali volně ke stažení na http://cse.lab.imtlucca.it/~bemporad/publications/papers/BBMbook.pdf.
Requirements
Předpokladem pro úspěšné absolvování tohoto kurzu jsou znalosti základů řídicích systémů (frekvenční charakteristiky, zpětná vazba, stabilita, PID regulace, ...) a solidní znalosti lineární algebry (vlastní čísla matice, singulární rozklad matice, podmíněnost matice, ...). Výhodou je absolvování pokročilejšího předmětu o lineárních systémech zavádějícího pojmy jako řiditelnost, pozorovatelnost, minimální realizace. V rámci programu Kybernetika a robotika na FEL ČVUT jsou tyto znalosti nabídnuty v bakalářském předmětu Automatické řízení a magisterském předmětu Lineární systémy.
Optimal and robust control design - BE3M35ORC
| Credits | 8 |
| Semesters | Summer |
| Completion | Assessment + Examination |
| Language of teaching | English |
| Extent of teaching | 2P+2C |
Annotation
This advanced course on control design will cover modern methods for optimal and robust control design. Emphasis will be put on practical computational design skills. Unifying idea of the course is that of minimization of a system norm. Depending on which norm is minimized, different properties of the resulting controller are guaranteed. Minimizing H2 norm leads to the celebrated LQ/LQG optimal control trading off the performance and the effort, while minimizing Hinf norm shifts the focus to robustness against uncertainties in the model. Mu-synthesis as an extensions to Hinf optimal control design that take the structure of the uncertainty into consideration represents a very powerfull tool for robust control design. Standing a little bit aside yet being useful in space missions are the methods for time-optimal and suboptimal control. As a self-contained add-on to the course, introduction to the topic of semidefinite programming and linear matrix inequalities (LMI) will be made, as these constitute a very elegant theoretial and a powerful computational tool for solving all the previously introduced tasks in optimal and robust control.
Study targets
None
Course outlines
1.Static optimization
2.Discrete-time LQ control
3.Steady-state discrete-time LQ optimal control
4.Continuous LQ control
5.H2 optimal control
6.Time-optimal and suboptimal control (bang-bang control)
7.Analysis of robustness against unstructured dynamic uncertainty
8.Analysis of robustness against structured dynamic uncertainty (structured singular values)
9.Design of robust controllers minimizing mixed sensitivity function, H?-optimal control, Mu- synthesis (DK iterations)
10.Design of robust controllers by loopshaping (Glover-McFarlane)
11.LMI, semidefinite programming
12.Application of LMI in robust control: quadratic stability, Hinf
13.Model and controller order reduction
2.Discrete-time LQ control
3.Steady-state discrete-time LQ optimal control
4.Continuous LQ control
5.H2 optimal control
6.Time-optimal and suboptimal control (bang-bang control)
7.Analysis of robustness against unstructured dynamic uncertainty
8.Analysis of robustness against structured dynamic uncertainty (structured singular values)
9.Design of robust controllers minimizing mixed sensitivity function, H?-optimal control, Mu- synthesis (DK iterations)
10.Design of robust controllers by loopshaping (Glover-McFarlane)
11.LMI, semidefinite programming
12.Application of LMI in robust control: quadratic stability, Hinf
13.Model and controller order reduction
Exercises outlines
Following the topics of the lectures.
Literature
1.Frank L. Lewis and Vassilis Syrmos: Optimal Control, 2nd ed., Wiley, 1995. [amazon link]
2.Sigurd Skogestad and Ian Postlethwaite: Multivariable Feedback Control: Analysis and Design, 2nd ed., Wiley, 2005. [amazon link]. This book can be borrowed at the faculty library.
2.Sigurd Skogestad and Ian Postlethwaite: Multivariable Feedback Control: Analysis and Design, 2nd ed., Wiley, 2005. [amazon link]. This book can be borrowed at the faculty library.
Requirements
Basic course on feedback control: dynamic system, transfer function, state-space model, stability, frequency response, Bode plot, feedback. These topics will also be covered by the SpaceMaster course Space systems, modeling and identification (SSMI).
Basic couse on linear algebra: solving linear systems, basic matrix decompositions (LU, Cholesky, QR, SVD), eigenvectors/eigenvalues, singular values, conditioning.
Basic couse on linear algebra: solving linear systems, basic matrix decompositions (LU, Cholesky, QR, SVD), eigenvectors/eigenvalues, singular values, conditioning.