ЧИСЕЛЬНЕ РОЗВ’ЯЗАННЯ ЗАДАЧ оптимального керування
1 Дискретизація задачі із закріпленим лівим і вільним правим кінцем. Необхідні умови оптимальності
Розглянемо неперервну задачу оптимального керування
 ,(1)
 ,(2)
 ,  ,  . (3)
Виконаємо дискретну апроксимацію даної задачі. Для цього розіб’ємо відрізок  точками  ,  і будемо обчислювати значення цільового функціонала і закону руху тільки в точках розбиття:  ,  ,  . Закон руху в цьому випадку можна записати у вигляді:
 .
Тепер дискретна задача оптимального керування, що апроксимує неперервну задачу (1) – (3), матиме вигляд:
 , , (4)
 , (5)
(6)
 ,  . (7)
Для пошуку оптимального розв’язку отриманої дискретної задачі може бути застосований метод множників Лагранжа. Функція Лагранжа має вигляд:
 ,
 ,(8)
де  .
Обмеження на керування введемо далі, під час реалізації чисельного методу. Відзначимо, що перед першим доданком стоїть знак «–», оскільки і якщо не додавати «–», то характер екстремуму початкової функції зміниться.
Якщо  – локально-оптимальний процес для задачі (4) – (7), то існують такі нерівні одночасно нулю множники Лагранжа ,  ,  ,  , що матимуть місце наступні умови:
1.  або
 ,
 ,
 . (10)
2.  або
 ,
 . (11)
Із (9) одержимо ітераційні співвідношення для спряжених змінних  , а з (10) – співвідношення для  :
 , (12)
 . (13)
Перепишемо співвідношення (12) у вигляді:
 .
Очевидно, що останнє співвідношення є аналогом спряженої системи для неперервних задач керування. Дійсно,
 .
Якщо  , то з останнього співвідношення одержимо
 .
Зі співвідношення (13) випливає, що  .
Сформулюємо критерій оптимальності для задачі (4) – (7). Вважатимемо, що функції  ,  неперервно-диференційовані за змінними  і опуклі за  . Тоді для локально-оптимального процесу існують такі множники Лагранжа , , , , не всі рівні нулю одночасно, що матимуть місце необхідні умови екстремуму:
1) умови стаціонарності в точці  :
 ;
2)  . (14)
Розпишемо (14), використовуючи вираз для функції Лагранжа:
Перетворимо вираз під знаком мінімуму, переходячи до довільного :
Або
Якщо  , то з останнього співвідношення одержимо
2 Ітераційний метод розв’язання дискретної задачі оптимального керування з двійним перерахуванням
Розглянемо ітераційний метод пошуку оптимального керування задачі (4) – (7). Суть методу полягає в тому, що на кожній ітерації обчислюються два вектори:  і  . Перший із них містить  -е наближення для керувань у моменти часу  для системи (14), при  , а другий – -е наближення для фазових станів системи в ці ж моменти часу. Отже, на кожній ітерації ми одержуємо процес  , що є -м наближенням до шуканого оптимального процесу.
Контроль у методі подвійного перерахування полягає в повторному перерахуванні результатів задачі і порівнянні отриманих даних для різних значень кроку розбиття. У випадку розбіжності виконується корекція і обчислення повторюються.
Розглянемо алгоритм методу.
1. Задаємо крок розбиття  та точність обчислень  .
2. Задаємо початкове наближення – припустимий набір керувань на кожному кроці – початкову стратегію керування:
 ,  ,  ,
де  – наближення керування в момент  на ітерації  .
3. За визначеною в п. 2 стратегією керування  будуємо фазову траєкторію процесу
 , , 
на початкової ітерації , використовуючи початкові умови і різницеві співвідношення, що апроксимують рівняння руху:
 , .
4. Визначаємо початкове наближення  відповідно до (5).
5. Знаходимо спряжені змінні за формулами (12) – (13).
Визначаємо наступні наближення до оптимального керування  ,
в момент як розв’язки задачі (15) або (16):
 ,  .
7. Обчислюємо відповідну стратегії  траєкторію
за формулами (4), (6):
 ,  , .
8. Знаходимо наступне наближення цільового функціонала
 за формулою (5).
9. Якщо  , то переходимо до п. 10, інакше вважаємо, що
 ,  ,  і переходимо до п. 13.
10. Перевіряємо, чи виконується задана точність обчислень. Якщо
 і  ,
то переходимо до п. 13, інакше – до п. 11.
11. Позначаємо
 ,  ,  .
12. Виконуємо наступний крок ітераційного методу – п. 5.
13. Позначаємо
 ,  ,  – розв’язок, отриманий із кроком розбиття .
1 Якщо крок не ділився, то переходимо до п. 15, інакше – до п. 1
15. Ділимо крок
 . Тоді  і переходимо до п. 2 при  .
1 Перевіряємо задану точність. Якщо
 і  ,
то переходимо до п. 18, інакше переходимо до п. 17.
17. Позначаємо
 ,  ,  ,  , і переходимо до п. 15 – наступного кроку подвійного перерахування.
18.  ,  ,  – розв’язок задачі.
Кінець алгоритму.
3. Оптимальне стохастичне керування: формулювання із зовнішнім інтегралом
Розглянемо відображення  , що задане формулою
 , (17)
за таких припущень:
параметр  приймає значення з вимірного простору  . Для будь-якої фіксованої пари  задана ймовірнісна міра  на просторі , а символ  у формулі (12) означає зовнішній інтеграл відносно цієї міри. Отже,
 ;
функції  і  відображують множину  відповідно в множини  і  , тобто  ,  ;
скаляр  додатний.
Формули (1), (6) є окремими випадками відображення  з (12). Очевидно, що відображення (1) для детермінованої задачі випливає з (12), якщо множина  складається з єдиного елемента, а відображення (6) (для стохастичної задачі зі зліченним простором збурень) відповідає випадку, коли множина зліченна, а  є  -алгеброю, складеною із всіх підмножин .
Очевидно, що відображення з (12) задовольняє припущенню монотонності. Якщо на множини ,  і функції , і  накласти вимоги вимірності, то витрати за  кроків  можна визначити в термінах звичайного інтегрування для будь-якої стратегії  , для якої функції  , вимірні.
Для початкового стану  і стратегії  ймовірнісні міри
 , ..., 
у сукупності із системою рівнянь
 , (18)
визначають єдину міру  на -кратному прямому добутку  копій простору . У випадку, якщо ,  , і виконується одна з умов
 або
 ,
то функція витрат за кроків, що відповідає вимірній стратегії  , приводиться до звичайного вигляду
 ,
де стани  , виражено як функції змінних  , ...,  за допомогою рівнянь (13) та початкового стану  .
Рекурентне співвідношення методу динамічного програмування для розв’язання багатоетапних задач оптимального стохастичного керування зі скінченним горизонтом можна записати так:
 ,  ,
де  – щільність розподілу величини .
4 Оптимальне стохастичне керування:мультиплікативний функціонал витрат
Розглянемо відображення , що задане формулою
 , (19)
за припущення, що параметр приймає значення зі зліченної множини відповідно до заданого розподілу ймовірностей, що залежать від стану і керування . Вважатимемо також, що  ,  ,  ,  . Тоді відображення з формули (14) задовольняє припущенню монотонності.
Якщо  , , то задача оптимального керування з мультиплікативним функціоналом витрат і скінченним горизонтом матиме такий вигляд:
 , (20)
 . (21)
а відповідна задача з нескінченним горизонтом:
 , (22)
 . (23)
Границя в (23) існує, якщо  :  або  .
Самостійний інтерес становить задача з експоненціальною функцією витрат
 ,
,
де  .
Для розв’язання багатоетапних задач оптимального стохастичного керування з мультиплікативним функціоналом витрат використовується таке рекурентне співвідношення алгоритму динамічного програмування:
 , ,
де – щільність розподілу величини .
5. Мінімаксне керування
Розглянемо задачу керування системою, у якій некерованими впливами є стратегії супротивника (або явища природи)  , , що обираються залежно від поточного стану і керування  . Вважатимемо, що припустимі стратегії супротивника приймають значення із множини  , . Будемо обчислювати стратегію керування  , орієнтуючись на найгіршу поведінку супротивника. Розглянемо відображення  , задане формулою
 ,
за таких припущень:
параметр приймає значення з деякої множини , а  – непуста підмножина при будь-яких  ,  ;
функції і відображують множину  в множини  та відповідно, тобто  ,  ;
скаляр додатний.
За таких умов припущення про монотонність для відображення має місце. Якщо при цьому  , і  для всіх , , , то відповідну -крокову задачу мінімаксного керування можна сформулювати так:
 , (17)
 . (18)
Задача з нескінченним горизонтом формулюється аналогічно:
 , (24)
 . (25)
Границя у співвідношенні (25) існує при виконанні будь-якої з умов:
· ,  ,  , ;
·  , , , ;
·  ,  , , , і деякого  .
Для розв’язання багатокрокових мінімаксних задач оптимального стохастичного керування рекурентне співвідношення алгоритму динамічного програмування використовується у такому вигляді:
, ,
 ,
 .
|
