Теорія статистичних рішень
1. Вступ до теорії статистичних рішень
Теорія статистичних рішень — це математичний апарат, призначений для прийняття оптимальних рішень в умовах невизначеності. Основна проблема полягає у виборі найкращої дії (рішення) на основі спостережуваних даних, коли результат залежить від невідомого "стану природи" та наявності випадкових факторів.
Класичним прикладом є задача перевірки статистичних гіпотез, де необхідно обрати між нульовою гіпотезою ($H_0$) та альтернативною гіпотезою ($H_1$).
2. Рандомізовані розв'язки
Традиційний (нерандомізований) розв'язок передбачає однозначний вибір однієї дії.
Рандомізований розв'язок ($X$), на відміну від нього, є розподілом імовірностей на множині можливих нерандомізованих розв'язків ($\alpha_1, \alpha_2, ..., \alpha_m$).
Іншими словами, рандомізований розв'язок — це вектор:
$$X = (x_1, x_2, ..., x_m); \quad x_i \geq 0, \quad \sum x_i = 1$$
де $x_i$ — це імовірність вибору розв'язку $\alpha_i$. Фактично, ми делегуємо остаточне рішення випадковому механізму.
Чому потрібна рандомізація?
Рандомізація дозволяє розширити множину допустимих стратегій і, як наслідок, досягти кращих результатів, зокрема:
- Точно досягати заданих обмежень на контрольовані параметри (наприклад, рівня значущості $\alpha$ у гіпотезах).
- Оптимізувати характеристики (наприклад, мінімізувати втрати або максимізувати потужність) для неконтрольованих станів природи.
3. Принцип очікуваної корисності Неймана-Моргенштерна
Для кількісної оцінки рандомізованих розв'язків (які є "лотереями" з точки зору теорії рішень) використовується принцип очікуваної корисності. Цей принцип є ключовою аксіомою в теорії рішень, формалізованою Дж. фон Нейманом та О. Моргенштерном.
Аксіома стверджує, що корисність будь-якої лотереї (рандомізованого розв'язку) дорівнює середньозваженому значенню корисностей її можливих результатів, де вагами виступають імовірності цих результатів.
Якщо лотерея $L$ складається з $m$ результатів $v_1, ..., v_m$ з імовірностями $x_1, ..., x_m$ ($x_i \geq 0, \sum_{i=1}^{m} x_i = 1$), а корисності результатів рівні:
$$Q(v_1) = u_1, \quad Q(v_2) = u_2, \quad ..., \quad Q(v_m) = u_m$$
Тоді її корисність $Q(L)$ обчислюється так:
$$Q(L) = \sum_{i=1}^{m} x_i u_i$$
де $u_i$ — це корисність результату $v_i$.
Корисність та втрати рандомізованого розв'язку
Цей принцип застосовується безпосередньо до оцінки рандомізованого розв'язку $X = (x_1, ..., x_m)$.
При заданому стані природи $\beta_j$, корисність рандомізованого розв'язку $X$ розраховується як:
$$Q(X, \beta_j) = \sum_{i=1}^{m} x_i q_{ij}$$
де $q_{ij}$ — корисність вибору $i$-го нерандомізованого рішення при стані $\beta_j$.
Аналогічно, очікувані втрати $l(X, \beta_j)$ є середньозваженими втратами:
$$
l(X, \beta_j) = \max_i q_{ij} - Q(X, \beta_j) = \max_i q_{ij} - \sum_i x_i q_{ij} = \sum_i x_i \left( \max_i q_{ij} - q_{ij} \right) = \sum_i x_i l_{ij}
$$
де $l_{ij}$ — втрати від вибору $i$-го нерандомізованого рішення при стані $\beta_j$.
Саме завдяки цьому принципу стає можливим математичне формулювання Критерію Неймана-Пірсона. Ми можемо оперувати із втратами рандомізованого розв'язку як з лінійним виразом, що дозволяє використовувати апарат лінійного програмування для знаходження оптимального розв'язку:
$$\min \sum x_i l_{i2} \quad \text{при обмеженні:} \quad \sum x_i l_{i1} \leq L^*$$
4. Геометрична інтерпретація
У випадку двох станів природи ($\beta_1$ та $\beta_2$) вводиться декартова система координат, де осі відповідають втратам $l_1$ та $l_2$.
Вектор втрат рандомізованого розв'язку $X$ є опуклою лінійною комбінацією векторів втрат нерандомізованих рішень.
Платіжна множина — це опукла оболонка точок, що відповідають усім нерандомізованим розв'язкам. Ця множина включає всі вектори очікуваних втрат, які можна досягти за допомогою будь-якої рандомізованої стратегії.
У геометричній інтерпретації із платіжної множини виключаються всі розв'язки, для яких значення за станом, що контролюється, більші за граничне значення. Усіх інших точок множини вибирають ту, для якої значення за станом, що не контролюється, найменше.
5. Критерій оптимальності Неймана-Пірсона
Критерій вимагає знайти такий рандомізований розв'язок, який:
- Контролює (обмежує) втрати для першого (контрольованого) стану природи $\beta_1$ на заданому рівні $L^*$.
- Мінімізує втрати для другого (неконтрольованого) стану природи $\beta_2$ за умови дотримання першого обмеження.
Ця задача є типовою задачею лінійного програмування у просторі рандомізованих рішень:
$$\min \sum x_i l_{i2}$$
За умов обмежень:
- Обмеження на контрольований стан: Очікувані втрати не мають перевищувати $L^*$:
$$
\sum x_i l_{i1} \leq L^*
$$
- Обмеження на ймовірності: Сума ймовірностей дорівнює одиниці, а самі ймовірності є невід'ємними:
$$\sum x_i = 1, \quad x_i \geq 0$$
де $x_i$ — це імовірність вибору нерандомізованого розв'язку $\alpha_i$, а $l_{i1}, l_{i2}$ — його втрати при станах $\beta_1$ та $\beta_2$ відповідно.
Для критерія Неймана-Пірсона можливі наступні випадки:
- Задача не має оптимального розв’язку.
- Оптимальний розв’язок знаходиться у вершині відповідної платіжної множини (чиста стратегія).
- Оптимальний розв’язок знаходиться на відрізку (змішана стратегія).
Алгоритм знаходження оптимального розв'язку:
- Визначення обмеження: Встановити граничне значення $L^*$ для контрольованого стану $\beta_1$.
- Формування допустимої множини: Виключити з платіжної множини всі стратегії, для яких очікувані втрати $l_1 \geq L^*$.
- Мінімізація цільової функції: Серед допустимих розв'язків знайти той, що забезпечує мінімальні очікувані втрати $l_2$ для неконтрольованого стану $\beta_2$.
- Використання рандомізації:
- Якщо множина допустимих розв’язків пуста — задача не має розв’язку.
- Якщо мінімум знаходиться у вершині, що відповідає нерандомізованому розв’язку $\alpha_i$, то розв’язок — це вектор $x^*=(0, ..., x_i, ...0), x_i=1$.
- Якщо мінімум $l_2$ досягається точно на межі $l_1 = L^*$ і не збігається з жодним із вихідних рішень, оптимальний розв'язок є рандомізованою комбінацією (лотереєю) двох сусідніх рішень.