Метод максимальної правдоподібності

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до навігації Перейти до пошуку

Метод максимальної правдоподібності (також метод найбільшої вірогідності) у математичній статистиці — це метод оцінювання невідомого параметра шляхом максимізації функції правдоподібності. Він ґрунтується на припущенні про те, що вся інформація про статистичну вибірку міститься у цій функції. Метод максимальної правдоподібності був проаналізований, рекомендований і значно популяризуваний Р. Фішером між 1912 і 1922 роками (хоча раніше він використовувався Гаусом, Лапласом і іншими). Оцінка максимальної правдоподібності є популярним статистичним методом, який використовується для створення статистичної моделі на основі даних, і забезпечення оцінки параметрів моделі.

Метод максимальної правдоподібності відповідає багатьом відомим методам оцінки в області статистики. Наприклад, припустимо, що ви зацікавлені зростом мешканців України. Припустимо, у вас дані стосовно зросту деякої кількості людей, а не всього населення. Крім того передбачається, що зріст є нормально розподіленою величиною з невідомою дисперсією і середнім значенням. Вибіркові середнє значення і дисперсія зросту є максимально правдоподібними до середнього значення і дисперсії всього населення.

Для фіксованого набору даних і базової імовірнісної моделі, використовуючи метод максимальної правдоподібності, ми набудемо значень параметрів моделі, які роблять дані «ближчими» до реальних. Оцінка максимальної правдоподібності дає унікальний і простий спосіб визначити рішення у разі нормального розподілу.

Застосування

[ред. | ред. код]

Метод оцінки максимальної правдоподібності застосовується для широкого кола статистичних моделей, зокрема:

Метод застосовується в широких областях науки, зокрема:

  • системи зв'язку;
  • психометрія;
  • економетрика;
  • оцінювання кутових координат джерел сигналів, їх частоти і часу затримки в акустичних і електромагнітних системах[1][2];
  • моделювання в ядерній фізиці і фізиці елементарних частинок;
  • обчислювальна філогенетика;
  • моделювання каналів в транспортних мережах.

Визначення

[ред. | ред. код]

Нехай маємо вибірку з розподілу , де  — невідомий параметр. Нехай  — функція правдоподібності, де . Точкова оцінка

називається оцінкою максимальної правдоподібності параметра . Таким чином, оцінка максимальної правдоподібності — це така оцінка, яка максимізує функцію правдоподібності при фіксованій реалізації вибірки.

Зауваження

[ред. | ред. код]
  • Оскільки функція монотонно зростає на всій області визначення, максимум будь-якої функції є максимумом функції , і навпаки. Таким чином,
,

де  — логарифмічна функція правдоподібності.

  • Оцінка максимальної правдоподібності, загалом, може бути зміщеною (див. приклади).

Приклади

[ред. | ред. код]
  • Нехай  — незалежна вибірка з неперервного рівномірного розподілу на відрізку , де  — невідомий параметр. Тоді функція правдоподібності має вигляд

Остання рівність може бути переписана у вигляді:

де , звідки видно, що свого максимуму функція правдоподібності досягає в точці . Таким чином

.
  • Нехай  — незалежна вибірка з нормального розподілу з відомим середнім і дисперсією. Побудуємо оцінку максимальної правдоподібності для невідомого вектора параметрів . Логарифмічна функція правдоподібності приймає вигляд
.

Щоб знайти її максимум, прирівнюємо до нуля часткові похідні:

звідки

 — вибіркове середнє, а
 — вибіркова дисперсія.

Примітки

[ред. | ред. код]
  1. Слюсар В.И. Синтез алгоритмов измерения дальности М источников при дополнительном стробировании отсчетов АЦП.// Известия высших учебных заведений. Радиоэлектроника.- 1996. - Том 39, № 5. - C. 55 - 62.[1] [Архівовано 5 червня 2014 у Wayback Machine.]
  2. Слюсар В.И. Предельное разрешение дальномерных процедур максимального правдоподобия.// Известия высших учебных заведений. Радиоэлектроника.- 1998. - Том 41, № 11. - C. 39 - 45. [2] [Архівовано 25 січня 2020 у Wayback Machine.]

Джерела

[ред. | ред. код]
  • Карташов М. В. Імовірність, процеси, статистика. — Київ : ВПЦ Київський університет, 2007. — 504 с.
  • Гнеденко Б. В. Курс теории вероятностей. — 6-е изд. — Москва : Наука, 1988. — 446 с.(рос.)
  • Гихман И. И., Скороход А. В., Ядренко М. В. Теория вероятностей и математическая статистика. — Київ : Вища школа, 1988. — 436 с.(рос.)
  • Руденко В. М. (2012). Математична статистика. Київ: Центр учбової літератури. с. 158. ISBN 978-611-01-0277-3.
  • Capinski, Marek; Kopp, Peter E. (2004). Measure, Integral and Probability. Springer Verlag. ISBN 9781852337810.
  • Williams D. (1991). Probability with Martingales. Cambridge University Press. ISBN 0-521-40605-6.
  • Варюхин В. А., Покровский В. И., Сахно В. Ф. Модифицированная функция правдоподобия в задаче определения угловых координат источников с помощью антенной решетки, Докл. АН СССР, 1983, том 270, номер 5, С. 1092—1094.