Теорема Карунена — Лоева

Матеріал з Вікіпедії — вільної енциклопедії.
Перейти до навігації Перейти до пошуку

Теорема Кархунена — Лоева (названа на честь Карі Кархунена[en] та Мішеля Лоева[en]), також відома як теорема Косамбі — Кархунена — Лоева[1][2], це розклад випадкового процесу у вигляді нескінченної лінійної комбінації ортогональних функцій, що є аналогом представлення функції в ряд Фур'є на обмеженому інтервалі. Цей розклад тісно пов'язаний з методом головних компонент (PCA), який широко використовується в аналізі даних.[3]

Першим хто розглянув розклад випадкового процесу у вигляді нескінченного ряду Дамодаром Дхарманандою Косамбі[4][5]. Існує декілька розкладів стохастичного процесу: якщо процес заіндексований над , то будь-який ортонормований базис в задає розклад в цій формі. Важливість теореми Кархунена – Лоева полягає в тому, що вона дає найкращий базис у сенсі мінімізації середньої квадратичної помилки.

На відміну від ряду Фур'є, де коефіцієнти є фіксованими числами і базис складається з синусоїдальних функцій (тобто функцій синуса та косинуса), коефіцієнти в теоремі Кархунена – Лоева є випадковими величинами, а базис розкладання залежить від процесу. Фактично, ортогональні базисні функції, що використовуються в цьому розкладі, визначаються коваріаційною функцією процесу.

У випадку центрованого випадкового процесу (центрований означає для всіх ), що задовольняє умову технічної неперервності, допускає розкладання

де є попарно некорельованими випадковими величинами, а функції є неперервними дійсними функціями на , які є попарно ортогональними в . Загальний випадок процесу , який не є центрованим, можна повернути до випадку центрованого процесу, розглядаючи , який є центрованим процесом.

Крім того, у випадку нормального процесу, випадкові величини є нормально розподіленими і стохастично незалежними. Цей результат узагальнює перетворення Кархунена – Лоева. Важливим прикладом центрованого стохастичного процесу на є процес Вінера; теорема Кархунена – Лоева може бути використана для забезпечення канонічного ортогонального представлення для нього. У цьому випадку розкладання складається з синусоїдальних функцій.

Формулювання

[ред. | ред. код]
  • У цій статті ми розглядатимемо квадратично інтегрований випадковий процес із нульовим середнім, визначений у ймовірнісному просторі та проіндексований у замкненому інтервалі з коваріаційною функцією . Таким чином ми маємо:

Оскільки є лінійним оператором, то має сенс говорити про його власні значення та власні функції , які знаходяться за допомогою розв'язування однорідного інтегрального рівняння Фредгольма другого роду

Формулювання теореми

[ред. | ред. код]

Теорема. Нехай — квадратично інтегрований випадковий процес, визначений у ймовірносному просторі та проіндексований на інтервалі , з неперервною коваріаційною функцією .

Тоді є ядром Мерсера, і якщо ортонормований базис в утворений власними функціями з відповідними власними значеннями допускає наступне представлення

де збіжність в , рівномірна по t і

Крім того, випадкові величини некорельовані мають нульове середнє та мають дисперсію

Зауважте, що за допомогою узагальнення теореми Мерсера, ми можемо замінити інтервал на будь-який компактний простір і міру Лебега на , носієм якої є .

Доведення

[ред. | ред. код]
  • Коваріаційна функція є ядром Мерсера. Згідно з теоремою Мерсера, отже, існує набір , власних значень і власних функцій що утворюють ортонормований базис , і можна розкласти
  • Процес можна розкласти за власними функціями як:
де коефіцієнти (випадкові величини) є проекціями на відповідні власні функції
  • Тоді ми можемо отримати
де ми використали факт, що є власними функціями і ортонормовані.
  • Тепер покажемо, що збіжність відбувається в . Нехай
Тоді:
яка дорівнює 0 за теоремою Мерсера.

Властивості перетворення Кархунена – Лоева

[ред. | ред. код]

Особливий випадок: розподіл Гауса

[ред. | ред. код]

Оскільки ліміт в середньому спільно гаусівських випадкових величин є спільно гаусівською, а спільно гауссові випадкові (центровані) величини є незалежними, тоді і тільки тоді, коли вони ортогональні, ми також можемо зробити висновок:

Теорема. Змінні Zi мають спільний гаусівський розподіл і є незалежними, якщо процес є гаусівським.

У випадку гаусової випадкової величини, змінні Zi є незалежними, ми можемо сказати більше:

Лінійне наближення Теорема Кархунена — Лоева

[ред. | ред. код]

Розглянемо слас сигналів які ми хочемо наблизити за допомогою базисних веторів. Ці сигнали змодельовані як реалізація випадкови веторів розміром . Для оптимізації апроксимації ми реалізуємо такий базис що зменить помилку. Ця секція доводить, що накращий базис це базисКархунена — Лоева що діагоналізує . Випадковий вектор може бути декомпонований в ортонормальний базис

а саме:

де кожен

це випадкова величина. Наближення перших векторів базиса є

Із береження енергії в ортогональному базисі виходить

Це помилка пов'язана з коваріацією визначена як

Для будь-якого вектору ми визначимо коваріаційний оператор визначений за матрицею,

Помилка це сума останніх коефіціентів коваріаційного оператору

Коваріаційний оператор Ермітів і позитивний тому він може бути діагоналзований, в ортогональному базисі який називається базис Кархунена — Лоева. Наступна теорема стверджує, що базис Кархунена — Лоева має найменшу посику апроксимізації.

Theorem (Оптимальність Кархунена — Лоева базиса). Нехай K коваріаційний оператор. Для всіх M ≥ 1, помилка апроксимації

приймає мінімальне значення тоді і тільки тоді

це базис Кархунена — Лоева відсортовонаний по зменшенню власних чисел.

Приклади

[ред. | ред. код]

Вінерівський процес

[ред. | ред. код]

Існує декілька еквівалентних формулювань процес Вінера яка є узагальненням Броунівського руху. Тут ми розглядаєм стандартний гаусівський процесс з коваріаційною функцією

Ми можемо розглядаєио лише інтервал .

Ми можемо легко порахувати власні вектори, а саме

і відвідні власні числа

Щоб знайти власні числа та власні інтеграли ми маємо вирішити інтегральні рівняння

якщо ми продиференціюємо по , то ми отримаємо:

після другого дифференціювання ми отримаємо аступне диффиренційне рівняння:

Загальний розв'язок дифференціального рівнняння виглядає так:

і - дві константи, які визначаються з граничних умов. При підставленні в інтегральне рівняння ми отримаємо з чого також отримаємо та, також, при перше диффернціювання дає :

з чого ми отримаємо загальний вигляд власних чисел are:

Відповідні власні функції мають вигляд:

обрана так, щоб нормалізувати :

Ми отримаємо представлення процесу Вінера

Theorem. Існує послідовність незалежних Гасових випадкових величин з нульовим середнім та дисперсією 1 так щ

Треба зауважити що таке представлення дійсне при На більшихих інтервалах інкременти не незалежні. Як сказано в теоремі, збіжність у L2 нормі і рівномірна по  t.

Броунівський міст

[ред. | ред. код]

Подібно Броунівський міст який є випадковим процесом з коваріацією

може бути представлений як ряд

Примітки

[ред. | ред. код]
  1. Sapatnekar, Sachin (2011), Overcoming variations in nanometer-scale technologies, IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 1 (1): 5—18, Bibcode:2011IJEST...1....5S, doi:10.1109/jetcas.2011.2138250
  2. Ghoman, Satyajit; Wang, Zhicun; Chen, PC; Kapania, Rakesh (2012). A POD-based Reduced Order Design Scheme for Shape Optimization of Air Vehicles. Proc of 53rd AIAA/ASME/ASCE/AHS/ASC Structures, Structural Dynamics, and Materials Conference, AIAA-2012-1808, Honolulu, Hawaii.
  3. Karhunen–Loeve transform (KLT) [Архівовано 2016-11-28 у Wayback Machine.], Computer Image Processing and Analysis (E161) lectures, Harvey Mudd College
  4. Raju, C.K. (2009), Kosambi the Mathematician, Economic and Political Weekly, 44 (20): 33—45
  5. Kosambi, D. D. (1943), Statistics in Function Space, Journal of the Indian Mathematical Society, 7: 76—88, MR 0009816.

Посилання

[ред. | ред. код]