Марківський процес із двома станами. Детальна токування поняття

Припущення про пуасонівський характер потоку заявок і про показовий розподіл часу обслуговування цінні тим, що дозволяють застосувати в теорії масового обслуговування апарат так званих марківських випадкових процесів.

Процес, що протікає у фізичній системі, називається марківським (або процесом без післядії), якщо для кожного моменту часу ймовірність будь-якого стану системи в майбутньому залежить тільки від стану системи теперішній моменті залежить від цього, як система прийшла у цей стан.

Розглянемо елементарний приклад марковського довільного процесу. По осі абсцис випадково переміщається точка . На момент часу точка знаходиться на початку координат і залишається там протягом однієї секунди. За секунду кидається монета; якщо випав герб - точка переміщається однією одиницю довжини вправо, якщо цифра - вліво. Через секунду знову кидається монета і виробляється таке ж випадкове переміщення, і т. д. Процес зміни положення точки (або, як кажуть, «блукання») є випадковим процесом з дискретним часом і численним станом

Схема можливих переходів цього процесу показано на рис. 19.7.1.

Покажемо, що цей процес – марківський. Дійсно, уявімо собі, що в якийсь момент часу система знаходиться, наприклад, у стані - на одну одиницю правіше за початок координат. Можливі положення точки через одиницю часу будуть і з ймовірностями 1/2 та 1/2; через дві одиниці - , , з ймовірностями 1/4, ½, 1/4 і так далі. Очевидно, всі ці ймовірності залежать тільки від того, де знаходиться точка в даний момент, і зовсім не залежать від того, як вона прийшла туди.

Розглянемо інший приклад. Є технічний пристрій , що складається з елементів (деталей) типів і , що мають різну довговічність. Ці елементи у випадкові моменти часу незалежно один від одного можуть виходити з ладу. p align="justify"> Справна робота кожного елемента безумовно необхідна для роботи пристрою в цілому. Час безвідмовної роботи елемента – випадкова величина, розподілена за показовим законом; для елементів типу та параметри цього закону різні та рівні відповідно і . У разі відмови пристрою негайно вживаються заходи виявлення причин і виявлений несправний елемент негайно замінюється новим. Час, потрібний для відновлення (ремонту) пристрою, розподілено за показовим законом з параметром (якщо вийшов з ладу елемент типу) і (якщо вийшов з ладу елемент типу).

У даному прикладівипадковий процес, що протікає в системі, є марківський процес з безперервним часом і кінцевим безліччю станів:

Всі елементи справні, система працює,

Несправний елемент типу, система ремонтується,

Несправний елемент типу, система ремонтується.

Схема можливих переходів дано на рис. 19.7.2.

Дійсно, процес має марківську властивість. Нехай наприклад, в даний момент система перебуває в стані (справна). Оскільки час безвідмовної роботи кожного елемента - показове, то момент відмови кожного елемента у майбутньому залежить від цього, скільки часу він працював (коли поставлено). Тому ймовірність того, що в майбутньому система залишиться в стані або піде з нього, не залежить від передісторії процесу. Припустимо тепер, що у момент система перебуває у стані (несправний елемент типу ). Так як час ремонту теж показовий, ймовірність закінчення ремонту в будь-який час не залежить від того, коли почався ремонт і коли були поставлені інші (справні) елементи. Таким чином, процес є марковським.

Зауважимо, що показовий розподіл часу роботи елемента та показовий розподіл часу ремонту – суттєві умови, без яких процес не був би марківським. Дійсно, припустимо, що час справної роботи елемента розподілено не за показовим законом, а за якимось іншим - наприклад, за законом рівномірної щільності на ділянці . Це означає, що кожен елемент з гарантією працює час, а на ділянці від до може вийти з ладу в будь-який момент з однаковою щільністю ймовірності. Припустимо, що в якийсь момент часу елемент працює справно. Очевидно, ймовірність того, що елемент вийде з ладу на якійсь ділянці часу в майбутньому, залежить від того, наскільки давно поставлений елемент, тобто залежить від передісторії і процес не буде марківським.

Аналогічно і з часом ремонту ; якщо воно не показове і елемент у момент ремонтується, то час ремонту, що залишився, залежить від того, коли він почався; процес знову не буде марківським.

Взагалі показовий розподіл грає особливу рольтеоретично марківських випадкових процесів з безперервним часом. Легко переконатися, що у стаціонарному марківському процесі час, протягом якого система залишається у якомусь стані, розподілено завжди за показовим законом (з параметром, що залежить, взагалі кажучи, від цього стану). Справді, припустимо, що у момент система перебуває у стані і колись перебувала у ньому якийсь час. Відповідно до визначення марківського процесу, ймовірність будь-якої події в майбутньому не залежить від передісторії; зокрема, ймовірність того, що система піде зі стану протягом часу, не повинна залежати від того, скільки часу система вже провела у цьому стані. Отже, час перебування системи може бути розподілено за показовим законом.

У випадку, коли процес, що протікає у фізичній системі з численним станом і безперервним часом, є марківським, можна описати цей процес за допомогою звичайних диференціальних рівнянь, у яких невідомими функціями є ймовірність станів . Складання та розв'язання таких рівнянь ми продемонструємо в наступному на прикладі найпростішої системимасового обслуговування.

Теорія масового обслуговування становить один із розділів теорії ймовірностей. У цій теорії розглядаються імовірніснізавдання та математичні моделі(До цього нами розглядалися детерміновані математичні моделі). Нагадаємо, що:

Детермінована математична модельвідображає поведінку об'єкта (системи, процесу) з позицій повної визначеностіу теперішньому та майбутньому.

Ймовірнісна математична модельвраховує вплив випадкових чинників поведінка об'єкта (системи, процесу) і, отже, оцінює майбутнє з позицій ймовірності тих чи інших подій.

Тобто. тут як, наприклад, у теорії ігор задачі розглядаються в умовахневизначеності.

Розглянемо спочатку деякі поняття, які характеризують «стохастичну невизначеність», коли невизначені фактори, що входять до завдання, є випадковими величинами (або випадковими функціями), ймовірнісні характеристики яких або відомі, або можуть бути отримані з досвіду. Таку невизначеність називають ще «сприятливою», «доброякісною».

Поняття випадкового процесу

Строго кажучи, випадкові обурення притаманні будь-якому процесу. Простіше навести приклади випадкового, ніж «невипадкового» процесу. Навіть, наприклад, процес ходу годинника (начебто це сувора вивірена робота – «працює як годинник») схильний до випадкових змін (догляд вперед, відставання, зупинка). Але доки ці обурення несуттєві, мало впливають на цікаві для нас параметри, ми можемо ними знехтувати і розглядати процес як детермінований, невипадковий.

Нехай є деяка система S(Технічне пристрій, група таких пристроїв, технологічна система - верстат, ділянка, цех, підприємство, галузь промисловості тощо). В системі Sпротікає випадковий процесякщо вона з часом змінює свій стан (переходить з одного стану в інший), причому, заздалегідь невідомим випадковим чином.

Приклади: 1. Система S- технологічна система (дільниця верстатів). Верстати іноді виходять з ладу і ремонтуються. Процес, який у цій системі, випадковий.

2. Система S- Літак, що здійснює рейс на заданій висоті за певним маршрутом. Обурювальні чинники – метеоумови, помилки екіпажу тощо, наслідки – «болтанка», порушення графіка польотів тощо.

Марківський випадковий процес

Випадковий процес, що протікає в системі, називається Марківськимякщо для будь-якого моменту часу t 0 ймовірнісні характеристики процесу в майбутньому залежать тільки від його стану в даний момент t 0 і не залежать від того, коли і як система прийшла до цього стану.

Нехай зараз t 0 система знаходиться у певному стані S 0 . Ми знаємо характеристики стану системи в реальному все, що було при t<t 0 (передісторію процесу). Чи можемо передбачити (передбачити) майбутнє, тобто. що буде за t>t 0? В точності - ні, але якісь ймовірнісні характеристики процесу в майбутньому знайти можна. Наприклад, ймовірність того, що через деякий час система Sвиявиться в стані S 1 або залишиться в стані S 0 і т.д.

приклад. Система S- Група літаків, що беруть участь у повітряному бою. Нехай x– кількість «червоних» літаків, y- кількість "синіх" літаків. На момент часу t 0 кількість літаків, що збереглися (не збитих) відповідно – x 0 ,y 0 . Нас цікавить ймовірність того, що в момент часу чисельна перевага буде на боці «червоних». Ця ймовірність залежить від того, в якому стані знаходилася система у момент часу t 0 , а не від того, коли і в якій послідовності гинули збиті до моменту t 0 літаки.

На практиці Марківські процеси в чистому виглядізвичайно зустрічаються. Але є процеси, котрим впливом «передісторії» можна знехтувати. І при вивченні таких процесів можна застосовувати Марківські моделі (теоретично масового обслуговування розглядаються і не Марківські системи масового обслуговування, але математичний апарат, який їх описує, набагато складніше).

У дослідженні операцій велике значеннямають Марківські випадкові процеси з дискретними станами та безперервним часом.

Процес називається процесом із дискретним станом, якщо його можливі стани S 1 ,S 2, … можна заздалегідь визначити, і перехід системи зі стану в стан відбувається «стрибком» практично миттєво.

Процес називається процесом з безперервним часом, якщо моменти можливих переходів зі стану не фіксовані заздалегідь, а невизначені, випадкові і можуть статися в будь-який момент.

приклад. Технологічна система (дільниця) Sскладається з двох верстатів, кожен з яких у випадковий момент часу може вийти з ладу (відмовити), після чого миттєво починається ремонт вузла, що теж триває наперед невідомий, випадковий час. Можливі такі стани системи:

S 0 - обидва верстати справні;

S 1 - перший верстат ремонтується, другий справний;

S 2 - другий верстат ремонтується, перший справний;

S 3 - обидва верстати ремонтуються.

Переходи системи Sзі стану в стан відбуваються практично миттєво, у випадкові моменти виходу з ладу того чи іншого верстата чи закінчення ремонту.

При аналізі випадкових процесів із дискретними станами зручно користуватися геометричною схемою – графом станів. Вершини графа – стану системи. Дуги графа - можливі переходи зі стану в

Рис.1. Граф станів системи

стан. Для прикладу граф станів наведено на рис.1.

Примітка. Перехід із стану S 0 в S 3 малюнку не позначений, т.к. передбачається, що верстати виходять з ладу незалежно один від одного. Імовірністю одночасного виходу з ладу обох верстатів ми нехтуємо.

Марківські процеси було виведено вченими у 1907 році. Провідні математики на той час розвивали цю теорію, деякі вдосконалюють її досі. Ця система поширюється і на інших наукових галузях. Практичні ланцюги Маркова застосовуються в різних сферахде людині необхідно прибувати в стані очікування. Але, щоб чітко розуміти систему, потрібно володіти знаннями про терміни та положення. Головним чинником, який визначає Марківський процес, є випадковості. Щоправда, він не схожий на поняття невизначеності. Для нього притаманні певні умови та змінні.

Особливості фактора випадковості

Ця умова підпорядковується статичній стійкості, точніше її закономірностям, які не враховуються при невизначеності. У свою чергу, цей критерій дозволяє використовувати математичні методитеоретично Марківських процесів, як зазначав учений, вивчав динаміку ймовірностей. Створена ним робота стосувалася безпосередньо цих змінних. У свою чергу, вивчений і випадковий процес, що розвинувся, має поняття стану і переходу, а також застосовується в стохастичних і математичних завданнях, при цьому дає можливість цим моделям функціонувати. Крім усього іншого, він дає можливість удосконалюватися іншим важливим прикладним теоретичним та практичним наукам:

дифузійна теорія;
теорія масового обслуговування;
теорія надійності та іншого;
хімія;
фізика;
механіка.

Суттєві особливості незапланованого фактора

Цей Марківський процес обумовлений випадковою функцією, тобто будь-яке значення аргументу вважається даною величиною або тією, що набуває заздалегідь заготовленого вигляду. Прикладами є:

коливання в ланцюзі;
швидкість руху;
шорсткість поверхні на заданій ділянці.

Також прийнято вважати, що фактом випадкової функції є час, тобто відбувається індексація. Класифікація має вигляд стану та аргумент. Цей процес може бути з дискретними, а також безперервними станами чи часом. Причому різні випадки: все відбувається або в одному, або в іншому вигляді, або одночасно.

Детальний аналіз поняття випадковості

Побудувати математичну модель з необхідними показниками ефективності у явно аналітичному вигляді було досить складно. Надалі реалізувати дане завданнястало можливо, адже виник Марківський випадковий процес. Розбираючи детально це, необхідно вивести деяку теорему. Марківський процес - це фізична система, Що змінила своє становище та стан, які заздалегідь не були запрограмовані. Отже, виходить, що у ній протікає випадковий процес. Наприклад: космічна орбітата корабель, який виводиться на неї. Результату досягнуто лише завдяки якимось неточностям і коригуванням, без цього не реалізується заданий режим. Більшості процесів властиві випадковість, невизначеність.

По суті питання, практично будь-який варіант, який можна розглянути, буде схильний до цього фактора. Літак, технічний пристрій, їдальня, годинник - все це схильна до випадкових змін. Причому дана функціявластива будь-якому процесу, що відбувається реальному світі. Однак поки це не стосується індивідуально налаштованих параметрів, обурення, що відбуваються, сприймаються як детерміновані.

Поняття Марковського випадкового процесу

Проектування будь-якого технічного чи механічного приладу, пристрої змушує творця враховувати різні фактори, зокрема, невизначеності. Обчислення випадкових коливань і збурень виникає в останній момент особистої зацікавленості, наприклад, під час реалізації автопілота. Деякі процеси, що вивчаються в науках на кшталт фізики та механіки, є такими.

Але звертати на них увагу і проводити скрупульозні дослідження слід починати в той момент, коли це потрібно безпосередньо. Марковський випадковий процес має таке визначення: характеристика ймовірності майбутнього виду залежить від стану, в якому він знаходиться в даний момент часу, і не має відношення до того, як виглядала система. Отже, дане поняттявказує на те, що результат можна передбачити, враховуючи лише ймовірність і забувши про передісторію.

Детальна токування поняття

На даний момент система перебуває у певному стані, вона переходить і змінюється, передбачити, що буде далі, по суті, неможливо. Але, враховуючи ймовірність, можна сказати, що процес буде завершено певному виглядічи збереже попередній. Тобто майбутнє виникає із сьогодення, забуваючи про минуле. Коли система чи процес перетворюється на новий стан, то передісторію зазвичай опускають. Імовірність у Марківських процесах відіграє важливу роль.

Наприклад, лічильник Гейгера показує число частинок, яке залежить від певного показника, а не від того, в який саме час воно прийшло. Тут головним виступає вказаний вище критерій. У практичному застосуванніможуть розглядатися як Марківські процеси, а й подібні їм, наприклад: літаки беруть участь у бою системи, кожна з яких позначена якимось кольором. У даному випадкуОсновним критерієм знову виступає можливість. У який момент станеться перевага в числі, і для якого кольору, невідомо. Тобто, цей чинник залежить від стану системи, а не від послідовності загибелі літаків.

Структурний аналіз процесів

Марківським процесом називається будь-який стан системи без ймовірнісного наслідку і без урахування передісторії. Тобто, якщо включити майбутнє в сьогодення та опустити минуле. Перенасичення цього часу передісторією призведе до багатовимірності та виведе складні побудови ланцюгів. Тому краще ці системи вивчати простими схемамиз мінімальними числовими параметрами. В результаті ці змінні вважаються визначальними та зумовленими будь-якими факторами.

Приклад Марківських процесів: працюючий технічний прилад, який у цей момент справний. У даному стані речей інтерес представляє ймовірність того, що пристрій функціонуватиме ще тривалий період часу. Але якщо сприймати обладнання як налагоджене, то цей варіант вже не належатиме до розглядуваного процесу через те, що немає відомостей про те, скільки апарат працював до цього і чи проводився ремонт. Однак якщо доповнити ці дві змінні часу і включити їх у систему, її стан можна віднести до Марківського.

Опис дискретного стану та безперервності часу

Моделі Марківських процесів застосовуються в той момент, коли необхідно знехтувати передісторією. Для дослідження у практиці найчастіше зустрічаються дискретні, безперервні стани. Прикладами такої ситуації є: до структури обладнання входять вузли, які в умовах робочого часу можуть вийти з ладу, причому відбувається як незапланована, випадкова дія. В результаті стан системи піддається ремонту одного або іншого елемента, в цей момент якийсь із них буде справний або вони обидва налагоджуватимуться, або навпаки, є повністю налагодженими.

Дискретний Марківський процес заснований на теорії ймовірності, а також є переходом системи з одного стану до іншого. Причому даний фактор відбувається миттєво, навіть якщо відбуваються випадкові поломки та ремонтні роботи. Щоб провести аналіз такого процесу, краще використати графи станів, тобто геометричні схеми. Системні стани у разі позначені різними фігурами: трикутниками, прямокутниками, точками, стрілками.

Моделювання цього процесу

Марківські процеси з дискретними станами - можливі видозміни систем внаслідок переходу, який миттєво здійснюється, і які можна пронумерувати. Для прикладу можна побудувати графік стану зі стрілок для вузлів, де кожна вказуватиме шлях по-різному спрямованих факторів виходу з ладу, робочого стану і т.д. Надалі можуть виникати будь-які питання: на кшталт того, що не всі геометричні елементивказують правильний напрямадже в процесі здатний зіпсуватися кожен вузол. При роботі важливо враховувати та замикання.

Марківський процес з безперервним часом відбувається тоді, коли дані заздалегідь не фіксуються, вони відбуваються випадково. Переходи раніше були заплановані і відбуваються стрибками, будь-якої миті. У разі знову головну роль грає можливість. Однак, якщо ситуація склалася до зазначеної вище, то для опису потрібно розробити математичну модель, але важливо розбиратися в теорії можливості.

Імовірнісні теорії

Дані теорії розглядають імовірнісні, що мають характерні ознакина кшталт випадкового порядку, руху та факторів, математичні задачі, а не детерміновані, які є визначеними зараз і згодом. Керований Марківський процес має фактор можливості та заснований на ньому. Причому дана системаздатна переходити в будь-який стан миттєво різних умовахта тимчасовому проміжку.

Щоб застосовувати цю теорію на практиці, необхідно мати важливими знаннямиймовірності та її застосування. Найчастіше кожен перебуває у стані очікування, яке у сенсі і є аналізована теорія.

Приклади теорії ймовірності

Прикладами Марківських процесів у цій ситуації можуть бути:

кафе;
квиткові каси;
ремонтних цехів;
станції різного призначення та ін.

Як правило, люди щодня стикаються з цією системою, сьогодні вона має назву масового обслуговування. На об'єктах, де є подібна послуга, є можливість вимоги різних запитів, які в процесі задовольняються.

Приховані моделі процесу

Такі моделі є статичними та копіюють роботу оригінального процесу. В даному випадку основною особливістю є функція спостереження за невідомими параметрами, які мають бути розгадані. В результаті ці елементи можуть використовуватися в аналізі, практиці або розпізнавання різних об'єктів. Звичайні Марківські процеси засновані на видимих переходах і на ймовірності, у прихованій моделі спостерігаються лише невідомі змінні, на які впливає стан.

Сутнісне розкриття прихованих Марківських моделей

Також вона має розподіл ймовірності серед інших значень, у результаті дослідник побачить послідовність символів та станів. Кожна дія має розподіл за ймовірністю серед інших значень, тому прихована модель дає інформацію про згенеровані послідовні стани. Перші замітки та згадки про них з'явилися наприкінці шістдесятих років минулого сторіччя.

Потім їх почали застосовувати для розпізнавання мови та як аналізаторів біологічних даних. Крім того, приховані моделі поширилися у листі, рухах, інформатиці. Також ці елементи імітують роботу основного процесу та перебувають у статиці, проте, незважаючи на це, відмінних рисзначно більше. Особливо цей факт стосується безпосереднього спостереження та генерування послідовності.

Стаціонарний Марківський процес

Ця умова існує при однорідній перехідній функції, а також при стаціонарному розподілі, що вважається основним і, за визначенням, випадковою дією. Фазовим простором для цього процесу є кінцева безліч, але за такого стану речей початкова диференціація існує завжди. Перехідні ймовірності у цьому розглядаються за умов часу чи додаткових елементах.

Детальне вивчення Марківських моделейта процесів виявляє питання про задоволення рівноваги у різних сферах життя та діяльності суспільства. З урахуванням того, що ця галузь зачіпає науку та масове обслуговування, Ситуацію можна виправити, проаналізувавши і спрогнозувавши результат будь-яких подій або дій тих же несправних годин або техніки. Щоб повністю використати можливості Марківського процесу, варто детально розбиратися в них. Адже цей апарат знайшов широке застосування у науці, а й у іграх. Ця система в чистому вигляді зазвичай не розглядається, а якщо і використовується, то тільки на основі вищезгаданих моделей та схем.

Теорія масового обслуговування становить один із розділів теорії ймовірностей. У цій теорії розглядаються імовірніснізавдання та математичні моделі (до цього нами розглядалися детерміновані математичні моделі). Нагадаємо, що:

Тобто. тут як, наприклад, у теорії ігор задачі розглядаються в умовахневизначеності.

Поняття випадкового процесу

Марківський випадковий процес

Насправді Марківські процеси у чистому вигляді зазвичай зустрічаються. Але є процеси, котрим впливом «передісторії» можна знехтувати. І при вивченні таких процесів можна застосовувати Марківські моделі (теоретично масового обслуговування розглядаються і не Марківські системи масового обслуговування, але математичний апарат, який їх описує, набагато складніше).

У дослідженні операцій велике значення мають Марківські випадкові процеси з дискретними станами та безперервним часом.

S 0 - обидва верстати справні;

S 1 - перший верстат ремонтується, другий справний;

S 2 - другий верстат ремонтується, перший справний;

S 3 - обидва верстати ремонтуються.

Рис.1. Граф станів системи

стан. Для прикладу граф станів наведено на рис.1.

Еволюція до-рого після будь-якого заданого значеннятимчасового параметра tне залежить від еволюції, що передувала t,за умови, що значення процесу в цей момент фіксовано (коротше: "майбутнє" і "минулий" процес не залежать один від одного при відомому "сучасному").

Визначальне М. п. властивість прийнято зв. марківським; вперше воно було сформульовано А. А. Марковим. Проте вже у роботі Л. Башельє можна побачити спробу трактувати броунівський рух як М. п., спробу, яка отримала обґрунтування після досліджень М. Вінера (N. Wiener, 1923). Основи загальної теоріїМ. п. з безперервним часом були закладені А. Н. Колмогоровим.

Марківська властивість. Є суттєво відрізняються один від одного визначення М. п. Одним з найбільш поширених є таке. Нехай на імовірнісному просторізаданий випадковий процес зі значеннями вимірного простору де Т -підмножина дійсної осі Нехай N t(відповідно N t).є s-алгебра в породжена величинами X(s). де Іншими словами, N t(відповідно N t) - це сукупність подій, пов'язаних з еволюцією процесу до моменту t (починаючи з t) . Процес X (t). марківським процесом, якщо (майже напевно) для всіх виконується марківська властивість:

або, що те саме, якщо для будь-яких

М. п., для якого Т міститься в безлічі натуральних чисел, зв. Марковим ланцюгом(Втім, останній термін найчастіше асоціюється з випадком не більш ніж лічильного Е) . Якщо є інтервалом в Ені більш ніж рахунково, М. п. зв. ланцюг Маркова з безперервним часом. Приклади М. п. з безперервним часом доставляються дифузійними процесами та процесами з незалежними приростами, у тому числі пуасонівським та вінеровським.

Надалі для визначеності мова буде йти тільки про випадок Формули (1) і (2) дають ясну інтерпретацію принципу незалежності "минулого" і "майбутнього" за відомого "сьогодення", але засноване на них визначення М. п. виявилося недостатньо гнучким у тих численних ситуаціях, коли доводиться розглядати не одне, а набір умов типу (1) чи (2), відповідальних різним, хоч і узгодженим певним чином, заходів такого роду міркування призвели до прийняття наступного визначення (див. , ).

Нехай задані:

а) вимірний простір де s-алгебра містить всі одноточкові множини в Е;

б) вимірний простір з сімейством s-алгебр таких, що якщо

в) функція ("траєкторія") x t =xt(w) , визначальна за будь-яких вимірне відображення

г) для кожних і ймовірнісний захід на s-алгебрі такий, що функція вимірна щодо якщо і

Набір зв. (не обривається) марківським процесом, заданим у якщо -майже напевно

які б не були Тут - простір елементарних подій, - Фазовий простір або простір станів, Р( s, x, t, В)- перехідна функціячи ймовірність переходу процесу X(t) . Якщо надано топологію, а - сукупність борелівських множин у Е,то прийнято говорити, що М. п. заданий у е.Зазвичай визначення М. п. включають вимогу, щоб і тоді тлумачиться як ймовірність за умови, що x s = x.

Виникає питання: чи будь-яку марківську перехідну функцію Р( s, x;t, В), задану у вимірному просторі можна розглядати як перехідну функцію деякого М. п. Відповідь позитивна, якщо, напр., є сепарабельним локально компактним простором, а - сукупністю борелівських множин е.Більше того, нехай Е -повне метрич. простір та нехай

для будь-якого де

А - доповнення e-околиці точки х.Тоді відповідний М. п. можна вважати безперервним праворуч і таким, що має межі зліва (тобто такими можна вибрати його траєкторії). Існування ж безперервного М. п. забезпечується умовою при (див. , ). Теоретично М. п. основна увага приділяється однорідним (за часом) процесам. Відповідне визначення передбачає заданої системи об'єктіва) - г) з тією різницею, що для параметрів sі u, що фігурували в її описі, тепер допускається лише значення 0. Спрощуються і позначення:

Далі, постулюється однорідність простору W, т. Е. Потрібно, щоб для будь-яких існувало таке що (w) при Завдяки цьому на s-алгебрі N,найменшою з s-алгебр W, що містять будь-яку подію виду задаються оператори тимчасового зсуву q t, які зберігають операції об'єднання, перетину і віднімання множин і для яких брало

Набір зв. (не обривається) однорідним марківським процесом, заданим у якщо -майже напевно

для Перехідною функцією процесу X(t). вважається Р( t, x, В), причому, якщо немає спеціальних застережень, додатково вимагають, щоб Корисно мати на увазі, що при перевірці (4) достатньо розглядати лише множини виду де і що (4) завжди F tможна замінити s-алгеброю , що дорівнює перетину поповнень F tза всілякими заходами Нерідко фіксують імовірнісний захід m ("початковий розподіл") і розглядають марківську випадкову функціюде - міра на задана рівністю

М. п. зв. прогресивно вимірним, якщо при кожному t>0 функція індукує вимірне відображення де є s-алгебра

борелівських підмножин у . Безперервні праворуч М. п. прогресивно вимірні. Існує спосіб зводити неоднорідний випадок до однорідного (див. ), І надалі мова йтиме про однорідні М. п.

Строго марківська властивість.Нехай у вимірному просторі заданий М. п.

Функція зв. марківським моментом,якщо для всіх У цьому безліч відносять до сімейства F t , якщо при (найчастіше F t інтерпретують як сукупність подій, що з еволюцією X(t).до моменту т). Для вважають

Прогресивно вимірний М. п. X зв. строго марківським процесом (с. м. п.), якщо для будь-якого марківського моменту т і всіх і співвідношення

(Строго марковське властивість) виконується -майже на множині W t . При перевірці (5) досить розглядати лише множини виду де в цьому випадку С. м. п. є, напр., будь-який безперервний праворуч феллеровський М. п. в топологич. просторі е.М. п. зв. феллерівським марківським процесом, якщо функція

безперервна щоразу, коли f безперервна і обмежена.

У класі с. м. п. виділяються ті чи інші підкласи. Нехай марківська перехідна функція Р( t, x, В), задана у метричному локально компактному просторі Е,стохастично безперервна:

для будь-якої околиці U кожної точки Тоді якщо оператори переводять у себе клас безперервних і звертаються в 0 в нескінченності функцій, то функції Р( t, х, В). відповідає стандартний М. п. X,тобто безперервний праворуч с. м. п., для якого

і - майже напевно на безлічі а - незменшувані зі зростанням пмарковські моменти.

Марківський процес, що обривається.Нерідко фізичні. системи доцільно описувати за допомогою М. п., що не обривається, але лише на часовому інтервалі випадкової довжини. Крім того, навіть прості перетворення М. п. можуть призвести до процесу з траєкторіями, заданими на випадковому інтервалі(Див. "Функціонал"від марковского процесу). Керуючись цими міркуваннями, вводять поняття М. п., що обривається.

Нехай - однорідний М. п. у фазовому просторі має перехідну функцію і нехай існують точка і функція такі, що при і в іншому випадку (якщо немає спеціальних застережень, вважають ). Нова траєкторія x t(w) задається лише для ) за допомогою рівності a F tвизначається як слід у множині

Набір де зв. марковським процесом, що обривається (о. м. п.), отриманим з допомогою обриву (або вбивання) в момент z. Розмір z зв. моментом урвища, або часом життя, о. м. п. Фазовим простором нового процесу служить де є слід s-алгебри в е.Перехідна функція о. м. п.- це звуження на множину Процес X (t). суворо марківським процесом, або стандартним марківським процесом, якщо відповідною властивістю володіє необривний М. п. можна розглядати як о. м. п. з моментом урвища Неоднорідний о. м. п. визначається аналогічним чином. М.

Марківські процеси та диференціальні рівняння.М. п. типу броунівського рухутісно пов'язані з диференціальними рівняннями параболіч. типу. Перехідна щільність р(s, x, t, у).дифузійного процесузадовольняє при деяких додаткових припущеннях зворотному і прямому диференціальним рівнянням Колмогорова:

Функція р( s, x, t, у).є функція Гріна рівнянь (6) - (7), і перші відомі способипобудови дифузійних процесів ґрунтувалися на теоремах існування цієї функції для диференціальних рівнянь (6) - (7). Для однорідного часу процесу оператор L( s, x)= L(x). гладких функціяхзбігається з характеристич. оператором М. п. (див. "Перехідних операторів напівгрупа").

Математич. очікування різних функціоналів від дифузійних процесів є рішеннями відповідних крайових завдань для диференціального рівняння (1). Нехай – математич. очікування у міру Тоді функція задовольняє при s рівнянню (6) та умові

Аналогічно, функція

задовольняє за s рівнянню

та умовою та 2 ( Т, x) = 0.

Нехай тt - момент першого досягнення кордону дDобласті траєкторією процесу Тоді за нек-рих умов функція

задовольняє рівняння

і приймає значення ср на множині

Розв'язання 1-ї крайової задачі для загального лінійного параболічу. рівняння 2-го порядку

при досить загальних припущеннях може бути записано у вигляді

У випадку, коли оператор Lі функції с, fне залежать від s,аналогічне (9) подання можливе і для вирішення лінійного еліптичного. рівняння. Точніше, функція

при деяких припущеннях є рішення задачі

У випадку, коли оператор L вироджується (del b ( s, х) = 0 ).або кордон дDнедостатньо " хороша " , граничні значення можуть і прийматися функціями (9), (10) у окремих точках чи цілих множинах. Поняття регулярної граничної точки для оператора Lмає імовірнісну інтерпретацію. У регулярних точках кордону граничні значення досягаються функціями (9), (10). Розв'язання задач (8), (11) дозволяє вивчати властивості відповідних дифузійних процесів та функціоналів від них.

Існують методи побудови М. п., що не спираються на побудову розв'язків рівнянь (6), (7), напр. метод стохастичних диференціальних рівнянь,абсолютно безперервна заміна міри та ін. Ця обставина разом з формулами (9), (10) дозволяє імовірнісним шляхом будувати та вивчати властивості крайових завдань для рівняння (8), а також властивості розв'язання відповідного еліптичного. рівняння.

Оскільки рішення стохастичного диференціального рівняння нечутливе до виродження матриці b( s, x), тоймовірнісні методи застосовувалися для побудови рішень еліптичних і параболічних диференціальних рівнянь, що вироджуються. Поширення принципу усереднення М. М. Крилова та М. М. Боголюбова на стохастичні диференціальні рівняння дозволило за допомогою (9) отримати відповідні результати для еліптичних та параболічних диференціальних рівнянь. Деякі важкі завдання дослідження властивостей рішень рівнянь такого типу з малим параметром при старшій похідній виявилося можливим вирішити за допомогою ймовірнісних міркувань. Ймовірнісний сенс має рішення 2-ї крайової завдання рівняння (6). Постановка крайових завдань для необмежену ділянку тісно пов'язана з поверненням відповідного дифузійного процесу.

У разі однорідного за часом процесу (L не залежить від s) позитивне рішення рівняння з точністю до мультиплікативної постійної збігається при деяких припущеннях з стаціонарною щільністюрозподілу М. п. ймовірні міркування виявляються корисними і при розгляді крайових завдань для нелінійних параболічів. рівнянь. Р. 3. Хасьмінський.

Літ.: Марков А. А., "Ізв. фіз.-мат. об-ва Казан. ун-ту", 1906, т. 15, № 4, с. 135-56; А з h e l i е r L., "Ann. scient. Ecole norm, super.", 1900, v. 17, p. 21-86; Колмогоров А. Н., "Math. Ann.", 1931, Bd 104, S. 415-458; русявий. пер.-"Успіхи матем. наук", 1938, в. 5, с. 5-41; Ч ж у н К а й - лай, Однорідні ланцюгиМаркова, пров. з англ., М., 1964; Р е 1 1 е r W., "Ann. Math.", 1954, v. 60, p. 417-36; Динкін Є. Б., Юшк е ч А. А., "Теорія імовір. і її застосун.", 1956, т. 1, ст. 1, с. 149-55; X а н т Дж.-А., Марківські процеси та потенціали, пров. з англ., М., 1962; Д е л а ш е р і К., Ємності та випадкові процеси, пров. з франц., М., 1975; Динкін Є. Ст, Підстави теорії марківських процесів, М., 1959; його ж, Марківські процеси, М., 1963; Г і х ма н І. І., С к о р о х о д А. Ст, Теорія випадкових процесів, т. 2, М., 1973; Фрейдлін М. І., у кн.: Підсумки науки. Теорія імовірності, математична статистика. - Теоретична кібернетика. 1966, М., 1967, с. 7-58; X а с ь м і н с к і й Р. 3., "Теорія імовір. і її застосун.", 1963, т. 8, в . 1, с. 3-25; Вентцель А. Д., Фрейдлін М. І., Флуктуації в динамічних системахпід дією малих випадкових збурень, М., 1979; Blumenthal R. М., Get о r R. К., Markov процеси і потенційні теорії, N.Y.- L., 1968; Getоor R. K., Markov процеси: Ray processes and right processes, Ст, 1975; Кузнєцов С. Є., "Теорія імовір. і її застосун.", 1980, т. 25, ст. 2, с. 389-93.