Марков процес с две състояния. Подробно тълкуване на концепцията

Предположенията за поасоновия характер на потока от заявки и за експоненциалното разпределение на времето за обслужване са ценни, защото ни позволяват да приложим апарата на така наречените уравнения на Марков в теорията на масовото обслужване. случайни процеси.

Процес, протичащ във физическа система, се нарича процес на Марков (или процес без последействие), ако за всеки момент от времето вероятността за всяко състояние на системата в бъдеще зависи само от състоянието на системата в понастоящеми не зависи от това как системата е стигнала до това състояние.

Помислете за елементарен пример за марковски случаен процес. Точка се движи произволно по оста x. В момента точката е в началото и остава там за една секунда. Секунда по-късно се хвърля монета; ако гербът падна - точката се премества с една единица дължина надясно, ако числото - наляво. Секунда по-късно отново се хвърля монета и се извършва същото произволно движение и т.н. Процесът на промяна на позицията на точка (или, както се казва, „ходене“) е случаен процес с дискретно време и изброимо множество на държави

Схемата на възможните преходи за този процес е показана на фиг. 19.7.1.

Нека покажем, че този процес е марковски. Наистина, представете си, че в някакъв момент системата е, например, в състояние - една единица вдясно от произхода. Възможните позиции на точката в единица време ще бъдат и с вероятности 1/2 и 1/2; чрез две единици - , , с вероятности 1/4, ½, 1/4 и т.н. Очевидно всички тези вероятности зависят само от това къде се намира точката в даден момент и са напълно независими от това как е попаднала там.

Нека разгледаме друг пример. Съществува техническо средство, състоящо се от елементи (части) от видове и с различна издръжливост. Тези елементи могат да се повредят в произволни моменти и независимо един от друг. Правилната работа на всеки елемент със сигурност е необходима за работата на устройството като цяло. Времето на работа на елемент е случайна променлива, разпределена по експоненциален закон; за елементи от тип и , параметрите на този закон са различни и съответно равни на и . В случай на повреда на устройството незабавно се предприемат мерки за установяване на причините и откритият дефектен елемент незабавно се заменя с нов. Времето, необходимо за възстановяване (ремонт) на устройството, се разпределя по експоненциален закон с параметъра (ако елемент от тип е повреден) и (ако елемент от тип е повреден).

IN този примерслучаен процес, изпълняващ се в системата, е процес на Марков с непрекъснато време и краен набор от състояния:

Всички елементи са изправни, системата работи,

Типовият елемент е дефектен, системата е в ремонт,

Типовият елемент е повреден, системата се ремонтира.

Схемата на възможните преходи е дадена на фиг. 19.7.2.

Действително, процесът има свойството Марков. Нека, например, в момента системата е в състояние (здравословно). Тъй като времето на работа на всеки елемент е ориентировъчно, моментът на повреда на всеки елемент в бъдеще не зависи от това колко време вече е работил (когато е доставен). Следователно вероятността в бъдеще системата да остане в състоянието или да го напусне не зависи от "предисторията" на процеса. Нека сега приемем, че в момента системата е в състояние (елемент от тип е повреден). Тъй като времето за ремонт също е ориентировъчно, вероятността за завършване на ремонта по всяко време след това не зависи от това кога е започнал ремонтът и кога са доставени останалите (изправни) елементи. Така процесът е марковски.

Имайте предвид, че експоненциалното разпределение на времето за работа на елемента и експоненциалното разпределение на времето за ремонт са съществени условия, без които процесът не би бил марковски. Наистина, да предположим, че времето за правилна работа на елемента се разпределя не по експоненциален закон, а по някакъв друг закон - например според закона за еднаква плътност в сечението. Това означава, че всеки елемент с гаранция работи за време и в участъка от до може да се провали във всеки един момент със същата плътност на вероятността. Да предположим, че в някакъв момент елементът работи правилно. Очевидно е, че вероятността елементът да се повреди в някакъв момент в бъдещето зависи от това колко отдавна е бил доставен елементът, т.е. зависи от предисторията и процесът няма да бъде Марков.

Подобна е ситуацията и с времето за ремонт; ако не е показателен и елементът се ремонтира в момента, тогава оставащото време за ремонт зависи от това кога е започнал; процесът отново няма да е марковски.

Като цяло, експоненциалното разпределение играе специална роляв теорията на Марков случайни процеси с непрекъснато време. Лесно е да се види, че в стационарен марковски процес времето, през което системата остава в някакво състояние, винаги се разпределя по експоненциален закон (с параметър, зависещ, най-общо казано, от това състояние). Наистина, да предположим, че в момента системата е в състояние и преди това вече е била в него известно време. Според дефиницията на процес на Марков, вероятността за всяко събитие в бъдещето не зависи от праисторията; по-специално, вероятността системата да напусне състояние в рамките на време t не трябва да зависи от това колко време системата вече е прекарала в това състояние. Следователно времето, което системата прекарва в състояние, трябва да бъде разпределено по експоненциален закон.

В случай, че процесът, протичащ във физическа система с изброим набор от състояния и непрекъснато време, е марковски, този процес може да бъде описан с помощта на обикновени диференциални уравнения, в която неизвестните функции са вероятностите на състоянията . Ще демонстрираме съставянето и решаването на такива уравнения в следния пример. най-простата системамасово обслужване.

Теорията на опашките е един от клоновете на теорията на вероятностите. Тази теория счита вероятностензадачи и математически модели(преди това разглеждахме детерминирани математически модели). Спомнете си, че:

Детерминиран математически моделотразява поведението на даден обект (система, процес) от гледна точка пълна сигурноств настоящето и бъдещето.

Вероятностен математически моделотчита влиянието на случайни фактори върху поведението на даден обект (система, процес) и следователно оценява бъдещето от гледна точка на вероятността от определени събития.

Тези. тук, както например в теорията на игрите, се разглеждат проблеми в условиянесигурност.

Нека първо разгледаме някои понятия, които характеризират "стохастичната несигурност", когато несигурните фактори, включени в проблема, са случайни променливи (или случайни функции), чиито вероятностни характеристики са известни или могат да бъдат получени от опит. Такава несигурност се нарича още "благоприятна", "доброкачествена".

Концепцията за случаен процес

Строго погледнато, случайните смущения са присъщи на всеки процес. По-лесно е да се дадат примери за случаен процес, отколкото за "неслучаен" процес. Дори, например, процесът на пускане на часовник (изглежда стриктна, добре обмислена работа - „работи като часовник“) е обект на случайни промени (напред, изоставане, спиране). Но докато тези смущения са незначителни и имат малък ефект върху параметрите, които ни интересуват, можем да ги пренебрегнем и да считаме процеса за детерминистичен, неслучаен.

Нека има някаква система С(техническо устройство, група от такива устройства, технологична система - металорежеща машина, участък, цех, предприятие, индустрия и др.). В системата Стечове случаен процес, ако променя състоянието си с течение на времето (преминава от едно състояние в друго), освен това по произволен неизвестен начин.

Примери: 1. Система С– технологична система (машинен участък). Машините се развалят и се ремонтират от време на време. Процесът, протичащ в тази система, е случаен.

2. Система С- самолет, летящ на определена височина по определен маршрут. Смущаващи фактори - метеорологични условия, грешки на екипажа и др., последствия - "бърборене", нарушаване на графика на полета и др.

Марков случаен процес

Случайният процес в системата се нарича Марковскиако за всеки момент от време T 0 вероятностните характеристики на процеса в бъдещето зависят само от състоянието му в момента T 0 и не зависят от това кога и как системата е стигнала до това състояние.

Нека системата е в определено състояние в настоящия момент t 0 С 0 . Ние знаем характеристиките на състоянието на системата в настоящето, всичко, което се е случило по време T<T 0 (хронология на процеса). Можем ли да предвидим (предскажем) бъдещето, т.е. какво ще стане кога T>T 0? Не точно, но някои вероятностни характеристики на процеса могат да бъдат намерени в бъдещето. Например, вероятността след известно време системата Сще бъде в състояние С 1 или останете в държавата С 0 и т.н.

Пример. Система С- група самолети, участващи в ръкопашен бой. Позволявам х- броят на "червените" самолети, г- броят на "сините" самолети. По времето T 0 броят на оцелелите (не свалени) самолети, съответно - х 0 ,г 0 . Интересува ни вероятността в момента численото превъзходство да е на страната на червените. Тази вероятност зависи от състоянието на системата в момента T 0 , а не кога и в каква последователност са загинали свалените до момента T 0 самолета.

На практика Марков обработва в чиста формаобикновено не се намира. Но има процеси, за които влиянието на "праисторията" може да се пренебрегне. И при изучаването на такива процеси могат да се използват марковски модели (в теорията на масовото обслужване се разглеждат и немарковски системи за масово обслужване, но математическият апарат, който ги описва, е много по-сложен).

В оперативните изследвания голямо значениеимат марковски случайни процеси с дискретни състояния и непрекъснато време.

Процесът се нарича процес на дискретно състояниеако неговите възможни състояния С 1 ,С 2 , … може да се определи предварително и преходът на системата от състояние в състояние се случва в „скок“, почти мигновено.

Процесът се нарича непрекъснат процес във времето, ако моментите на възможни преходи от състояние в състояние не са предварително фиксирани, а са неопределени, произволни и могат да възникнат по всяко време.

Пример. Технологична система (раздел) Ссе състои от две машини, всяка от които в произволен момент от време може да се повреди (повреди), след което незабавно започва ремонтът на агрегата, също продължаващ за неизвестно, произволно време. Възможни са следните състояния на системата:

С 0 - и двете машини работят;

С 1 - първата машина е в ремонт, втората е изправна;

С 2 - втората машина е в ремонт, първата е изправна;

С 3 - двете машини са в ремонт.

Системни преходи Сот състояние в състояние се случват почти мигновено, в произволни моменти на повреда на една или друга машина или завършване на ремонт.

Когато анализирате случайни процеси с дискретни състояния, е удобно да използвате геометрична схема - графика на състоянието. Върховете на графа са състоянията на системата. Графични дъги - възможни преходи от състояние към

Фиг. 1. Графика на състоянието на системата

състояние. За нашия пример графиката на състоянието е показана на фиг.1.

Забележка. Преход на държавата С 0 инча С 3 не е посочено на фигурата, т.к предполага се, че машините се отказват независимо една от друга. Пренебрегваме вероятността от едновременна повреда на двете машини.

Процесите на Марков са разработени от учени през 1907 г. Водещи математици от онова време са разработили тази теория, някои от тях все още я подобряват. Тази система е разширена и за други научни области. Използват се практични вериги на Марков различни полетакъдето човек трябва да пристигне в състояние на изчакване. Но за да разберете ясно системата, трябва да имате познания за условията и разпоредбите. Случайността се счита за основния фактор, който определя процеса на Марков. Вярно е, че не е подобно на концепцията за несигурност. Има определени условия и променливи.

Характеристики на случайния фактор

Това условие е обект на статична устойчивост, по-точно на неговите закономерности, които не се вземат предвид в случай на несигурност. От своя страна този критерий ни позволява да използваме математически методив теорията на процесите на Марков, както отбелязва учен, който изучава динамиката на вероятностите. Работата, която той създава, се занимава директно с тези променливи. От своя страна, изучаваният и разработен случаен процес, който има концепциите за състояние и преход и се използва също в стохастични и математически проблеми, в същото време прави възможно тези модели да функционират. Освен всичко друго, той дава възможност за подобряване на други важни приложни теоретични и практически науки:

теория на дифузията;
теория на опашките;
теория на надеждността и други неща;
химия;
физика;
Механика.

Съществени характеристики на непланиран фактор

Този процес на Марков се задвижва от произволна функция, тоест всяка стойност на аргумента се счита за дадена стойност или такава, която приема предварително подготвена форма. Примери за това са:

колебания във веригата;
скорост на движението;
грапавост на повърхността в дадена област.

Също така обикновено се смята, че фактът на произволна функция е времето, т.е. възниква индексиране. Класификацията има формата на състояние и аргумент. Този процес може да бъде както с дискретни, така и с непрекъснати състояния или време. Освен това случаите са различни: всичко се случва или в една, или в друга форма, или едновременно.

Подробен анализ на понятието случайност

Беше доста трудно да се изгради математически модел с необходимите показатели за ефективност в ясно аналитична форма. Допълнително изпълнение тази задачастана възможно, защото възникна марковски случаен процес. Анализирайки тази концепция в детайли, е необходимо да се изведе определена теорема. Марковският процес е физическа система, което променя позицията и състоянието си, които не са били предварително програмирани. Така се оказва, че в него протича случаен процес. Например: космическа орбитаи кораба, който е показан на него. Резултатът е постигнат само благодарение на някои неточности и корекции, без които посоченият режим не се изпълнява. Повечето от протичащите процеси са присъщи на случайност, несигурност.

В интерес на истината, почти всяка опция, която може да бъде разгледана, ще бъде предмет на този фактор. Самолет, техническо устройство, столова, часовник - всичко това е обект на случайни промени. И дадена функцияприсъщи на всеки протичащ процес в реалния свят. Въпреки това, докато това не се отнася за индивидуално настроени параметри, възникващите смущения се възприемат като детерминистични.

Концепцията за марковски стохастичен процес

Дизайнът на всяко техническо или механично устройство, устройство принуждава създателя да вземе предвид различни фактори, по-специално несигурността. Изчисляването на случайни флуктуации и смущения възниква в момент на личен интерес, например при внедряване на автопилот. Някои от процесите, изучавани в науки като физиката и механиката, са такива.

Но обръщането на внимание на тях и провеждането на щателни изследвания трябва да започне в момента, когато това е пряко необходимо. Случайният процес на Марков има следното определение: вероятностната характеристика на бъдещата форма зависи от състоянието, в което се намира в даден момент от времето, и няма нищо общо с това как изглежда системата. Така, тази концепцияпоказва, че резултатът може да бъде предвиден, като се вземе предвид само вероятността и се забравя за фона.

Подробно тълкуване на концепцията

В момента системата е в определено състояние, тя се движи и променя, всъщност е невъзможно да се предвиди какво ще се случи след това. Но като се има предвид вероятността, можем да кажем, че процесът ще бъде завършен през определена формаили запазете предишния. Тоест бъдещето възниква от настоящето, забравяйки за миналото. Когато система или процес навлезе в ново състояние, историята обикновено се пропуска. Вероятността играе важна роля в процесите на Марков.

Например броячът на Гайгер показва броя на частиците, който зависи от определен показател, а не точно в кой момент е дошъл. Тук основният критерий е горният. IN практическо приложениемогат да се разглеждат не само марковски процеси, но и подобни, например: в битката на системата участват самолети, всеки от които е обозначен с някакъв цвят. IN този случайВероятността отново е основният критерий. В кой момент ще настъпи превес в числата и за какъв цвят, не е известно. Тоест този фактор зависи от състоянието на системата, а не от последователността на смъртта на самолетите.

Структурен анализ на процеси

Процесът на Марков е всяко състояние на система без вероятностни последствия и без оглед на предисторията. Тоест, ако включите бъдещето в настоящето и пропуснете миналото. Пренасищането на това време с праистория ще доведе до многоизмерност и ще доведе до сложни конструкции от вериги. Затова е по-добре да проучите тези системи прости диаграмис минимален брой. В резултат на това тези променливи се считат за определящи и обусловени от някои фактори.

Пример за марковски процеси: работещо техническо устройство, което работи в този момент. При това състояние на нещата това, което представлява интерес, е вероятността устройството да функционира за продължителен период от време. Но ако възприемаме оборудването като дебъгвано, тогава тази опция вече няма да принадлежи към разглеждания процес поради факта, че няма информация колко дълго е работило устройството преди това и дали са извършени ремонти. Ако обаче тези две времеви променливи се допълнят и включат в системата, тогава нейното състояние може да се припише на Марков.

Описание на дискретно състояние и непрекъснатост на времето

Моделите на Марков процес се прилагат в момента, когато е необходимо да се пренебрегне предисторията. За изследване в практиката най-често се срещат дискретни, непрекъснати състояния. Примери за такава ситуация са: структурата на оборудването включва възли, които могат да се повредят в работно време и това се случва като непланирано, случайно действие. В резултат на това състоянието на системата претърпява ремонт на един или друг елемент, в този момент един от тях ще бъде работещ или и двата ще бъдат отстранени грешки, или обратно, те ще бъдат напълно коригирани.

Дискретният процес на Марков се основава на теорията на вероятностите и също е преход на системата от едно състояние в друго. И даден факт op се случва мигновено, дори ако възникнат случайни повреди и ремонти. За да се анализира такъв процес, е по-добре да се използват графики на състоянието, т.е. геометрични модели. Състоянията на системата в този случай се обозначават с различни форми: триъгълници, правоъгълници, точки, стрелки.

Моделиране на този процес

Марковските процеси с дискретно състояние са възможни модификации на системи в резултат на преход, който се случва моментално и който може да бъде номериран. Например, можете да изградите графика на състоянието на стрелки за възли, където всеки ще показва пътя на различно насочени фактори на повреда, работно състояние и т.н. В бъдеще могат да възникнат всякакви въпроси: като факта, че не всички геометрични елементипосочвам правилна посока, защото в процеса всеки възел може да се влоши. При работа е важно да се вземат предвид затварянията.

Марков процес с непрекъснато време възниква, когато данните не са предварително фиксирани, това се случва случайно. Преходите не са били предварително планирани и се случват на скокове по всяко време. В този случай отново основна роля играе вероятността. Ако обаче настоящата ситуация е една от горните, тогава ще е необходим математически модел, за да я опише, но е важно да се разбере теорията на възможността.

Вероятностни теории

Тези теории разглеждат вероятностните, имащи характеристикикато произволен ред, движение и фактори, задачи по математика, а не детерминистични, които се определят от време на време. Контролираният процес на Марков има и се основава на фактор възможност. И тази системаможе незабавно да се промени във всяко състояние различни условияи период от време.

За да приложите тази теория на практика, трябва да знаете важни знаниявероятност и нейните приложения. В повечето случаи човек е в състояние на очакване, което в общ смисъл е разглежданата теория.

Примери за теория на вероятностите

Примери за марковски процеси в тази ситуация са:

кафене;
билетни каси;
сервизи;
станции за различни цели и др.

По правило хората се сблъскват с тази система ежедневно, днес тя се нарича опашка. В обекти, където има такава услуга, има възможност за изискване на различни заявки, които се удовлетворяват в процеса.

Скрити модели на процеси

Такива модели са статични и копират работата на оригиналния процес. В този случай основната функция е функцията за наблюдение на неизвестни параметри, които трябва да бъдат разкрити. В резултат на това тези елементи могат да се използват в анализа, практиката или за разпознаване на различни обекти. Обикновените марковски процеси се основават на видими преходи и на вероятност, в латентния модел се наблюдават само неизвестни променливи, които се влияят от състоянието.

Съществено разкриване на скрити марковски модели

Той също така има разпределение на вероятностите сред другите стойности, в резултат на което изследователят ще види последователност от символи и състояния. Всяко действие има разпределение на вероятността сред другите стойности, така че латентният модел предоставя информация за генерираните последователни състояния. Първите бележки и препратки към тях се появяват в края на шейсетте години на миналия век.

След това те започват да се използват за разпознаване на реч и като анализатори на биологични данни. Освен това латентните модели са се разпространили в писането, движенията, компютърните науки. Освен това тези елементи имитират работата на основния процес и са статични, но въпреки това, отличителни чертимного по-голям. По-специално, този факт се отнася до директното наблюдение и генерирането на последователности.

Стационарен процес на Марков

Това условие съществува за хомогенна преходна функция, както и за стационарно разпределение, което се счита за основно и по дефиниция произволно действие. Фазовото пространство за този процес е краен набор, но при това състояние на нещата първоначалната диференциация винаги съществува. Вероятностите за преход в този процес се разглеждат при времеви условия или допълнителни елементи.

Подробно проучване Марковски моделии процеси разкрива въпроса за задоволяване на баланса в различните сфери на живота и дейността на обществото. Като се има предвид, че тази индустрия засяга науката и опашка, ситуацията може да бъде коригирана чрез анализиране и прогнозиране на резултата от всякакви събития или действия на същите дефектни часовници или оборудване. За да използвате напълно възможностите на процеса на Марков, си струва да ги разберете подробно. В крайна сметка това устройство намери широко приложение не само в науката, но и в игрите. Тази система в чист вид обикновено не се разглежда и ако се използва, тогава само въз основа на горните модели и схеми.

Теорията на опашките е един от клоновете на теорията на вероятностите. Тази теория счита вероятностенпроблеми и математически модели (преди това разглеждахме детерминирани математически модели). Спомнете си, че:

Тези. тук, както например в теорията на игрите, се разглеждат проблеми в условиянесигурност.

Концепцията за случаен процес

Марков случаен процес

Пример. Система С- група самолети, участващи във въздушен бой. Позволявам х- броят на "червените" самолети, г- броят на "сините" самолети. По времето T 0 броят на оцелелите (не свалени) самолети, съответно - х 0 ,г 0 . Интересува ни вероятността в момента численото превъзходство да е на страната на червените. Тази вероятност зависи от състоянието на системата в момента T 0 , а не кога и в каква последователност са загинали свалените до момента T 0 самолета.

На практика процесите на Марков в техния чист вид обикновено не се срещат. Но има процеси, за които влиянието на "праисторията" може да се пренебрегне. И при изучаването на такива процеси могат да се използват марковски модели (в теорията на масовото обслужване се разглеждат и немарковски системи за масово обслужване, но математическият апарат, който ги описва, е много по-сложен).

В изследването на операциите марковските стохастични процеси с дискретни състояния и непрекъснато време са от голямо значение.

С 0 - и двете машини работят;

С 1 - първата машина е в ремонт, втората е изправна;

С 2 - втората машина е в ремонт, първата е изправна;

С 3 - двете машини са в ремонт.

Фиг. 1. Графика на състоянието на системата

състояние. За нашия пример графиката на състоянието е показана на фиг.1.

Еволюцията на която след всяка зададена стойноствремевият параметър t не зависи от предшестващата еволюция T,при условие че стойността на процеса в този момент е фиксирана (накратко: "бъдещето" и "миналото" на процеса не зависят едно от друго, когато "настоящето" е известно).

Свойството, което определя М. п., се нарича. марковски; за първи път е формулиран от А. А. Марков. Въпреки това, вече в работата на L. Bachelier може да се види опит да се интерпретира Брауновото движение като M. p., опит, който получи обосновка след изследванията на N. Wiener (N. Wiener, 1923). Основи обща теорияМ. бримки с непрекъснато време бяха определени от А. Н. Колмогоров.

Марков имот. Съществуват различни дефиниции на M. n. Една от най-често срещаните е следната. Нека вероятностно пространстводаден случаен процес със стойности от измеримо пространство, където T -подмножество на реалната ос Нека N t(съответно N t).е s-алгебра в генерирани от X(s). Където С други думи, N t(съответно N t) е набор от събития, свързани с развитието на процеса до момента t (започвайки от t) . Процес X(t). Процес на Марков, ако (почти сигурно) свойството на Марков е валидно за всички:

или, което е същото, ако има

L. p., за които T се съдържа в множеството естествени числа, Наречен Маркова верига(последният член обаче най-често се свързва със случая на най-много изброимо E) . Ако T е интервал в и En е повече от изброимо, M. p. Маркова верига с непрекъснато време. Примери за МТ с непрекъснато време се предоставят от процеси на дифузия и процеси с независими нараствания, включително процеси на Поасон и Винер.

По-нататък за категоричност ще се спрем само на случая. Формули (1) и (2) дават ясна интерпретация на принципа на независимост на "минало" и "бъдеще" с известно "настояще", но дефиницията на M. p. въз основа на тях се оказа недостатъчно гъвкава в онези многобройни ситуации, когато трябва да се вземе предвид не едно, а набор от условия от тип (1) или (2), съответстващи на различни, макар и координирани в определен начин, мерки.Такива съображения доведоха до приемането на следната дефиниция (виж , ).

Нека дадено:

а) измеримо пространство, където s-алгебрата съдържа всички едноточкови множества в E;

б) измеримо пространство, снабдено със семейство от s-алгебри, така че ако

в) функция ("траектория") x t =xT(w) , определяне за всяко измеримо картографиране

г) за всеки и вероятностна мярка на s-алгебрата, така че функцията да е измерима по отношение на ако и

Набор от имена (непрекратяващ) процес на Марков, даден в if -почти сигурно

каквото и да е Тук - космос елементарни събития, - фазово пространство или пространство на състоянията, Р( s, x, t, V)- преходна функцияили вероятността за преход на процеса X(t) . Ако е надарен с топология, a е колекцията от комплекти Borel Д,тогава е обичайно да се казва, че М. п д.Обикновено дефиницията на M. p. включва изискването дори тогава да се тълкува като вероятност, при условие че x s =x.

Възниква въпросът дали има преходна функция на Марков P( s, x;t, V), дадено в измеримо пространство, може да се разглежда като преходна функция на някои M. p. Отговорът е положителен, ако например E е разделимо локално компактно пространство и е колекция от Борелови множества в д.Освен това, нека Е -пълен показател пространство и нека

за всяко място

A е допълнението на е-околността на точката Х.Тогава съответният M. p. може да се счита за непрекъснат отдясно и с граници отляво (т.е. неговите траектории могат да бъдат избрани като такива). Съществуването на непрекъснат М. п. се осигурява от условието за (виж , ). В теорията на M. p. основно внимание се обръща на процеси, които са хомогенни (по време). Съответното определение е дадена система обекти a) - d) с тази разлика, че за параметрите s и u, които се появяват в описанието му, вече е разрешена само стойност 0. Нотацията също е опростена:

Освен това се постулира хомогенността на пространството W, т.е. изисква се за всяко да съществува такова, че (w) за Поради това на s-алгебрата Н,най-малката от s-алгебрите в W, съдържаща всяко събитие от формата, операторите за времево изместване q T, които запазват операциите на обединяване, пресичане и изваждане на множества и за които

Набор от имена (незавършващ) хомогенен процес на Марков, даден в ако - почти сигурно

за преходната функция на процеса X(t). P( t, x, V), освен това, ако няма специални резерви, те допълнително изискват това F tможе да се замени с s-алгебра, равна на пресечната точка на завършванията F tнад всички възможни мерки Често се фиксира вероятностна мярка m („първоначалното разпределение“) и се разглежда Марков произволна функциякъде е мярката дадено от равенството

М. р. прогресивно измерими, ако за всяко t>0 функцията индуцира измеримо преобразуване в къде е s-алгебра

Борел подмножества в . Непрекъснатите вдясно M. p. са прогресивно измерими. Има начин да се сведе нехомогенен случай до хомогенен (виж), а по-нататък ще се занимаваме с хомогенни M. p.

Строго маркова собственост.Нека в измеримо пространство е дадено M. p.

Име функция Марков момент,Ако за всички В този случай наборът се отнася към семейството F t if at (най-често F t се интерпретира като набор от събития, свързани с еволюцията на X(t). до момента t). Да вярвам

Прогресивно измерима M. n. Xnaz. строго марковски процес (s.m.p.), ако за всеки марковски момент m и всички и отношението

(строго свойство на Марков) се изпълнява -почти сигурно върху множеството W t . Когато се проверява (5), е достатъчно да се разгледат само набори от формата, където в този случай S. m. s. е, например, всяко дясно непрекъснато Feller M. s. пространство д.М. р. Фелер Марков процес ако функцията

е непрекъснато, когато f е непрекъснато и ограничено.

В класа с м. т. се разграничават определени подкласове. Нека преходната функция на Марков Р( t, x, V), дефинирани в метрично локално компактно пространство Д,стохастично непрекъснато:

за произволна околност U на всяка точка. Тогава, ако операторите приемат в себе си класа функции, които са непрекъснати и изчезват в безкрайност, тогава функциите Р( t, x, V).отговаря на стандарта L. p. х,т.е. непрекъснато вдясно с. т.т., за което

и - почти сигурно на множество a - PMarkov моменти, които не намаляват с растежа.

Прекратяване на процеса на Марков.Често физически. Целесъобразно е системите да се описват с помощта на нетерминиращ МТ, но само на времеви интервал с произволна дължина. В допълнение, дори прости трансформации на M. p. могат да доведат до процес с дадени траектории произволен интервал(см. "Функционален"от процес на Марков). Водени от тези съображения, концепцията за прекратяващ M. p.

Нека - хомогенна M. p. във фазовото пространство с преходна функция и нека има точка и функция, така че за и иначе (ако няма специални резерви, помислете за ). Нова траектория x t(w) се дава само за ) посредством равенството a F tдефиниран като следа в набор

Задайте, където е извикано. прекратяващ процес на Марков (c.m.p.), получен от чрез прекратяване (или убиване) във време z. Стойността на z се нарича. точка на прекъсване или цял живот, o. м. п. Фазовото пространство на новия процес е мястото, където е следата на s-алгебрата в д.Преходна функция o. т.т. е ограничението на набора Процес X(t). строго Марков процес или стандартен Марков процес, ако се притежава съответното свойство. т.т.с момента на счупване т.т. се определя по подобен начин. М.

Марковски процеси и диференциални уравнения.М. р. тип брауново движениетясно свързани с параболични диференциални уравнения. Тип. Плътност на прехода p(s, x, t, y).процес на дифузияудовлетворява, при определени допълнителни предположения, обратните и директните диференциални уравнения на Колмогоров:

Функция p( s, x, t, y).е функцията на Грийн от уравнения (6) - (7) и първото известни начиниконструирането на дифузионни процеси се основава на теоремите за съществуване на тази функция за диференциални уравнения (6) - (7). За хомогенен по време процес операторът L( s, x)= Л(x).на гладки функциисъвпада с характеристиката оператор на M. p. (вж "Полугрупа от преходни оператори").

Математически очакванията на различни функционали от дифузионни процеси служат като решения на съответните гранични проблеми за диференциалното уравнение (1). Нека - математически. очакване по мярка Тогава функцията удовлетворява за s към уравнение (6) и условието

По същия начин функцията

удовлетворява кога s уравнение

и условие и 2 ( Т, х) = 0.

Нека t е моментът на първото достигане на границата dDобласти траектория на процеса Тогава, при определени условия, функцията

удовлетворява уравнението

и приема стойностите cp на множеството

Решение на 1-ва гранична задача за обща линейна парабола. Уравнения от 2-ри ред

при доста общи предположения може да се запише като

В случай, когато операторът L и функциите c, fне зависят от с,представяне, подобно на (9), също е възможно за решаване на линейна елиптика. уравнения. По-точно функцията

при определени предположения има решение на проблема

В случай, когато операторът L се изражда (del b( s, x) = 0 ).или граница dDнедостатъчно "добри", граничните стойности може да не бъдат приети от функции (9), (10) в отделни точки или в цели набори. Концепцията за правилна гранична точка за оператор Лима вероятностна интерпретация. В правилните точки на границата граничните стойности се достигат чрез функции (9), (10). Решението на задачите (8), (11) дава възможност да се изследват свойствата на съответните дифузионни процеси и функционали от тях.

Има методи за конструиране на M. p., които не разчитат на конструирането на решения на уравнения (6), (7), например. метод стохастични диференциални уравнения,абсолютно непрекъсната промяна на мярката и т.н. Това обстоятелство, заедно с формули (9), (10), ни позволява да конструираме и изследваме свойствата на граничните задачи за уравнение (8) по вероятностен начин, както и свойствата на решението на съответната елиптика. уравнения.

Тъй като решението на стохастичното диференциално уравнение е нечувствително към дегенерацията на матрицата b( s, x), Чевероятностни методи бяха използвани за конструиране на решения за изродени елиптични и параболични диференциални уравнения. Разширяването на принципа на осредняване на Н. М. Крилов и Н. Н. Боголюбов към стохастични диференциални уравнения направи възможно, използвайки (9), да се получат съответните резултати за елиптични и параболични диференциални уравнения. Някои трудни задачи за изучаване на свойствата на решения на уравнения от този тип с малък параметър при най-високата производна се оказаха възможни за решаване с помощта на вероятностни съображения. Решението на втората гранична задача за уравнение (6) също има вероятностен смисъл. Формулирането на проблеми с гранични стойности за неограничена област е тясно свързано с повторението на съответния процес на дифузия.

В случай на хомогенен по време процес (L не зависи от s), положителното решение на уравнението с точност до мултипликативна константа съвпада при определени предположения с стационарна плътностразпределения на M. s. Вероятностните съображения също са полезни, когато се разглеждат проблеми с гранични стойности за нелинейни параболични. уравнения. Р. 3. Хасмински.

Лит.: Марков А. А., "Изв. физ.-мат. об. Казан. университет", 1906, т. 15, № 4, с. 135-56; B a с h e l i e r L., "Ann. scient. Ecole norm, super.", 1900, v. 17, стр. 21-86; Колмогоров А. Н., "Math. Ann.", 1931, Bd 104, S. 415-458; Руски прев.-"Напредък в математическите науки", 1938, c. 5, стр. 5-41; Ch u n K a y - l ay, Хомогенни веригиМаркова, прев. от англ., М., 1964; R e 1 1 e r W., "Ann. Math.", 1954, v. 60, p. 417-36; Dynkin E. B., Yushkevitch A. A., "Теория на вероятностите и нейните приложения", 1956 г., том 1, c. 1, стр. 149-55; X и n t J.-A., Марковски процеси и потенциали, прев. от англ., М., 1962; Dellasher и K., Капацитети и случайни процеси, прев. от френски, Москва, 1975 г.; D y n k и n E. V., Основи на теорията на марковските процеси, М., 1959; собствен, Марковски процеси, М., 1963; I. I. G и Khman, A. V. S ko r oh o d, Теория на случайните процеси, том 2, М., 1973; Freidlin M.I., в книгата: Резултати от науката. Теория на вероятностите, математическа статистика. - Теоретична кибернетика. 1966, М., 1967, стр. 7-58; Xa's'minskii R. 3., "Теория на вероятностите и нейните приложения", 1963, том 8, в . 1, стр. 3-25; Wentzel A.D., Freidlin M.I., Флуктуации в динамични системипод въздействието на малки случайни смущения, М., 1979; Блументал Р. М., Гетор Р. К., Марковски процеси и потенциална теория, N. Y.-L., 1968; Гетор Р. К., Марковски процеси: Лъчеви процеси и прави процеси, В., 1975; Кузнецов С. Е., "Теория на вероятностите и нейните приложения", 1980 г., том 25, c. 2, стр. 389-93.