Процесът на Марков се нарича модел на изглед. Стационарен процес на Марков

МАРКОВ ПРОЦЕС

Процес без последица, - произволен процес,еволюция до-рого след всяка зададена стойноствремевият параметър t не зависи от предшестващата еволюция T,при условие, че стойността на процеса в това е фиксирана (накратко: "бъдещето" и "миналото" на процеса не зависят едно от друго, когато "настоящето" е известно).

Свойството, което определя М. п., се нарича. марковски; за първи път е формулиран от А. А. Марков. Въпреки това, още в работата на L. Bachelier може да се види опит за тълкуване на брауновото като M. p., опит, който получи обосновка след изследванията на N. Wiener (N. Wiener, 1923). Основи обща теорияМ. бримки с непрекъснато време бяха определени от А. Н. Колмогоров.

Марков имот. Съществуват различни дефиниции на M. n. Една от най-често срещаните е следната. Нека вероятностно пространстводаден случаен процес със стойности от измеримо пространство, където T -подмножество на реалната ос Нека N t(съответно N t).е s-алгебра в генерирани от X(s). където С други думи, N t(съответно N t) е набор от събития, свързани с развитието на процеса до момента t (започвайки от t) . Процес X(t). Процес на Марков, ако (почти сигурно) свойството на Марков е валидно за всички:

или, което е същото, ако има

L. p., за които T се съдържа в множеството естествени числа, Наречен Маркова верига(последният член обаче най-често се свързва със случая на най-много изброимо E) . Ако T е интервал в и En е повече от изброимо, M. p. Маркова верига с непрекъснато време. Примери за МТ с непрекъснато време се предоставят от процеси на дифузия и процеси с независими нараствания, включително процеси на Поасон и Винер.

По-нататък за категоричност ще разгледаме само случая Формули (1) и (2) дават ясна интерпретация на принципа на независимост на "минало" и "бъдеще" с известното "настояще", но дефиницията на M. p. въз основа на тях се оказа недостатъчно гъвкава в онези многобройни ситуации, когато трябва да се вземе предвид не едно, а набор от условия от тип (1) или (2), съответстващи на различни, макар и съгласувани по определен начин мерки.Съображения от този вид доведоха до приемането на следната дефиниция (вижте , ).

Нека дадено:

а) където s-алгебрата съдържа всички едноточкови множества в E;

b) измерими, снабдени със семейство от s-алгебри, така че ако

в) (" ") x t =xT(w) , определяне за всяко измеримо картографиране

d) за всяка и вероятностна мярка на s-алгебрата, така че функцията измерими по отношение на ако и

Набор от имена (непрекратяващ) процес на Марков, даден в if -почти сигурно

каквото и да е Тук - космос елементарни събития, - фазово пространство или пространство на състоянията, Р( s, x, t, V)- преходна функцияили вероятността за преход на процеса X(t) . Ако е надарен с топология, a е колекцията от комплекти Borel Д,тогава е обичайно да се казва, че М. п д.Обикновено дефиницията на M. p. включва изискването дори тогава да се тълкува като вероятност, при условие че x s =x.

Възниква въпросът дали има преходна функция на Марков P( s, x;t, V), дадено в измеримо пространство, може да се разглежда като преходна функция на някои M. p. Отговорът е положителен, ако например E е разделимо локално компактно пространство и е колекция от Борелови множества в д.Освен това, нека Е -пълен показател пространство и нека

за всяко място
a е допълнението на e-окръжността на точката Х.Тогава съответният M. p. може да се счита за непрекъснат отдясно и с граници отляво (т.е. неговите траектории могат да бъдат избрани като такива). Съществуването на непрекъснат М. п. се осигурява от условието за (виж , ). В теорията на M. p. основно внимание се обръща на процеси, които са хомогенни (по време). Съответното определение е дадена система обекти a) - d) с тази разлика, че за параметрите s и u, които се появяват в описанието му, вече е разрешена само стойност 0. Нотацията също е опростена:

След това се постулира хомогенността на пространството W, т.е. изисква се за всяко имаше такова (w) за Поради това, на s-алгебрата Н,най-малката s-алгебра в W, съдържаща всяко събитие от формата оператори за изместване на времето q T, които запазват операциите на обединяване, пресичане и изваждане на множества и за които

Набор от имена (незавършващ) хомогенен процес на Марков, даден в ако - почти сигурно

за преходната функция на процеса X(t). P( t, x, V), освен това, ако няма специални резерви, те допълнително изискват това и че в (4) винаги F tможе да се замени с s-алгебра, равна на пресечната точка на завършванията F tнад всички възможни мерки Често човек фиксира вероятностна мярка m („първоначална“) и разглежда Марков произволна функция къде е мярката дадено от равенството

М. р. прогресивно измерима, ако за всяко t>0 функцията индуцира измерима при къде е s-алгебра

Борел подмножества в . Непрекъснатите вдясно M. p. са прогресивно измерими. Има начин да се сведе нехомогенен случай до хомогенен (виж), а по-нататък ще се занимаваме с хомогенни M. p.

Строго.Нека в измеримо пространство е дадено M. p.

Име функция Марков момент,ако за всички В този случай те се отнасят до семейството F t if at (най-често F t се интерпретира като набор от събития, свързани с еволюцията на X(t). до момента t). Да вярвам

Прогресивно измерима M. n. Xnaz. строго Марков процес (s.m.p.), ако за всеки Марков момент m и всички и съотношение

(строго свойство на Марков) се изпълнява -почти сигурно върху множеството W t . При проверка (5) е достатъчно да се вземат предвид само набори от формата where в този случай S. m. s. е, например, всяко дясно непрекъснато Feller M. s. пространство д.М. р. Фелер Марков процес ако функцията

е непрекъснато, когато f е непрекъснато и ограничено.

В класа с м. т. се разграничават определени подкласове. Нека Марков П( t, x, V), дефинирани в метрично локално компактно пространство Д,стохастично непрекъснато:

за всяка околност U на всяка точка Тогава, ако операторите приемат в себе си непрекъснати и изчезващи в безкрайност функции, тогава функциите Р( t, x, V).отговаря на стандарта L. p. х,т.е. непрекъснато вдясно с. т.т., за което

- почти сигурно на снимачната площадка

a са PMarkov моменти, които не намаляват с нарастване.

Прекратяване на процеса на Марков.Често физически. е целесъобразно системите да се описват с помощта на нетерминиращ линеен модел, но само на времеви интервал с произволна дължина. В допълнение, дори прости трансформации на M. p. могат да доведат до процес с дадени траектории произволен интервал(см. Функционаленот процес на Марков). Водени от тези съображения, концепцията за прекратяващ M. p.

Нека е хомогенен M. p. във фазовото пространство с преходна функция и нека има точка и функция така, че с и иначе (ако няма специални резерви, помислете за ). Нова траектория x t(w) се дава само за ) посредством равенството а F tопределени като в комплекта

Задайте къде Наречен прекратяващ процес на Марков (c.m.p.), получен от чрез прекратяване (или убиване) във време z. Стойността на z се нарича. точка на прекъсване или цял живот, o. м. п. Фазовото пространство на новия процес е мястото, където е следата на s-алгебрата в д.Преходна функция o. m.p. е ограничението за комплекта Процес X(t). строго Марков процес или стандартен Марков процес, ако се притежава съответното свойство. т.т.с момента на счупване т.т. се определя по подобен начин. М.

Марков процеси и .М. р. тип брауново движениетясно свързани с параболични диференциални уравнения. Тип. Преход p(s, x, t, y) на процеса на дифузия удовлетворява, при определени допълнителни предположения, обратните и директните диференциални уравнения на Колмогоров:

Функция p( s, x, t, y).е функцията на Грийн от уравнения (6) - (7) и първото известни начинисграда дифузионни процесисе основават на теореми за съществуване на тази функция за диференциални уравнения(6) - (7). За хомогенен по време процес L( s, x)= Л(x).на гладки функциисъвпада с характеристиката оператор на M. p. (вж Полугрупа на преходни оператори).

Математически очакванията на различни функционали от дифузионни процеси служат като решения на съответните гранични проблеми за диференциалното уравнение (1). Нека - математически. очакване по мярка Тогава функцията удовлетворява за с уравнение (6) и условието

По същия начин функцията

удовлетворява кога с уравнение

и условие и 2 ( Т, х) = 0.

Нека t е моментът на първото достигане на границата dDобласти траектория на процеса Тогава, при определени условия, функцията

удовлетворява уравнението

и приема стойностите cp на множеството

Решение на 1-ва гранична задача за обща линейна парабола. Уравнения от 2-ри ред

при доста общи предположения може да се запише като

В случай, когато L и функции c, fне зависят от с,представяне, подобно на (9), също е възможно за решаване на линейна елиптика. уравнения. По-точно функцията

при определени предположения има проблеми

В случай, когато операторът L се изражда (del b( s, x) = 0 ).или dDнедостатъчно "добри", граничните стойности може да не бъдат приети от функции (9), (10) в отделни точки или в цели набори. Концепцията за правилна гранична точка за оператор Лима вероятностна интерпретация. В правилните точки на границата граничните стойности се достигат чрез функции (9), (10). Решението на задачите (8), (11) дава възможност да се изследват свойствата на съответните дифузионни процеси и функционали от тях.

Има методи за конструиране на M. p., които не разчитат на конструирането на решения на уравнения (6), (7), например. метод стохастични диференциални уравнения,абсолютно непрекъсната промяна на мярката и т.н. Това обстоятелство, заедно с формули (9), (10), ни позволява да конструираме и изследваме свойствата на граничните задачи за уравнение (8) по вероятностен начин, както и свойствата на решението на съответната елиптика. уравнения.

Тъй като решението на стохастичното диференциално уравнение е нечувствително към дегенерацията на матрицата b( s, x), тогававероятностни методи бяха използвани за конструиране на решения за изродени елиптични и параболични диференциални уравнения. Разширяването на принципа на осредняване на Н. М. Крилов и Н. Н. Боголюбов към стохастични диференциални уравнения направи възможно, използвайки (9), да се получат съответните резултати за елиптични и параболични диференциални уравнения. Някои трудни задачи за изучаване на свойствата на решения на уравнения от този тип с малък параметър при най-високата производна се оказаха възможни за решаване с помощта на вероятностни съображения. Решението на втората гранична задача за уравнение (6) също има вероятностен смисъл. Формулирането на проблеми с гранични стойности за неограничена област е тясно свързано с повторението на съответния процес на дифузия.

В случай на хомогенен по време процес (L не зависи от s), положителното решение на уравнението, с точност до мултипликативна константа, съвпада, при определени предположения, със стационарната плътност на разпределение на M.p. уравнения. Р. 3. Хасмински.

Лит.: Марков А. А., "Изв. физ.-мат. об. Казан. университет", 1906, т. 15, № 4, с. 135-56; B a с h e l i e r L., "Ann. scient. Ecole norm, super.", 1900, v. 17, стр. 21-86; Колмогоров А. Н., "Math. Ann.", 1931, Bd 104, S. 415-458; Руски прев.-"Напредък в математическите науки", 1938, c. 5, стр. 5-41; Chzhu n Kai-lai, Хомогенни вериги на Марков, прев. от англ., М., 1964; R e 1 1 e r W., "Ann. Math.", 1954, v. 60, p. 417-36; Dynkin E. B., Yushkevitch A. A., "Теория на вероятностите и нейните приложения", 1956 г., том 1, c. 1, стр. 149-55; X и n t J.-A., Марковски процеси и потенциали, прев. от англ., М., 1962; D e l l a scher и K., Капацитети и случайни процеси, пер. от френски, Москва, 1975 г.; Динкин Е. В., Основи на теорията Марковски процеси, М., 1959; собствен, Марковски процеси, М., 1963; I. I. G и Khman, A. V. S ko r oh o d, Теория на случайните процеси, том 2, М., 1973; Freidlin M.I., в книгата: Резултати от науката. Теория на вероятностите,. - Теоретичен. 1966, М., 1967, стр. 7-58; Xa's'minskii R. 3., "Теория на вероятностите и нейните приложения", 1963, том 8, в
Марков процес- дискретен или непрекъснат случаен процес X(t), който може да бъде напълно специфициран с помощта на две величини: вероятността P(x,t), че случайната променлива x(t) в момент t е равна на x и вероятността P(x2, t2½x1t1), че… … Икономически и математически речник

Марков процес- Дискретен или непрекъснат случаен процес X(t), който може да бъде напълно специфициран с помощта на две величини: вероятността P(x,t), че случайната променлива x(t) в момент t е равна на x и вероятността P(x2, t2? x1t1), че ако x при t = t1… … Наръчник за технически преводач

Важен специален вид случайни процеси. Пример за марковски процес е разпадането на радиоактивно вещество, при което вероятността за разпадане на даден атом за кратък период от време не зависи от хода на процеса в предходния период. ... ... Голям енциклопедичен речник - Марково procesas statusas T sritis automatika atitikmenys: англ. Марков процес вок. марковпроцесс, м рус. Марков процес, m; Марков процес, м пранц. processus markovien, m … Automatikos terminų žodynas

Марков процес- Марково vyksmas statusas T sritis fizika atitikmenys: англ. Марков процес; Марковски процес вок. Markow Prozess, m; Markowscher Prozess, м рус. Марков процес, m; Марков процес, м пранц. processus de Markoff, m; processus marcovien, m;… … Fizikos terminų žodynas

Важен специален вид случайни процеси. Пример за процеса на Марков е разпадането на радиоактивно вещество, при което вероятността за разпадане на даден атом за кратък период от време не зависи от хода на процеса в предходния период. ... ... енциклопедичен речник

Важен специален тип стохастични процеси (виж стохастичен процес), имащ голямо значениев приложенията на теорията на вероятностите в различни клонове на природните науки и технологиите. Пример за M. p. е разпадането на радиоактивно вещество. ... ... Велика съветска енциклопедия

Изключително откритие в областта на математиката, направено през 1906 г. от руския учен А.А. Марков.

Предположенията за Поасоновата природа на потока от заявки и за експоненциалното разпределение на времето за обслужване са ценни, защото ни позволяват да приложим в теорията опашкаапарат на така наречените марковски случайни процеси.

Процес, протичащ във физическа система, се нарича процес на Марков (или процес без последействие), ако за всеки момент от времето вероятността за всяко състояние на системата в бъдеще зависи само от състоянието на системата в настоящия момент и не зависи от това как системата е стигнала до това състояние.
Помислете за елементарен пример за марковски случаен процес. Точка се движи произволно по оста x. В момента точката е в началото и остава там за една секунда. Секунда по-късно се хвърля монета; ако гербът падна - точката се премества с една единица дължина надясно, ако числото - наляво. Секунда по-късно отново се хвърля монета и се извършва същото произволно движение и т.н. Процесът на промяна на позицията на точка (или, както се казва, „ходене“) е случаен процес с дискретно време и изброимо множество на държави
Схемата на възможните преходи за този процес е показана на фиг. 19.7.1.
Нека покажем, че този процес е марковски. Наистина, представете си, че в някакъв момент системата е, например, в състояние - една единица вдясно от произхода. Възможните позиции на точката в единица време ще бъдат и с вероятности 1/2 и 1/2; чрез две единици - , , с вероятности 1/4, ½, 1/4 и т.н. Очевидно всички тези вероятности зависят само от това къде се намира точката в даден момент и са напълно независими от това как е попаднала там.
Нека разгледаме друг пример. Съществува техническо средство, състоящо се от елементи (части) от видове и с различна издръжливост. Тези елементи могат да се повредят в произволни моменти и независимо един от друг. Правилната работа на всеки елемент със сигурност е необходима за работата на устройството като цяло. Времето на работа на елемент е случайна променлива, разпределена по експоненциален закон; за елементи от тип и , параметрите на този закон са различни и съответно равни на и . В случай на повреда на устройството незабавно се предприемат мерки за установяване на причините и откритият дефектен елемент незабавно се заменя с нов. Времето, необходимо за възстановяване (ремонт) на устройството, се разпределя по експоненциален закон с параметъра (ако елемент от тип е повреден) и (ако елемент от тип е повреден).
В този пример произволният процес, изпълняван в системата, е марковски процес с непрекъснато време и краен набор от състояния:
Всички елементи са изправни, системата работи,
Типовият елемент е дефектен, системата е в ремонт,
Типовият елемент е повреден, системата се ремонтира.
Схемата на възможните преходи е дадена на фиг. 19.7.2.
Действително, процесът има свойството Марков. Нека, например, в момента системата е в състояние (здравословно). Тъй като времето на работа на всеки елемент е ориентировъчно, моментът на повреда на всеки елемент в бъдеще не зависи от това колко време вече е работил (когато е доставен). Следователно вероятността в бъдеще системата да остане в състоянието или да го напусне не зависи от "предисторията" на процеса. Нека сега приемем, че в момента системата е в състояние (елемент от тип е повреден). Тъй като времето за ремонт също е ориентировъчно, вероятността за завършване на ремонта по всяко време след това не зависи от това кога е започнал ремонтът и кога са доставени останалите (изправни) елементи. Така процесът е марковски.
Имайте предвид, че експоненциалното разпределение на времето за работа на елемента и експоненциалното разпределение на времето за ремонт са съществени условия, без които процесът не би бил марковски. Наистина, да предположим, че времето за правилна работа на елемента се разпределя не по експоненциален закон, а по някакъв друг закон - например според закона за еднаква плътност в сечението. Това означава, че всеки елемент с гаранция работи за време и в участъка от до може да се провали във всеки един момент със същата плътност на вероятността. Да предположим, че в някакъв момент елементът работи правилно. Очевидно е, че вероятността елементът да се повреди в някакъв момент в бъдещето зависи от това колко отдавна е бил доставен елементът, т.е. зависи от предисторията и процесът няма да бъде Марков.
Подобна е ситуацията и с времето за ремонт; ако не е показателен и елементът се ремонтира в момента, тогава оставащото време за ремонт зависи от това кога е започнал; процесът отново няма да е марковски.
Като цяло, експоненциалното разпределение играе специална роля в теорията на марковските случайни процеси с непрекъснато време. Лесно е да се види, че в стационарен марковски процес времето, през което системата остава в някакво състояние, винаги се разпределя по експоненциален закон (с параметър, зависещ, най-общо казано, от това състояние). Наистина, да предположим, че в момента системата е в състояние и преди това вече е била в него известно време. Според дефиницията на процес на Марков, вероятността за всяко събитие в бъдещето не зависи от праисторията; по-специално, вероятността системата да напусне състояние в рамките на време t не трябва да зависи от това колко време системата вече е прекарала в това състояние. Следователно времето, което системата прекарва в състояние, трябва да бъде разпределено по експоненциален закон.
В случай, че процесът, протичащ във физическа система с изброим набор от състояния и непрекъснато време, е марковски, този процес може да бъде описан с помощта на обикновени диференциални уравнения, в които неизвестните функции са вероятностите на състоянието. Ще демонстрираме съставянето и решаването на такива уравнения по-долу, като използваме примера на най-простата система за масово обслужване.

Под случаен процесразбират промяната във времето на състоянията на някаква физическа система по неизвестен досега случаен начин. При което под физическа система имаме предвидвсяко техническо устройство, група устройства, предприятие, индустрия, биологична система и др.

случаен процеспротичащ в системата се нарича Марковски – ако за всеки момент от време, вероятностните характеристики на процеса в бъдеще (t > ) зависи само от състоянието му в даден момент ( настояще ) и не зависят от това кога и как системата е стигнала до това състояние в миналото .(Например брояч на Гайгер, който регистрира броя на космическите частици).

Марковските процеси обикновено се разделят на 3 вида:

1. Маркова верига – процес, чиито състояния са дискретни (т.е. могат да бъдат преномерирани), а времето, през което се разглежда, също е дискретно (т.е. процесът може да променя състоянията си само в определени моменти от времето). Такъв процес протича (променя се) на стъпки (с други думи, на цикли).

2. Дискретен процес на Марков - множеството от състояния е дискретно (може да се изброява), а времето е непрекъснато (преход от едно състояние в друго - по всяко време).

3. Непрекъснат процес на Марков – множеството от състояния и времето са непрекъснати.

В практиката марковските процеси в техния чист вид не се срещат често. Въпреки това, често се налага да се занимаваме с процеси, за които влиянието на праисторията може да бъде пренебрегнато. Освен това, ако в състоянието на системата в „настоящето“ се включат всички параметри от „миналото“, от които зависи „бъдещето“, то тя също може да се разглежда като марковска. Това обаче често води до значително увеличаване на броя на променливите, които се вземат предвид и невъзможност за получаване на решение на проблема.

При оперативните изследвания т.нар Марковски стохастични процеси с дискретни състояния и непрекъснато време.

Процесът се нарича процес на дискретно състояние, ако всичките му възможни състояния , ,... могат да бъдат изброени (преномерирани) предварително. Преходът на системата от състояние в състояние преминава почти мигновено - скок.

Процесът се нарича непрекъснат процес във времето, ако моментите на преход от състояние към състояние могат да приемат произволни стойности на времевата ос.

Например : Техническо средство S се състои от два възела , всеки от които в случаен момент от време може да се провали ( отказвам). След това ремонтът на възела започва веднага ( възстановяване), което продължава произволно време.

Възможни са следните състояния на системата:

И двата възела са наред;

Първият възел е в ремонт, вторият работи.

- вторият възел е в ремонт, първият работи

Двата възела са в ремонт.

Преходът на системата от състояние в състояние се случва в произволни моменти почти мигновено. Удобно е да се показват състоянията на системата и връзката между тях с помощта на графика на състоянието .

държави

Преходи

Преходи и отсъстват, защото отказите и възстановяването на елементи се случват независимо и произволно, а вероятността от едновременен отказ (възстановяване) на два елемента е безкрайно малка и може да бъде пренебрегната.

Ако всички потоци от събития превеждат системата Сот щат на щат протозои, тогава процес,протичащи в такава система ще бъде Марковски. Това се дължи на факта, че най-простият поток няма последействие, т.е. в него "бъдещето" не зависи от "миналото" и освен това има свойството обикновеност - вероятността за едновременното настъпване на две или повече събития е безкрайно малка, т.е. невъзможно е да се премине от състояние за състояние без преминаване на няколко междинни състояния.

За по-голяма яснота, на графиката на състоянието е удобно да се постави интензитетът на потока от събития, който прехвърля системата от състояние в състояние по дадената стрелка при всяка преходна стрелка ( - интензитетът на потока от събития, който прехвърля системата от държавата в. Такава графика се нарича маркиран.

Използвайки обозначената графика на системните състояния, е възможно да се изгради математически модел на този процес.

Помислете за преходите на системата от някакво състояние към предишното или следващото. Фрагмент от графиката на състоянието в този случай ще изглежда така:

Нека системата по това време Tе в състояние на .

Означаваме (t)- вероятност за i-то състояние на систематае вероятността системата в даден момент Tе в състояние на . За всеки момент t =1 е вярно.

Нека определим вероятността, че в момента t+∆t системата ще бъде в държавата. Това може да е в следните случаи:

1) и не го е напускал през времето ∆ t. Това означава, че за времето ∆t не възникнасъбитие, което привежда системата в състояние (поток с интензитет) или събитие, което я поставя в състояние (поток с интензитет). Нека определим вероятността за това при малки ∆t.

Съгласно експоненциалния закон за разпределение на времето между две съседни изисквания, съответстващи на най-простия поток от събития, вероятността през времевия интервал ∆t да не възникнат изисквания в потока с интензитет λ1ще бъде равно на

Развивайки функцията f(t) в редица на Тейлър (t>0), получаваме (за t=∆t)

f(∆t)=f(0)+ (0)* ∆t + *∆ + *∆ +…=

= +(-l) *∆t+ (∆ + *(∆ +…” 1-l*∆t за ∆t®0

По същия начин за поток с интензитет λ 2 получаваме .

Вероятността на интервала от време ∆t (за ∆t®0) нито едно изискване няма да бъде равно на

(∆t)/ = (∆t/ * (∆t/ = (1- *∆t)(1- *∆t) =

1 - - *∆t + 1 - ( + )*∆t + b.m.

По този начин вероятността системата да не е напуснала състоянието през времето ∆t, за малки ∆t ще бъде равна на

P( / )=1 – ( + )* ∆t

2) Системата беше в състояние S i -1 и за времето премина в състояние S i . Тоест поне едно събитие се е случило в потока с интензивност. Вероятността за това е равна на най-простия поток с интензитет λ ще бъде

За нашия случай вероятността за такъв преход ще бъде равна на

3)Системата беше в състояние и през времето ∆t премина в състояние . Вероятността за това ще бъде

Тогава вероятността системата в момент (t+∆t) да бъде в състояние S i е равна на

Извадете P i (t) от двете части, разделете на ∆t и, преминавайки към границата, с ∆t→0, получаваме

Замествайки съответните стойности на интензитетите на преходите от състояния към състояния, получаваме система от диференциални уравнения, описващи промяната на вероятностите на състоянията на системата като функции на времето.

Тези уравнения се наричат уравнения Колмогоров-Чапман за дискретен процес на Марков.

като попитах начални условия(например P 0 (t=0)=1,P i (t=0)=0 i≠0) и решавайки ги, получаваме изрази за вероятностите на състоянието на системата като функция на времето. Аналитичните решения са доста лесни за получаване, ако броят на уравненията е ≤ 2,3. Ако има повече от тях, тогава уравненията обикновено се решават числено на компютър (например по метода на Runge-Kutta).

В теорията на случайните процеси доказано , Какво ако числото n състояния на системата със сигурност и от всеки от тях е възможно (за крайно числостъпки) отидете на всяка друга, тогава има лимит , към които клонят вероятностите, когато t→ . Такива вероятности се наричат крайни вероятности състояния, а стационарното състояние - стационарен режим функциониране на системата.

Тъй като в стационарен режим всичко , следователно всички =0. Приравнявайки левите части на системата от уравнения с 0 и допълвайки ги с уравнението =1, получаваме система от линейни алгебрични уравнения, решавайки което намираме стойностите на крайните вероятности.

Пример. Нека в нашата система степента на отказ и възстановяване на елементите е следната

Провали 1ел:

2el:

Ремонт 1ел:

2el:

P 0 + P 1 + P 2 + P 3 \u003d 1

0=-(1+2)P 0 +2P 1 +3 P 2

0=-(2+2)P 1 +1P 0 +3P 3

0=-(1+3)P 2 +2P 0 +2P 3

0=-(2+3)P 3 +2P 1 +1P 2

Решаване тази система, получаваме

P 0 =6/15=0,4; P 1 =3/15=0.2; P2=4/15=0.27; P3=2/15≈0.13.

Тези. в стабилно състояниесистема средно

40% е в състояние S 0 (двата възела са здрави),

20% - в състояние S 1 (1-ви елемент е в ремонт, 2-ри е в добро състояние),

27% - в състояние S 2 (2-ри ел. е в ремонт, 1 е в добро състояние),

13% - в състояние S 3 - двата елемента са в ремонт.

Познаването на крайните вероятности позволява Оценете средната производителност на системата и натоварването на услугата за ремонт.

Нека системата в състояние S 0 носи доход от 8 единици. за единица време; в държавата S 1 - доход 3 ср.у.; в състояние S 2 - доход 5; в състояние S 3 - доход \u003d 0

Цена ремонт за единица време за el-ta 1- 1 (S 1, S 3) арб.ед., el-ta 2-(S 2, S 3) 2 арб. След това в стационарен режим:

Системен доходза единица време ще бъде:

W max =8P 0 +3P 1 +5P 2 +0P 3 =8 0,4+3 0,2+5 0,27+0 0,13=5,15 c.u.

Разходи за ремонтв единици време:

W rem =0P 0 +1P 1 +2P 2 +(1+2)P 3 =0 0,4+1 0,2+2 0,27+3 0,13=1,39 c.u.

печалбаза единица време

W \u003d W doh -W rem \u003d 5,15-1,39 \u003d 3,76 единици

След като изразходвате определени разходи, е възможно да промените интензитета λ и μ и съответно ефективността на системата. Осъществимостта на такива разходи може да бъде оценена чрез преизчисляване на P i . и показатели за ефективност на системата.

Случайният процес е набор или семейство случайни променливи, чиито стойности са индексирани от времевия параметър. Например броят на учениците в класната стая, Атмосферно наляганеили температурата в тази зала като функция на времето са случайни процеси.
Случайните процеси се използват широко в изследването на сложни стохастични системи като адекватни математически модели на функционирането на такива системи.
Основните понятия за случайните процеси са понятията състояние на процесаи преходго от едно състояние в друго.
Стойностите на променливите, които описват произволния процес в даден момент, се наричат състояниеслучаенпроцес. Случаен процес прави преход от едно състояние към друго, ако стойностите на променливите, които определят едно състояние, се променят на стойностите, които определят друго състояние.
Броят на възможните състояния (пространството на състоянията) на случаен процес може да бъде краен или безкраен. Ако броят на възможните състояния е краен или изброим (всички възможни състояния могат да бъдат присвоени поредни номера), тогава се извиква произволният процес процес на дискретно състояние. Например броят клиенти в магазин, броят клиенти в банка през деня се описват чрез случайни процеси с дискретни състояния.
Ако променливите, описващи случаен процес, могат да приемат всякакви стойности от краен или безкраен непрекъснат интервал и следователно броят на състоянията е неизброим, тогава произволният процес се нарича непрекъснат процес на състояние. Например температурата на въздуха през деня е случаен процес с непрекъснати състояния.
За случайни процеси с дискретни състояния са характерни резки преходи от едно състояние към друго, докато при процеси с непрекъснати състояния преходите са плавни. Освен това ще разгледаме само процеси с дискретни състояния, които често се наричат вериги.
Означаваме с ж(T) случаен процес с дискретни състояния и възможни стойности ж(T), т.е. възможни състояния на веригата, - чрез символи д 0 , д 1 , д 2 , … . Понякога числата 0, 1, 2, ... от естествената серия се използват за означаване на дискретни състояния.
случаен процес ж(T) е наречен процессотделенвреме, ако преходите на процеса от състояние в състояние са възможни само в строго определени, предварително фиксирани времена T 0 , T 1 , T 2 , … . Ако преходът на процес от състояние в състояние е възможен във всеки, неизвестен преди това момент във времето, тогава случаен процес се нарича процесс непрекъснатовреме. В първия случай е очевидно, че времевите интервали между преходите са детерминирани, а във втория - случайни променливи.
Процес с дискретно време се осъществява или когато структурата на системата, която се описва от този процес, е такава, че нейните състояния могат да се променят само в предварително определени точки във времето, или когато се предполага, че за описание на процеса (системата) е достатъчно да познава състоянията в определени моменти от време. Тогава тези моменти могат да бъдат изброени и да се говори за държавата д азпо това време T аз .
Случайни процеси с дискретни състояния могат да бъдат представени като графика на преходи (или състояния), в която върховете съответстват на състояния, а ориентираните дъги съответстват на преходи от едно състояние в друго. Ако е извън държавата д азвъзможен е само един преход на състоянието д й, тогава този факт се отразява върху графиката на прехода чрез дъга, насочена от върха д аздо горе д й(фиг. 1а). Преходите от едно състояние към няколко други състояния и от няколко състояния към едно състояние се отразяват в графиката на прехода, както е показано на Фиг. 1b и 1c.

Системата за масово обслужване се характеризира със случаен процес. Изследването на случаен процес, протичащ в системата, неговият математически израз е предмет на теорията на масовото обслужване.

Математическият анализ на работата на система за масово обслужване е значително улеснен, ако произволният процес на тази операция е марковски. Процес в система се нарича марковски, ако по всяко време вероятността за всяко състояние на системата в бъдеще зависи само от състоянието на системата в този моменти не зависи от това как системата е стигнала до това състояние. При изследване икономически системиНай-широко приложение намират марковските случайни процеси с дискретни и непрекъснати състояния.

Случайният процес се нарича процес с дискретни състояния, ако всички възможни нейни състояния могат да бъдат изброени предварително, а самият процес се състои в това, че от време на време системата скача от едно състояние в друго.

Случайният процес се нарича непрекъснат процес на състояние ако се характеризира с плавен, постепенен преход от състояние към състояние.

Можем също да разграничим марковските процеси с отделен и непрекъснато време. В първия случай преходите на системата от едно състояние в друго са възможни само в строго определени, предварително фиксирани времена. Във втория случай преходът на системата от състояние в състояние е възможен във всеки, предварително неизвестен, случаен момент. Ако вероятността за преход не зависи от времето, тогава се извиква процесът на Марков хомогенен.

При изучаването на системите за масово обслужване от голямо значение са случайните марковски процеси с дискретни състояния и непрекъснато време.

Изследването на процесите на Марков се свежда до изследване на матриците на вероятностите за преход (). Всеки елемент от такава матрица (поток от събития) представлява вероятността за преминаване от дадено състояние (на което съответства ред) към следващото състояние (на което съответства колона). Тази матрица осигурява всички възможни преходи даден набордържави. Следователно процесите, които могат да бъдат описани и моделирани с помощта на матрици на вероятността на прехода, трябва да имат зависимост на вероятността за определено състояние от непосредствено предходното състояние. Така че подреждане Маркова верига. В този случай веригата на Марков от първи ред е процес, за който всяко конкретно състояние зависи само от предишното си състояние. Верига на Марков от втори и по-висок ред е процес, при който Сегашно състояниезависи от два или повече предишни.

По-долу са дадени два примера за матрици на вероятността за преход.

Матриците на вероятността за преход могат да бъдат представени чрез графики на състоянието на преход, както е показано на фигурата.

Пример

Компанията произвежда продукт, който насища пазара. Ако предприятието реализира печалба (P) от продажбата на продукт през текущия месец, тогава с вероятност 0,7 то ще реализира печалба през следващия месец, а с вероятност 0,3 - загуба. Ако през текущия месец компанията получи загуба (Y), тогава с вероятност от 0,4 през следващия месец тя ще реализира печалба и с вероятност от 0,6 - загуба (вероятностните оценки са получени в резултат на проучване на експерти). Изчислете вероятностната оценка на печалбата от продажбата на стоки след два месеца работа на предприятието.

В матрична форма тази информация ще бъде изразена по следния начин (съответстваща на матричен пример 1):

Първа итерация – изграждане на матрица от двустепенни преходи.

Ако компанията реализира печалба този месец, тогава вероятността тя да реализира печалба следващия месец е

Ако една компания реализира печалба този месец, тогава вероятността тя да реализира загуба следващия месец е

Ако една компания направи загуба този месец, тогава вероятността тя да реализира печалба следващия месец е

Ако компанията претърпи загуба през текущия месец, тогава вероятността през следващия месец тя отново да претърпи загуба е равна на

В резултат на изчисленията получаваме матрица от двустепенни преходи:

Резултатът се постига чрез матрично умножение t, на матрицасъс същите вероятности:

За извършване на тези процедури, Excel средатрябва да направите следното:

1) образуват матрица;

2) извикване на функцията MULTIPLE;

3) посочете първия масив - матрица;

4) посочете втория масив (същата матрица или друга);

5) Добре;

6) маркирайте зоната на новата матрица;

7) F2;

8) Ctrl+Shift+Enter;

9) вземете нова матрица.

Втора итерация – изграждане на матрица от тристъпални преходи. По същия начин се изчисляват вероятностите за реализиране на печалба или загуба на следващата стъпка и се изчислява матрицата на тристъпковите преходи, която има следната форма:

По този начин, през следващите два месеца от работата на предприятието, вероятността да се реализира печалба от пускането на продукта е по-висока в сравнение с вероятността да се направи загуба. Все пак трябва да се отбележи, че вероятността за реализиране на печалба пада, така че компанията трябва да разработи нов продукт, който да замени произведения продукт.