Asimptotska svojstva testova simetrije i saglasnosti zasnovane na karakterizaciji. Asimptotski optimalni kriterijumi zasnovani na broju ćelija u generalizovanim rasporedima

Predmet istraživanja i relevantnost teme. U teoriji statističke analize diskretnih nizova, posebno mjesto zauzimaju testovi dobrobiti za testiranje eventualno složene nulte hipoteze, a to je ona za slučajni niz takav da

Xi e hi,i = 1, ,n, gdje je hi = (0,1,. ,M), za bilo koje i = 1,.,n, i za bilo koje k £ 1m vjerovatnoća događaja

Xi = k) ne zavisi od r. To znači da je niz na neki način stacionaran.

U brojnim primijenjenim problemima, sekvenca (Xr-)™ = 1 se smatra nizom boja kuglica pri odabiru bez povratka do iscrpljivanja iz urne koja sadrži n - 1 > 0 kuglica boje k, k € 1m - Označićemo skup takvih selekcija O(n0 - 1, .,pm - 1). Neka je u urni ukupno n - 1 kuglica, m k=0

Označimo sa r(k) (fc) Jk) rw - G! , . . . , niz brojeva loptica boje A; u uzorku. Razmotrimo niz gdje je k)

Kk-p-GPk1.

Niz h^ je definiran korištenjem udaljenosti između lokacija susjednih kuglica boje k na način da

Pk Kf = p 1>=1

Skup sekvenci h(fc) za sve k £ 1m jednoznačno određuje nizove hk za različite k zavisne jedna od druge. Konkretno, bilo koji od njih je jedinstveno određen svim ostalim. Ako je kardinalnost skupa 1m 2, tada je redoslijed boja loptica jedinstveno određen nizom udaljenosti između mjesta susjednih loptica iste fiksne boje. Neka postoji N - 1 kuglica boje 0 u urni koja sadrži n - 1 kuglice dvije različite boje Možemo uspostaviti korespondenciju jedan prema jedan između skupa ffl(N-l,n -N) i skupa 9. \n,N vektora h(n, N ) = (hi,., hjf) s pozitivnim cijelim komponentama tako da je K = P. (0.1)

Skup 9RP)dg odgovara skupu svih različitih particija pozitivnog cijelog broja n na N uređenih članova.

Zadavanjem određene distribucije vjerovatnoće na skupu vektora £Hn,dr dobijamo odgovarajuću raspodjelu vjerovatnoće na skupu Wl(N - 1,n - N). Skup je podskup skupa vektora sa nenegativnim cjelobrojnim komponentama koje zadovoljavaju (0.1). Distribucije forme će se u radu disertacije smatrati distribucijama vjerovatnoće na skupu vektora

P(%,N) = (n,.,rN)) = P(£„ = ru,v = l,.,N\jr^ = n), (0.2) gdje. ,£dr - nezavisne nenegativne cjelobrojne slučajne varijable.

Distribucije oblika (0.2) u /24/ nazivaju se generalizovane šeme za postavljanje n čestica u N ćelija. Konkretno, ako su slučajne varijable £b. ,£lg u (0.2) su raspoređeni prema Poissonovim zakonima sa parametrima Ai,., Ldg respektivno, tada vektor h(n,N) ima polinomsku distribuciju sa vjerovatnoćama ishoda

Ri = . , L" ,V = \,.,N.

L\ + . . . + AN

Ako su slučajne varijable £ʹ >&v u (0-2) identično raspoređene prema geometrijskom zakonu gdje je p bilo koji u intervalu 0< р < 1, то, как отмечено в /25/,/26/, получающаяся обобщенная схема размещения соответствует равномерному распределению на множестве В силу взаимнооднозначного соответствия между множеством dft(N - 1 ,п - N) и множеством tRn,N получаем равномерное распределение на множестве выборов без возвращения. При этом, вектору расстояний между местами шаров одного цвета взаимно однозначно соответствует вектор частот в обобщенной схеме размещения, и, соответственно, числу расстояний длины г - число ячеек, содержащих ровно г частиц. Для проверки по единственной последовательности гипотезы о том, что она получена как результат выбора без возвращения, и каждая такая выборка имеет одну и ту же вероятность можно проверить гипотезу о том, что вектор расстояний между местами шаров цвета 0 распределен как вектор частот в соответствующей обобщенной схеме размещения п частиц по N ячейкам.

Kao što je navedeno u /14/, /38/, posebno mjesto u testiranju hipoteza o raspodjeli vektora frekvencije h(n, N) = (hi,., /gdr) u generaliziranim šemama za smještaj n čestica u N ćelija zauzimaju po kriterijumima na osnovu statistike oblika 1 m(N -l,n-N)\ N

LN(h(n,N))=Zfv(hv)

Fn = F(-T7, flQ Hi II-

0.4) gdje je fu, v = 1,2,. i φ - neke realnovrijedne funkcije, N

Mr = E = r), r = 0,1,. 1/=1

Količine u /27/ nazvane su brojem ćelija koje sadrže tačno g čestica.

Statistika oblika (0.3) u /30/ naziva se odvojiva (aditivno odvojiva) statistika. Ako funkcije /„ u (0.3) ne zavise od u, tada su takve statistike nazvane u /31/ simetričnim odvojivim statistikama.

Za bilo koje r statistika /xr je simetrična odvojiva statistika. Od jednakosti

E DM = E DFg (0.5) slijedi da se klasa simetrične odvojive statistike hv poklapa sa klasom linearnih funkcija fir. Štaviše, klasa funkcija oblika (0.4) je šira od klase simetričnih odvojivih statistika.

Ali = (#o(n, N)) je niz jednostavnih nultih hipoteza da je distribucija vektora h(n, N) (0.2), gdje su slučajne varijable,. u (0.2) su identično raspoređeni i k) = pk,k = 0,1,2,., parametri n, N se mijenjaju u centralnom području.

Razmotrimo neki P £ (0,1) i niz, općenito govoreći, složenih alternativa

H = (H(n, N)) takav da postoji - maksimalni broj za koji, za bilo koju jednostavnu hipotezu H\ € H(n, N), vrijedi nejednakost

RŠ > an,N(P)) > R

Odbacićemo hipotezu Hq(ti,N) ako je fm > asm((3). Ako postoji granica

Šp ~1pR(0n > an,N(P))=u(p,N), pri čemu je vjerovatnoća za svako N izračunata pod hipotezom Nk(p, N), tada je vrijednost ^(/Z, N) imenovan u /38/ indeksu kriterija φ u tački (j3, H). Posljednja granica možda, općenito govoreći, ne postoji. Stoga se u radu disertacije, pored indeksa kriterija, uzima u obzir vrijednost

Ish (~1pP(fm > al(/?)))

JV->oo N-ooo znače, respektivno, donju i gornju granicu niza (odg) za N -> oo,

Ako indeks kriterija postoji, onda se indeks kriterija podudara s njim. Donji indeks kriterija uvijek postoji. Što je veća vrijednost indeksa kriterija (subscript od kriterija), to je bolji statistički kriterij u smislu koji se razmatra. U /38/, problem konstruisanja kriterijuma dobrote uklapanja za generalizovane rasporede sa najvećom vrednošću indeksa kriterijuma u klasi kriterijuma koji odbacuju hipotezu Ho(n,N) na /MO Ml Mt MS iV" iV """"" ~yv" " je riješeno ^ "gdje je m > 0 neki fiksni broj, niz konstantnog ruba se bira na osnovu date vrijednosti snage kriterija za niz alternativa, ft je realan funkcija m + 1 argumenata.

Indeksi kriterija određeni su vjerovatnoćama velikih odstupanja. Kao što je pokazano u /38/, gruba (do logaritamske ekvivalencije) asimptotika vjerovatnoća velikih odstupanja odvojivih statistika kada je zadovoljen Cramerov uslov za slučajnu varijablu /(ξ) određena je odgovarajućom Kull-Bak-Leiblerovom -Sanov informacijska udaljenost (slučajna varijabla rj zadovoljava uslov Cramer, ako je za neko R > 0 generirajuća funkcija momenata Metr] konačna u intervalu \t\< Н /28/).

Ostalo je otvoreno pitanje vjerovatnoće velikih odstupanja statistike od neograničenog broja jele, kao i proizvoljnih odvojivih statistika koje ne zadovoljavaju Cramerov uslov. To nam nije omogućilo da konačno riješimo problem konstruisanja kriterijuma za testiranje hipoteza u generalizovanim šemama plasmana sa najvećom stopom težnje ka nuli verovatnoće greške prve vrste sa nepribližavajućim alternativama u klasi kriterijuma zasnovanih na statistika oblika (0.4). Relevantnost istraživanja disertacije određena je potrebom da se dovrši rješenje navedenog problema.

Svrha rada disertacije je da se konstruišu kriterijumi dobrote uklapanja sa najvećom vrednošću indeksa kriterijuma (subscript od kriterijuma) za testiranje hipoteza u šemi selekcije bez povratka u klasu kriterijuma koji odbacuju hipotezu U(n). , N) za $.<>,■ ■)><*. (0-7) где ф - функция от счетного количества аргументов, и параметры п, N изменяются в центральной области.

U skladu sa svrhom studije postavljeni su sljedeći zadaci:

Istražiti svojstva entropije i informacijske udaljenosti Kull-Bak - Leibler - Sanov za diskretne distribucije sa prebrojivim brojem ishoda;

Istražiti vjerovatnoće velikih odstupanja statistike oblika (0,4);

Istražiti vjerovatnoće velikih odstupanja simetričnih odvojivih statistika (0.3) koje ne zadovoljavaju Cramerov uslov;

Naći statistiku takvu da kriterijum dobrote uklapanja konstruisan na osnovu njega za testiranje hipoteza u generalizovanim šemama plasmana ima najveću vrednost indeksa u klasi kriterijuma oblika (0,7).

Naučna novina:

Naučna i praktična vrijednost. Rad rješava niz pitanja o ponašanju vjerovatnoća velikih odstupanja u generaliziranim shemama postavljanja. Dobijeni rezultati mogu se koristiti u obrazovnom procesu na specijalnostima matematička statistika i teorija informacija, u proučavanju statističkih postupaka za analizu diskretnih nizova, a korišćeni su u /3/, /21/ za opravdanje sigurnosti jednog klasa informacionih sistema. Odredbe za odbranu:

Smanjenje problema testiranja za jedan niz boja kuglica hipoteza da je ovaj niz dobijen kao rezultat izbora bez vraćanja sve dok se kuglice ne iscrpe iz urne koja sadrži kuglice dvije boje, a svaki takav izbor ima istu vjerovatnoću , na konstrukciju kriterijuma dobrote uklapanja za testiranje hipoteza u odgovarajućem generalizovanom izgledu;

Kontinuitet entropijskih i Kullback-Leibler-Sanov informacijskih funkcija udaljenosti na beskonačno-dimenzionalnom simpleksu s uvedenom logaritamskom generaliziranom metrikom;

Teorema o gruboj (do logaritamske ekvivalencije) asimptotici vjerovatnoća velikih odstupanja simetričnih odvojivih statistika koje ne zadovoljavaju Cramerov uslov u generaliziranoj shemi smještaja u polueksponencijalnom slučaju;

Teorema o gruboj (do logaritamske ekvivalencije) asimptotici vjerovatnoća velikih odstupanja za statistiku oblika (0.4);

Konstrukcija kriterijuma dobrote uklapanja za testiranje hipoteza u generalizovanim izgledima sa najvećom vrednošću indeksa u klasi kriterijuma oblika (0,7).

Apromacija rada. Rezultati su predstavljeni na seminarima Katedre za diskretnu matematiku Matematičkog instituta im. V. A. Steklov RAS, odeljenje za bezbednost informacija ITM&VT po imenu. S. A. Lebedev RAS i na:

Peti sveruski simpozijum o primenjenoj i industrijskoj matematici. Proljetna sesija, Kislovodsk, 2. - 8. maj 2004;

Šesta međunarodna konferencija u Petrozavodsku "Probabilističke metode u diskretnoj matematici" 10. - 16. juna 2004.;

Druga međunarodna konferencija "Informacioni sistemi i tehnologije (IST" 2004)", Minsk, 8-10. novembar 2004.;

Međunarodna konferencija "Savremeni problemi i novi trendovi u teoriji vjerovatnoće", Černivci, Ukrajina, 19. - 26. juna 2005.

Glavni rezultati rada korišćeni su u istraživačkom radu "Izvinjenje", koji je sproveo ITMiVT RAS. S. A. Lebedeva u interesu Federalne službe za tehničku i izvoznu kontrolu Ruske Federacije, a uključeni su u izvještaj o realizaciji faze istraživanja /21/. Neki rezultati disertacije uključeni su u istraživački izvještaj "Razvoj matematičkih problema kriptografije" Akademije kriptografije Ruske Federacije za 2004. godinu /22/.

Autor izražava duboku zahvalnost naučnom rukovodiocu, doktoru fizičko-matematičkih nauka A. F. Ronžinu i naučnom savetniku, doktoru fizičko-matematičkih nauka, višem istraživaču A. V. Knjazevu. Autor se zahvaljuje doktoru fizičko-matematičkih nauka, profesoru Zubkovu. i kandidatu fizičko-matematičkih nauka matematičkih nauka I. A. Kruglovu na pažnji prema radu i nizu vrijednih komentara.

Struktura i sadržaj rada.

Prvo poglavlje ispituje svojstva entropije i informacijske udaljenosti za distribucije na skupu nenegativnih cijelih brojeva.

U prvom pasusu prvog poglavlja uvode se oznake i daju se potrebne definicije. Posebno se koristi sljedeća notacija: x = (xq,x\, . ) - beskonačno-dimenzionalni vektor sa prebrojivim brojem komponenti;

H(x) - -Ex^oXvlnx,-, truncm(x) = (x0,x1,.,xm,0,0,.)] f2* = (x, xi > 0, zy = 0,1,. , Oh "< 1}; Q = {х, х, >0,u = 0,1,., o xv = 1); = (x GO, ££L0 = 7);

Ml = o Ue>1|5 € o< Ml - 7МГ1 < 00}. Понятно, что множество £1 соответствует семейству вероятностных распределений на множестве неотрицательных целых чисел, П7 - семейству вероятностных распределений на множестве неотрицательных целых чисел с математическим ожиданием 7.

Ako je y 6E P, tada će za e > 0 skup biti označen sa Oe(y)

Oe(y) - (x^< уие£ для всех v = 0,1,.}.

U drugom pasusu prvog poglavlja dokazana je teorema o ograničenosti entropije diskretnih distribucija sa ograničenim matematičkim očekivanjem.

Teorema 1. O ograničenosti entropije diskretnih distribucija s ograničenim matematičkim očekivanjem.

Za bilo koje 6 P7

H(x)

Ako x € fly odgovara geometrijskoj distribuciji sa matematičkom definicijom 7, odnosno 7 x„ = (1- r)r\ v = 0,1,., gdje je r = --,

1 + 7 onda vrijedi jednakost

H(x) = F(<7).

Izjava teoreme može se posmatrati kao rezultat formalne primjene Lagrangeove metode uslovnih množitelja u slučaju beskonačnog broja varijabli. Teorema da je jedina raspodjela na skupu (k, k + 1, k + 2,.) sa datim matematičkim očekivanjem i maksimalnom entropijom geometrijska raspodjela sa datim matematičkim očekivanjem data je (bez dokaza) u /47/. Autor je, međutim, dao rigorozan dokaz.

Treći paragraf prvog poglavlja daje definiciju generalizovane metrike – metrike koja dozvoljava beskonačne vrednosti.

Za x,y € Q funkcija p(x,y) je definirana kao minimalno e > O sa svojstvom yie~£<хи< уиее для всех и = 0,1,. Если такого е не существует, то полагается, что р(х,у) = оо.

Dokazano je da je funkcija p(x,y) generalizirana metrika na familiji distribucija na skupu nenegativnih cijelih brojeva, kao i na cijelom skupu Cl*. Umjesto e u definiciji metrike p(x,y), možete koristiti bilo koji drugi pozitivan broj osim 1. Rezultirajuća metrika će se razlikovati po multiplikativnoj konstanti. Označimo sa J(x, y) informacijsku udaljenost

00 £ J(x,y) = E In-.

Ovdje i ispod pretpostavlja se da je 0 In 0 = 0,0 In jj = 0. Informacijska udaljenost je definirana za takve x, y da je x„ = 0 za sve i takvo da je y = 0. Ako ovaj uvjet nije ispunjen, onda ćemo pretpostaviće da je J(x,ij) = oo. Neka L SP. Tada ćemo označiti

J (A Y) = |nf J(x,y).

Četvrti paragraf prvog poglavlja daje definiciju kompaktnosti funkcija definiranih na skupu Q*. Kompaktnost funkcije sa prebrojivim brojem argumenata znači da se sa bilo kojim stepenom tačnosti vrednost funkcije može aproksimirati vrednostima ove funkcije u tačkama u kojima je samo konačan broj argumenata različit od nule. Dokazana je kompaktnost funkcija entropije i informacijske udaljenosti.

1. Za bilo koje 0< 7 < оо функция Н(х) компактна на

2. Ako je za nekih 0< 70 < оо

R e tada za bilo koje 0<7<оо,г>0 funkcija x) = J(x,p) je kompaktna na skupu

Peti paragraf prvog poglavlja razmatra svojstva informacijske udaljenosti definirane na beskonačno-dimenzionalnom prostoru. U poređenju sa konačnodimenzionalnim slučajem, situacija s kontinuitetom funkcije informacijske udaljenosti se kvalitativno mijenja. Pokazano je da funkcija udaljenosti informacija nije kontinuirana na skupu ni u jednoj metrici

Pl&V) = E\Xi~Y»\, u=0

E (xv - Ui)2 v=Q

Rz(h,u) = 8Up\xu-yv\. v

Za entropijske funkcije H(x) i informacijsku udaljenost J(x,p) dokazana je valjanost sljedećih nejednakosti:

1. Za bilo koje x, x" € fi

N(x) - N(x")\< - 1){Н{х) + Н{х")).

2. Ako za neko x,p e P postoji e > 0 tako da je x 6 0 £(p), tada za bilo koje x" £ Q J(x,p) - J(x",p)|< (е"М - 1){Н{х) + Н{х") + ееН(р)).

Iz ovih nejednakosti, uzimajući u obzir teoremu 1, slijedi da su funkcije entropije i informacijske udaljenosti ravnomjerno kontinuirane na odgovarajućim podskupovima Q u metrici p(x,y)t, naime,

1. Za bilo koje 7 takvih da je 0< 7 < оо, функция Н(х) равномерно непрерывна на Г2 в метрике р(ж,у);

2. Ako za nekih 70, 0< 70 < оо

TO za bilo koje 0<7<оои£>0 funkcija

L p(x) = J(x,p) je uniformno kontinuiran na skupu Π Oe(p) u metrici p(x,y).

Dana je definicija neekstremalne funkcije. Neekstremalni uvjet znači da funkcija nema lokalne ekstreme, ili funkcija uzima iste vrijednosti na lokalnim minimumima (lokalni maksimumi). Neekstremno stanje slabi zahtjev odsustva lokalnih ekstrema. Na primjer, funkcija sin x na skupu realnih brojeva ima lokalne ekstreme, ali zadovoljava neekstremalni uvjet.

Neka je za neko 7 > 0, oblast A data uslovom

A = (x € VLv4>(x) > a), (0.9) gdje je f(x) funkcija realne vrijednosti, a neka realna konstanta, inf f(x)< а < inf ф(х).

Proučavano je pitanje pod kojim uslovima na funkciju φ pri promjeni parametara n,N u središnjem području, ^ -; 7, za sve dovoljno velike vrijednosti postoje nenegativni cijeli brojevi ko, k\,., kn takvi da je k0 + ki + . + kn = N, k\ + 2k2. + kontrolna tabla - N i

F(ko k\ kp

-£,0,0 ,.)>a.

Dokazano je da je za to dovoljno zahtijevati da funkcija φ bude neekstremalna, kompaktna i kontinuirana u metrici p(x,y), kao i da za barem jednu tačku x koja zadovoljava (0.9), za neki e > 0 postoji konačan moment stepena 1 + e i x„ > 0 za bilo koji v = 0.1.

U drugom poglavlju proučavamo grubu (do logaritamske ekvivalencije) asimptotiku vjerovatnoće velikih odstupanja funkcija od D = (^0) ■ ) Ts "n, 0, .) - broja ćelija sa datim punjenjem u središnjem području promjene parametara N, n. Grubo Asimptotika vjerovatnoća velikih odstupanja je dovoljna za proučavanje indeksa kriterija slaganja.

Neka su slučajne varijable ^ u (0.2) identično raspoređene i

P(z) - generirajuća funkcija slučajne varijable - konvergira u krug radijusa 1< R < оо. Следуя /38/, для 0 < z < R обозначим через £(z) случайную величину такую, что

Ml+£ = £ i1+ex„< 00.

0,10) k] = Pk, k = 0,1,.

Označimo

Ako postoji rješenje jednačine m Z(z) = ʺ onda je ono jedinstveno /38/. U nastavku ćemo pretpostaviti da je pk > O,A; = 0,1,.

Prvi pasus prvog paragrafa drugog poglavlja sadrži asimptotiku logaritama vjerovatnoća oblika

1pR(/x0 = ko,.,tsp = kp).

Dokazana je sljedeća teorema.

Teorema 2. Gruba lokalna teorema o vjerovatnoći velikih odstupanja. Neka je n, N -» oo tako da je jj ->7.0<7 < оо, существует z7 - корень уравнения M£(z) = 7, с. в. £(г7) имеет положительную дисперсию. Тогда для любого k G Cl(n,N)

1nP(D = k) = JftpK)) + O(^lniV).

Izjava teoreme slijedi direktno iz formule za zajedničku raspodjelu fii,. fin u /26/ i sljedeću procjenu: ako su nenegativne cjelobrojne vrijednosti, Np zadovoljava uslov

Hi + 2d2 + + PNn = n, tada je broj nenultih vrijednosti među njima 0 (l/n). Ovo je gruba procjena i ne tvrdi se da je nova. Broj CG različitih od nule u generalizovanim šemama postavljanja ne prelazi vrednost maksimalnog punjenja ćelija, koja u centralnom regionu, sa verovatnoćom koja teži 1, ne prelazi vrednost O(lnn) /25/, / 27/. Ipak, rezultirajuća procjena 0(y/n) zadovoljava vjerovatnoću 1 i dovoljna je za dobijanje grube asimptotike.

U drugom paragrafu prvog paragrafa drugog poglavlja nalazi se vrijednost granice gdje je adg niz realnih brojeva koji konvergiraju nekom a G R, φ(x) je funkcija realne vrijednosti. Dokazana je sljedeća teorema.

Teorema 3. Gruba integralna teorema o vjerovatnoćama velikih odstupanja. Neka su ispunjeni uslovi teoreme 2, za neke r > 0, C > 0 realna funkcija φ(x) je kompaktna i uniformno neprekidna u metrici p na skupu

A = 0r+<;(p(z7)) П Ц7+с] и удовлетворяет условию неэкстремальности на множестве fly. Если для некоторой константы а такой, что inf ф(х) < а < sup ф(х). xeily существует вектор ра € fi7 П 0r(p(z7)); такой, что

F(ra) > a i j(( (x) >a,xe P7),p(2;7)) = 7(pa,p(*y)) mo za bilo koji niz a^ koji konvergira u a,