Wprowadzenie do teorii prawdopodobieństwa

WSTĘP

Nowoczesny okres teorii prawdopodobieństwa jest powiązany z nazwiskami takimi jak S.N.Bernstein (1880-1968), E.Borel (1871-1956) i A.N.Kołmogorow (1903-1987). W szczególności, A.N.Kołmogorow opublikował swoje nowoczesne podejście do Teorii Prawdopodobieństwa, obejmująca zapis przestrzeni mierzalnej i przestrzeni probabilistycznej. .Zaczniemy od tej przestrzeni , przez zmienne losowe i podstawowe części teorii całkowania a zakończymy twierdzeniami pierwszej granicy. Tekst jest oparty o matematyczne, aksjomatyczne podejście. Zakładamy ,że znasz całkowanie w odniesieniu do cąłki Riemanna na prostej. Podejście, jakim się kierujemy wydaje się na początku trudniejsze. Ale jeśli ktoś ma solidne podstawy, wiele rzeczy będzie łatwiejszych i bardziej przejrzystych. Zaczniemy od przykładu wprowadzającego nas do problemu, który powinien motywować nasze podejście aksjomatyczne.
Przykład. Chcemy zmierzyć temperaturę na zewnątrz mieszkania. Możemy użyć do teg elektronicznego termometru składającego się z zewnętrznego czujnika i wyświetlacza zawierające w sobie elektronikę. Liczba jaką uzyskamy z systemu nie jest poprawna z kilku powodów. Na przykład kalibracja termometru może nie być poprawna, jakość zasilacza i wewnętrzna temperatura mogą mieć wpływ na elektronikę. Nie jest możliwe opisanie wszystkich tych źródeł nieprawidłowości. Zatem zastosujemy prawdopodobieństwo. Jaki to pomysł? Oznaczmy dokładną temperaturę przez T i temperaturę wyświetlaną przez S, tak więc różnica T- S wpływa na powyższe źródła niepewności. Jeśli możemy mierzyć jednocześnie , używając termometrów tego samego typu, będziemy uzyskiwać wartości S1,S2, … z odpowiednimi różnicami : D1 := T - S1, D2 : = T - S2, D3 = T - S3, &hellip . Uzyskamy liczby losowe D1,D2,… mające pewny rozkład. Jak stworzyć dokładną teorię matematyczna do tego? Najpierw weźmy abstrakcyjny zbiór Ω. Każdy element ω ∈ Ω oznaczać będzie specyficzną konfigurację naszych źródeł zewnętrznych wpływających na wartość mierzoną. Po drugie, bierzemy funkcję f : Ω → R, ,która daje dla wszystkich ω różnice f(ω) = T - S. Z właściwości tej funkcji będziemy chcieli uzyskać przydatną informację z naszego termometru. Jak dotąd , wszystko jest czysto abstrakcyjne i jednocześnie niejasne, tak ,że można się zastanawiać, czy może być to pomocne. Zatem pójdźmy dalej z poniższymi zagadnieniami:
KROK 1: Jak modelować losowość ω lub jakie jest prawdopodobieństwo ω? Zrobimy to przez wprowadzenie przestrzeni probabilistycznych
KROK 2: Jakie właściwości matematyczne f są konieczne dla przeniesienie losowości z ω do f(ω)? Tym zajmiemy się przy zmiennych losowych.
KROK 3: Jakie właściwości f mogą być ważne w praktyce? Na przykład wartość średnia i odchylenie , oznaczone przez : Ef i E(f-Ef)2. Jeśli pierwsze wyrażenie to 0, wtedy kalibracja termometru jest prawidłowa,. Jeśli drugie jest małe, wtedy wyświetlane wartości są bardzo blisko temperatury rzeczywistej. Do tego celu wykorzystamy teorię całkowania.
KROK 4: Czy jest możliwe opisanie rozkładu wartości f? Lub co rozumiemy przez rozkład
KROK 5: Jaka jest dobra metoda estymacji Ef? Możemy wziąć ciąg niezależny zmiennych losowych f1,f2,… posiadający taki sam rozkład jak f, i oczekujemy ,że Rysunek 1 , są blisko siebie. Daje nam to silne prawo wielkich liczb.
Notacja : Przy danym zbiorze Ω i podzbiorów A,b ⊆ Ω, wtedy stosujemy taką notację:
• część wspólna : A ∩ B = {ω ∈ Ω : ω &isin A i ω ∈ B}
• suma : A ∪ B = {ω ∈ Ω : ω ∈ A lub (lub obu) ω ∈ B}
• minus teoriomnogościowy : A \ B = {ω ∈ Ω : ω ∈ A i ω ∉ B}
• dopełnienie : AC = {ω ∈ Ω : ω ∉ A}
• zbiór pusty : ∅ = zbiór bez żadnego elementu
• liczby rzeczywiste : R
• liczby naturalne : N = {1,2,3,…}
• liczby wymierne Q
Przy liczbach rzeczywistych α β , użyjemy α ∧ β := min {α, β}

Przestrzenie probabilistyczne

W tej części wprowadzimy przestrzeń probabilistyczną, fundamentalny zapis teorii prawdopodobieństwa. Przestrzeń probabilistyczna (Ω , F, P) składa się z trzech komponentów
(1) Elementarne zdarzenie lub stany ω które są zebrane w niepustym zbiorze Ω
Przykład 1.0.1 (a) Jeśli rzucamy kostką, wtedy możliwe wyniki to liczby od 1 do 6. Oznacza to że Ω = {1,2,3,4,5,6}
(b) Jeśli rzucamy monetą , wtedy mamy albo "orzełka" albo "reszkę" , a to oznacza Ω = {O,R}. Jeśli mamy dwie monety, wtedy uzyskamy Ω = {(O,O), (O,R), (R,O), (R,R)};
(c) Dla czasu życia żarówki w godzinach, mamy Ω = [0, ∞)
(2) σ-algebra F, która jest systemem zauważalnych podzbiorów z Ω. Pryz danym ω ∈ Ω i A ∈ F, nie można wiedzieć konkretnie które ω wystąpi , ale można zdecydować czy ω ∈ A lub ω ∉ A. Zbiory A ∈ F są nazywane zdarzeniami: zdarzenia A wystąpi jeśli ω ∈ A i nie wystąpi jeśli ω ∉ A
Przykład 1.0.2. (a) Zdarzenie "rzut pokazuje liczbę parzystą " można opisać przez A = {2,4,6}
(b) "Dokładnie jedna z dwóch monet pokazuje orła" jest modelowana przez A = {(O,R), (R,O)}
(c)"Żarówka działa więcej niż 200 godzin" wyrażamy przez A = (200, ∞)
(3) Miara P, która daje prawdopodobieństwo dowolnego zdarzenia A ⊆ Ω. co oznacza wszystkie A ∈ F
Przykład 1.0.3 (a) Zakładamy ,że wszystkie wyniki dla rzutu monetą lub kostką, są dokładnie równe, to znaczy: P({ω}) = 1/6 , wtedy P({2,4,6}) = 1 / 2
(b) Jeśli założymy ,że mamy dwie uczciwe monety,co oznacza ,że pokazanie orła i reszki jest równie prawdopodobne, prawdopodobieństwo ,że dokładnie jedna z dwóch monet pokaże orła jest : P({(O,R), (R,O)}) = 1 / 2
(c) Prawdopodobieństwo czasu życia żarówki rozpatrzymy na końcu tej sekcji.

Definicja σ-algebry
σ-algebra jest podstawowym narzędziem w teorii prawdopodobieństwa. Jest to zbiór zdefiniowanych miar prawdopodobieństwa. Bez tej notacji byłoby niemożliwe rozważanie fundamentalnej miary Lebesgue w przedziale [0,1] lub rozważanie miary Gaussa, bez których wiele części matematyki nie mogłoby istnieć.
Definicja 1.1 : Niech Ω będzie niepustym zbiorem. System F podzbiorów A ⊆ Ω jest nazwany σ-algebrą na Ω jeśli:
(1) ∅ Ω ∈ F
(2) A ∈ F implikuje ,że AC = Ω\A ∈ F (3) A1, A2 ,… ∈ F implikuje ,że ∪i=1 Ai ∈ F. Para (Ω F) , gdzie F jest σ-algebrą na Ω , jest nazywane przestrzenią mierzalną. Jeśli zastąpimy (3) przez
(3)′ A,B ∈ F, implikuje ,że A ∪ B ∈ F, wtedy F jest nazywane algebrą. Każda σ-algebra jest algebrą. Czasami, termin σ-ciało i ciało są używane zamiast σ-algebra i algebra. Rozważmy kilka przykładów
Przykład 1.1.2 :
(a) Największa σ-algebra na Ω : jeśli F = 2Ω jest systemem wszystkich podzbiorów A ⊆ Ω, wtedy F jest σ-algebrą
(b) Najmniejsza σ-algebra: F = {Ω, ∅}
(c) Jeśli A ⊆ Ω , wtedy F = {Ω ∅ A, AC} jest σ-algebrą
Jeśli Ω = {ω1, … ,ωn , wtedy dowolna algebra F na &Omega jest automatycznie σ-algebrą. Jednak , generalnie , nie jest to ten przypadek, Kolejny przykład podaje algebrę, która nie jest σ-algebrą:
Przykład 1.1.3 : Niech G będzie systemem podzbiorów A ⊆ R , takim ,że A może być zapisane jako : A = (a1, b1] ∪ (a2, b2] ∪ … ∪ (an, bn], gdzie -∞ ≤ a1 ≤ b1 ≤ … ≤ an ≤ bn ≤ ∞ z taką konwencją ,że (a,∞] = (a, ∞). Wtedy G jest algebrą , ale nie σ-agebrą. Niestety , większość σ-algebr nie jest skonstruowana w sposób tak jawny. O dziwo, można z nimi nie mniej pracować praktycznie. W dalszej części opiszemy prostą procedurę która generuje σ-algebry. Zaczniemy od podstawowego
Twierdzenie 1.1.4: Niech Ω będzie dowolnym niepustym zbiorem i niech Fj , j ∈ J , J ≠ ∅ , będzie rodzina σ-algebr na Ω , gdzie J jest dowolnym zbiorem indeksowanym . Wtedy : Rysunek 2, jest również σ-algebrą
Dowód : dowód jest bardzo łatwy, ale typowy i podstawowy. Po pierwsze odnotujmy ,że ∅ , Ω ∈ F dla wszystkich j ∈ J, tak ,że ∅ Ω ∈ ∩j∈JFj. Teraz niech A,A1,A2, … ∈ ∩j∈JFj. Stąd A,A1,A2, … ∈ Fj dla wszystkich j ∈ J ,tak ,ze (Fj są σ-algebrami!) : Rysunek 3, dla wszystkich j ∈ J. W konsekwencji : Rysunek 4
Twierdzenie 1.1.5 : Niech Ω będzie dowolnym niepustym zbiorem a G będzie dowolnym systemem podzbiorów A ⊆ Ω. Wtedy istnieje najmniejsza σ-algebra σ(G) na Ω taka ,że G ⊆ σ(G)
Dowód : niech J := {C jest σ-algebrą na Ω taką ,że G ⊆ C}.W zgodzie z Przykładem 1.1.2 mamy J ≠ ∅ ponieważ G ⊆ 2Ω a 2Ω jest σ-algebrą. Zatem : Rysunek 5 prowadzi do σ-algebry zgodnie z Twierdzeniem 1.1.4 taką ,że G ⊆ σ(G. Pozostaje wykazać ,że σ(G) jest najmniejszą σ-algebrą zawierającą G. Zakładamy inna σ-algebrę F z G ⊆ F. Z definicji J mamy ,że F ∈ J tak ,że : Rysunek 6. Konstrukcja jest bardzo elegancka, ale jak wspomniano, ma niewielką niezgodność, która nie może wyraźnie skonstruować wszystkich elementów σ(G). Przejdźmy teraz do najważniejszego przykładu. σ-algebry Borela na R. Aby to zrobić potrzebujemy pojęcia otwartych i domkniętych zbiorów
Definicja 1.1.6 :
(1) Podzbiór A ⊆ R jest nazywany otwartym , jeśli dla każdego x ∈ A istnieje ε > 0 takie ,że (x - ε, x + ε) ⊆ A
(2) Podzbiór B ⊆ R jest nazywany zamkniętym jeśli A := R\B jest otwarty
Powinieneś zauważyć ,że z definicji, zbiór pusty jest otwarty i zamknięty
Twierdzenie 1.1.7 : Niech:
G0 będzie systemem wszystkich otwartych podzbiorów R
G1 będzie systemem wszystkich zamkniętych podzbiorów R
G2 będzie systemem wszystkich przedziałów (-∞ b], b ∈ R
G3 będzie systemem wszystkich przedziałów (-∞, b), b ∈ R
G4 będzie systemem wszystkich przedziałów (a,b], -∞ < a < b < ∞ R
G5 będzie systemem wszystkich przedziałów (a,b), -∞ < a < b < ∞ R
Wtedy σ(G0) = σ(G1) = σ(G2) = σ(G3) = σ(G4) = σ(G5)
Definicja 1.1.8 : σ-algebra zbudowana z Twierdzenia 1.1.7 jest nazywana σ-algebrą Borela i oznaczona przez B(R)
Dowód Twierdzenia 1.1.7. Tylko wykazujemy ,że σ(G0) = σ(G1) = σ(G3) = σ(G5). Ponieważ G3 ⊆ G0 ma : σ(G3) ⊆ σ(G0). Co więcej , dla -∞ < a < b < ∞ ma to ,że: Rysunek 7, tak ,że G5 ⊆ σ(G3) i σ(G5) ⊆ σ(G3). Teraz załóżmy ograniczony nie pusty otwarty zbiór A ⊆ R. Dla wszystkich x ∈ A istnieje maksymalne εx > 0 takie ,że : (x - εx, x + εx) ⊆ A , zatem : Rysunek 8, co dowodzi G0 ⊆ G5 i σ(G0) ⊆ σ σ(G5). W końcu, A ∈ G0 implikuje AC ∈ G1 ⊆ σ(G1) i A ∈ σ(G1). Zatem G0 ⊆ σ(G1 i σ(G0) ⊆ σ(G1). Pozostała inkluzja σ(G0) ⊆ σ(G0) można wykazać w ten sam sposób.
Miary prawdopodobieństwa
Teraz wprowadzimy miary jakich będziemy używać:
Definicja 1.2.1 : Niech (Ω, F) będzie przestrzenią mierzalną
(1) Przekształcenie μ : F → [0,∞] jest nazywane miarą , jeśli μ(∅) = 0 a dla wszystkich A1, A2, … ∈ F przy Ai ∩ Aj = ∅ dla i ≠ j mamy : Rysunek 9. Trójka (Ω F , μ) jest nazywana przestrzenią miary
(2) Przestrzeń miary (Ω, F, μ) lub miara μ jest nazywana σ-ciałem zapewniając ,że istnieje Ωk ⊆ Ω , k = 1,2, … , , takie ,że
a) Ωk ∈ F dla wszystkich k = 1,2,…
b) Ωi ∩ Ωj = ∅ dla i ≠ j
c) Ω = ∪k=1 Ωk
d) μ( Ωk) < ∞
Przestrzeń miary (Ω,F,μ) lub miara μ są nazywane ciałem jeśli &mul(Ω) < ∞
(3) Przestrzeń miary (Ω F, μ) jest nazywana przestrzenią probabilistyczną a μ miarą probabilirtyczna zapewniającą ,że μ(Ω) = 1
Przykład 1.2.2
(a) Miara Diraca : Dla F = 2Ω i stałej x0 ∈ Ω niech : Rysunek 10
(b) Miara zliczająca : Niech Ω := {ω1, … , ωN} i F = 2Ω. Wtedy μ(A) := moc A. Omówmy typowy przykład w której σ - algebra F nie jest zbiorem wszystkich podzbiorów Ω
Przykład 1.2.3 : Załóżmy ,że istnieje n kanałów komunikacyjnych miedzy punktami A i B. Każdy z tych kanałów ma szybkość komunikacji ρ > 0 (mówimy ρ bitów na sekundę), która ustępuje szybkości komunikacji ρk, w przypadku używania k kanałów. Każdy z tych kanałów zawodzi z prawdopodobieństwem p, tak ,że mamy losową szybkość komunikacji R ∈ {0,ρ ,… , nρ}. Jaki jest poprawny model do tego? Użyjemy : Ω := {ω = (ε1, … εn) : εi ∈ {0,1}, z interpretacją εi = 0 jeśli kanał i zawiódł, εi = 1 jeśli kanał i działa. F składa się ze wszystkich możliwych sum : Ak := {ω ∈ Ω : ε1 + … + εn = k}. Zatem Ak składa się ze wszystkich ω takie ,że szybkość komunikacji to ρk. System F jest system zauważalnych zbiorów zdarzeń ponieważ można tylko obserwować ile kanałów jest zamkniętych, ale niektóre kanały są zamknięte. Miara P jest dana przez : Rysunek 11. Zauważ ,że P opisuje rozkład dwumianowy z parametrem p na {0, &hellip.; m} jeśli identyfikujemy Ak z liczbą naturalną k
Twierdzenie 1.2.4 : Niech (ΩF,P) będzie przestrzenią probabilistyczną. Wtedy poniższe założenia są prawdziwe:
1.Bez założenia ,że P(∅) = 0 ,σ-addytywność implikuje ,że P(∅) = 0
2.Jeśli A1, … , An ∈ F takie ,że Ai ∩ Aj = ∅ jeśli i ≠ j , wtedy P(∪ni=1Ai) = ∑ni=1P(Ai)
3.Jeśli A,B ∈ F, wtedy P(A\B) = P(A) - P(A∩B)
4.Jeśli B ∈ Ω , wtedy P(BC) = 1 - P(B)
5.Jeśli A1, A2 ,… F wtedy P(∪i=1Ai ≤ ∑i=11P(Ai)
6.Jeśli A1, A2 ,… F takie ,że Ai ⊆ A2 ⊆ A3 ⊆ … , wtedy : Rysunek 12
7.Jeśli A1, A2 ,… F takie ,że A1 ⊇ A2 ⊇ A3 ⊇ , … , wtedy : Rysunek 13
Dowód : (1) Tu, mamy dla An := ∅ : Rysunek 14, tak ,że P(∅) = 0 jest jedynym rozwiązanie
(2) Niech An+1 = An+2 = … = ∅, tak ,że : Rysunek 15, ponieważ P(∅) = 0
(3) Ponieważ (A ∩ B) ∩ (A\B) = ∅ , uzyskujemy : P(A ∩ B) + P(A\B) = P((A ∩ B) ∪ (A\B)) = P(A)
(4) Zastosujemy (3) do A = Ω i zauważmy ,że Ω\B = BC z definicji i Ω ∩ B = B
(5) Wstawmy B1 := A1 i Bi := A1C ∩ A2C ∩ … ∩ Ai-1C ∩ Ai dla i = 1,2, …. Oczywiście P(Bi) ≤ P(Ai) da wszystkich i. Ponieważ Bi są rozłączne a ∪i=1Ai = ∪i=1Bi, wynika : Rysunek 16
(6) Definiujemy B1 := A1 , B2 := A2\A1 , B3 := A3\A2 , B4 := A4\A3, … i uzyskujemy : Rysunek 17 dla i ≠ j .W konsekwencji : Rysunek 18, ponieważ ∪Nn=1Bn = AN
Definicja 1.2.5 : Niech (Ω F) będzie przestrzenią mierzalna a A1,A2 , … ∈ F. Wtedy : Rysunek 19. Powyższa definicja mówi ,że ω ∈ lim infnAn jeśli i tylko jeśli wszystkie zdarzenia An z wyjątkiem skończonej liczby z nich, występują, i ,że ω ∈ lim supnAn jeśli i tylko jeśli wystąpi nieskończenie wiele zdarzeń An
Definicja 1.2.6 : Dla ξ12, … ∈ R niech : Rysunek 20
Uwaga 1.2.7 : (1) Wartość lim infnξn jest infimum wszystkich c takich ,że istnieje podciąg n1 < n2 < n3 < … taki ,że limkξnk = c
(2) Wartość lim supnξn jest supremum wszystkich c takie ,że istnieje podciąg n1 < n2 < n3 < … taki ,że limkξnk = c
(3) Z definicji mamy ,że : -∞ ≤ lim inf ξn ≤ lim sup ξn ≤ ∞
(4) Na przyjład, biorąc ξn = (-1)n daje : lim inf ξn = -1 i lim sup ξn = 1
Twierdzenie 1.2.8 : Niech (Ω F, P) będzie przestrzenią probabilistyczną i A1, A2, … ∈ F .Wtedy : P(lim inf An) ≤ lim inf P(An) ≤ lim sup P(An) ≤ P(lim sup An).
Definicja 1.2.9 : Niech (Ω F, P) będzie przestrzenią probabilistyczną . Zdarzenia A1, A2, … ∈ F są nazywane niezależnymi, zapewniające ,że dla wszystkich n i 1 &e; k1 < k2 < … < kn mamy ,: P(Ak1 ∩ Ak2 ∩ … ∩ Akn = P(Ak1) P(Ak2) … P(Akn). Łatwo można zauważyć że wymagając tylko P(A1 ∩ A2 ∩ … ∩ An = P(A1) P(A2) … P(A n) nie miałoby sensu : biorąc A i B z : P (A ∩ B) ≠ P(A)P(B) i C = ∅ daje P(A ∩ B ∩ C) = P(A)P(B)P(C), co z pewnością nie jest tym co mamy na myśli
Definicja 1.2.10 : Niech (Ω F, P) będzie przestrzenią probabilistyczną, A ∈ F z P(A) > 0 Wtedy : P(B|A) := P(B ∩ A)/P(A) dlaB ∈ F, jest nazywane prawdopodobieństwem warunkowy B z danego A. Jako pierwsze zastosowanie rozważmy wzór Bayesa. Zanim zformuujemy ten wzór w Twierdzeniu 1.2.12 rozważmy A,B ∈ F , przy 0 < P(B) < 1 i P(A) > 0. Wtedy A = (A ∩ B) ∪ (A ∩ BC), gdzie (A ∩ B) ∩ (A ∩ BC) = ∅ i dlatego P(A) = P(A ∩ B) + P(A ∩ BC) = P(A|B)P(B) + P(A|BC)P(BC). To implikuje P(B|A) = P(B ∩ A)/P(A) = P(A|B)P(B)/P(A) = P(A|B)P(B) / P(A|B)P(B) + P(A|BC)P(BC). Rozważmy
Przykład 1.2.11 : Laboratorium krwii testuje z 95% efektywnością wykrywalność pewnej choroby, kiedy wystąpi. Jednak testy prowadzą również do "fałszywie dodatnich" wyników dla 1% testowanych zdrowych osób. Jeśli 0,5% populacji rzeczywiście ma tą chorobę, jakie jest prawdopodobieństwo ,że osoba ma tą chorobę jeśli wynik jego testu jest pozytywny? Ustawiamy :
B := "osoba ma chorobę"
A := "dodatni wynik testu"
Mamy zatem
P(A|B) = P ("dodatni wynik testu" | "osoba ma tę chorobę") = 0,95
P(A|BC) = 0,01
P(B) = 0,005
Stosując powyższy wzór mamy : P(B|A) = 0,95 x 0,005 / 0,95 x 0,005 + 0,01 x 0,995 ≈ 0,323. Oznacza to ,że tylko 32% osób , których test jest dodatni w rzeczywistości mają tą chorobę.
Twierdzenie 1.2.12 : Załóżmy A,Bj ∈ F , z Ω = ∪nj=1 Bj z Bi ∩ Bj = ∅ dla i ≠ j i P(A) > 0, P(Bj) > 0 dla j = 1, … n. Wtedy : P(Bj|A) = P(A|Bj)P(Bj) / ∑nk=1 P(A|Bk)P(Bk)
Twierdzenie 1.2.13 : Niech (Ω ,F ,P) będzie przestrzenią probabilistyczną a A1, A2, … ∈ F. Wtedy mamy co następuje :
(1) Jeśli ∑n=1 P(An) < ∞ , wtedy P(lim supn → ∞An) = 0
(2) Jeśli A1, A2, … zakładamy jako niezależne a ∑n=1P(An) = ∞ wtedy P(lim supn→∞An) = 1
Dowód : (1) Mamy z definicjii lim supn→∞An = ∩n=1k=nAk. Z : Rysunek 21 i ciągłości P z powyższego uzyskujemy Rysunek 22, gdzie ostatnia nierównośc wynika z Twierdzenia 1.2.4
(2) Wynika ,że : Rysunek 23, więc musimy wykazać ,że : Rysunek 24
Biorąc Bn := ∩k=n ACk uzyskamy B1 ⊆ B2 ⊆ B3 ⊆ … , tak ,że : Rysunek 25, tak ,że wystarczy wykazać ,że Rysunek 26 . Ponieważ niezależności A1, A2, … implikuje niezależność A1C, A2C, … , uzyskując (ustawiając pn := P(An)) ,że Rysunek 27, gdzie używamy 1 - x ≤ e-x dla x ≥ 0. Chociaż definicja miary nie jest trudna, udowodnienie istnienia i jednoznaczności miar może być czasami trudne. Problem leży w fakcie ,że generalnie, σ-agebry nie są wyraźnie konstruowane, tylko wiemy o ich istnieniu.
Twierdzenie 1.2.14 : Niech Ω będzie niepustym zbiorem a G będzie algebrą na Ω taka ,że F := σ(G). Zakładamy ,że P0 : G → [0,1] spełnia :
(1) P0(Ω) = 1
(2) Jeśli A1, A2, … ∈ F, Ai ∩ Aj = ∅ dla i ≠ j, i ∪i=1 Ai ∈ G, wtedy : Rysunek 28. Wtedy istnieje jednoznaczna miara probabilistyczna P na F taka ,że P(A) = P0(A) dla wszystkich A ∈ G
Dowód: Twierdzenie 3.1
Jako zastosowanie, zbudujemy (mniej więcej bez rygorystycznego dowodu) przestrzeń iloczynową : (Ω1 x Ω2, F1 ⊗ F2 P1 x P2) dwóch przestrzeni probabilistycznych (Ω1, F1, P1) i (Ω2, F2, P2). Robimy to jak następuje :1 x Ω2 := {(ω1, ω2) : ω1 ∈ Ω1 , ω2 &isinl Ω2}
(2) F1 ⊗ F2 jest najmniejszą σ-algebra na Ω1 x Ω2 , która zawiera wszystkie zbiory typu : A1 x A2 := {(ω12) : ω1 ∈ A1, ω2 A2 } z A1 ∈ F1 , A2 ∈ F2
(3) Przy algebrze G bierzemy wszystkie zbiory typu : A := (A11 x A12) ∪ … ∪ (An1 x An2) ,z Ak1 ∈ F1, Ak2 ∈ F2 i (Ai1 x Ai2) ∩ (Aj1 Aj2) = ∅ dla i ≠ j. W końcu definiujemy μ : G → [0,1] przez : Rysunek 29
Definicja 1.2.15 : Rozwinięcie μ do F1 x F2 zgodnie z Twierdzeniem 1.2.14 jest nazywany miarą iloczynu i zazwyczaj oznaczane przez P1 x P2. Przestrzeń probabilistyczna (Ω1 x Ω2, F1 ⊗ F2 , P1 x P2) jest nazywama przestrznią probabilistyczną iloczynową. Można udowodnić ,że (F1 ⊗ F2) ⊗ F3 = F1 ⊗( F2 ⊗ F3) i (P1 ⊗ P2) ⊗ P3 = P1 ⊗ (P2 ⊗ P3). Używając tego podejścia zdefiniujemy σ-algebrę Borela na Rn
Definicja 1.2.16 : Dla n ∈ {1,2,…} niech B(Rn) := B(R) ⊗ … ⊗ B(R) . Istnieje więcej naturalnych podejść do definiowana σ-algebry Borela na Rn: jest to najmniejsza σ-agebra , która zawiera wszystkie zbiory , które są otwarte w odniesieniu do metryki euklidesowej w Rn. Jednak, aby być efektywnym wybieramy powyższy. Jeśli ktoś jest zainteresowany jednoznacznością miary, można także zobaczyć następującego podejścia jako zamiennika teorii rozwinięcia Caratheodory′ego
Definicja 1.2.17 : System G podzbiorów A ⊆ Ω jest nazywane π - systemem, zapewnia ,że A ∩ B ∈ G dla wszystkich A,B ∈ G
Twierdzenie 1.2.18 : Niech (Ω ,F) będzie przestrzenią mierzalną z F = σ(G), gdzie G jest π-systemem. Załóżmy ,że dwie miary probabilistyczne P1 i P2 na F takie ,że P1(A) = P2(A) dla wszystkich A ∈ G. Wtedy P1(B) = P2(B) dla wszystkich B ∈ F

Przykłady rozkładów
1.3.1 Rozkład dwumianowy z parametrem 0 < p < 1
(1)Ω := {0,1,… n}
(2)F := 2Ω (system wszystkich podzbiorów z Ω)
(3)P(B) = μn,p(B) := ∑nk=0( n k)pk(1-p)n-kδk(B), gdzie δk jest miarą Diraca wprowadzoną w Definicji 1.2.2
Interpretacja : Podrzucając jedną monetą, tak ,że raz mamy orła z prawdopodobieństwem p i reszkę z prawdopodobieństwem 1 - p. wtedy μn,p({k}) jest równe prawdopodobieństwu, że wewnątrz n prób mamy k-razy orła.
1.3.2. Rozkład Poissona z parametrem λ > 0
(1)Ω := {0,1,2,3,…}
(2) F := 2Ω (system wszystkich podzbiorów z Ω)
(3)P(B) = πλ(B) := ∑k=0e-λ⋅ λk / k! ⋅δk(B)
Rozkład Poissona jest używana na przykład do procesów modelu skoku i dyfuzji : prawdopodobieństwo ,że mamy k skoków między punktami czasu s a t przy 0 ≤ s < t < ∞ , jest równia πλ(t-s)({k})
1.3.3. Rozkład geometryczny z parametrem 0 < p < 1
(1)Ω := {0,1,2,3,…}
(2) F := 2Ω (system wszystkich podzbiorów z Ω)
(3)P(B) = μp(B) := ∑k=0(1-p)kk(B)
Interpretacja : Prawdopodobieństwo ,że żarówka się zepsuje to p ∈ (0,1). Żarówka nie ma "pamięci", co oznacza ,że zepsucie jest niezależne od czasu włączenia żarówki. Więc uzyskujemy następujący model : w dniu 0 prawdopodobieństwo zepsucia żarówki to p. Jeśli żarówka przetrwa dzień 0, zepsuje się ponownie z prawdopodobieństwem p w pierwszym dniu tak ,że całkowite prawdopodobieństwo zepsucia w dniu 1 to (1-p)p. Jeśli kontynuujemy w ten sposób, uzyskamy ,że zepsucie się żarówki w dniu k ma prawdopodobieństwo (1-p)kp
1.3.4. Miara Lebesgue i rozkład jednostajny
Używając teorii rozwinięcia Caratheodory′ego, zbudujemy miarę Lebesgue w zwartym przedziale [a,b] i na R. Do tego celu niech :
(1)Ω := [a,b], -∞ < a < b < ∞
(2)F = B([a,b]) := {B = A ∩ [a,b] : A ∈ B(R)}
(3) Generując algebra G dla B([a,b]) bierzemy system podzbiorów A ⊆ [a,b] takie ,że A można zapisać jako : Rysunek 30, gdzie a ≤ a1 ≤ b1 ≤ … ≤ an ≤ bn ≤ b. Dla takigo zbioru A niech Rysunek 31
Definicja 1.3.1 : Jednoznaczne rozwinięcie λ0 to B([a,b]) ze względu na Twierdzenie 1.2.14 jest nazywane miarą Lebesgue i oznaczamy ją przez λ.
Możemy również zapisać &lmabda;(B) = ∫Bdλ(x). Biorąc : P(B) := 1/b-a ⋅λ(B) da B ∈ B([a,b]), uzyskujemy rozkład jednostajny na [a,b] Co więcej, miara Lebesgue może być jednoznacznie rozszerzone do σ-skończonej miary λ na B(R) takiej ,że λ((a,b]) = b - a dla wszystkich -∞ < a < b < ∞
1.3.5. Rozkład gaussowski na R ze średnią m ∈ R i wariancją σ2 > 0
(1)Ω = R
(2)F := B(R) σ-algebra Borela
(3) Bierzemy algebrę G rozważaną w Przykładzie 1.1.3 i definiujemy : Rysunek 32 , dla A := (a1,b1] ∪ (a2, b2] ∪ … ∪ (an, bn] gdzie rozpatrujemy całkę riemannowską po prawej stronie. Można wykazać, że P0 spełnia założenia Twierdzenia 1.2.14, tak więc możemy rozszerzyć P0 do miary probabilistycznej Nm,σ2(A) .Miara Nm,σ2 jest nazywana rozkładem Gaussa (rozkładem normalnym) ,ze średnią m i wariancją σ2. Przy danym A ∈ B(R) zapisujemy:
Nm,σ2(A)= ∫Apm,σ2(x)dx z pm,σ2(x) : 1 / √2πσ2 ⋅e- (x-m)2/2σ2. Funkcja pm,σ2(x) jest nazywana gęstością gaussowską
1.3.6. Rozkład wykładniczy na R z parametrem λ > 0
(1)Ω = R
(2)F := B(R) σ-algebra Borela
(3) Dla A i G definiujemy : Rysunek 33. Ponownie, P0 spełnia założenia Twierdzenia 1.2.14, tak więc możemy rozłożyć P0 do rozkładu wykładniczego μλ z parametrem λ i gęstości p&ambda;(x) na B(R). Przy danym A ∈ B(R) zapisujemy : μλ(A) = ∫Apλ(x)dx
Rozkład wykładniczy może być rozpatrywany jako wersja czasowo ciągła rozkładu geometrycznego .W szczególności, widzimy ,że rozkład nie ma pamięci , w sensie ,że dla a,b ≥ 0 mamy : μλ([a + b, ∞)]|[a,∞)) = μλ([b,∞)), gdzie mamy po lewej stronie prawdopodobieństwo warunkowe. Słownie : prawdopodobieństwo realizacji większe lub równe a + b pod warunkiem ,że ma już wartość większą lub równą a jest takie same jak mając realizację większą lub równą b. Rzeczywiście , Rysunek 34
Przykład 1.3.2 : Załóżmy, że czas jaki spędzasz na poczcie jest rozkładem wykładniczym λ = 1/10
(a) Jakie jest prawdopodobieństwo że spędzisz tam więcej niż 15 minut?
(b) Jakie jest prawdopodobieństwo ,że spędzisz tam więcej niż 15 minut ,zakładając ,że jesteś już tam co najmniej 10 minut?
Odpowiedź dla (a) to μλ([15,∞)) = e-15⋅1/10 ≈ 0,220. Dla (b) mamy μλ([15, ∞) | [10, ∞)) = μλ([5,∞)) = e-5⋅1/10 ≈ 0,604.
1.3.7. Twierdzenie Poissona
Dla dużego n i małego p , rozkład Poissona zapewnia dobre przybliżenie dla rozkładu dwumianowego
Twierdzenie 1.3.3 : Niech λ > 0, pn ∈ (0,1) , n = 1,2,… i zakładamy ,że npn → λ jeśli n → ∞ .Wtedy dla wszystkich k = 0,1, … , μn,pn({k}) → πλ({k}), n → ∞
Dowód: Ustalamy liczbę całkowitą k ≥ 0. Wtedy : Rysunek 35. Oczywiście, limn→∞(npn)k = λk i limn→∞ n(n-1)…(n-k+1)/nk = 1. Więc musimy wykazać ,że limn→∞(1-pn)n-k = e. Przez npn → λ uzyskujemy ,że istnieje εn takie ,że npn = λ + εn z limn→∞ εn = 0. Wybierając &epsion;0 > 0 i n0 ≥ 1 takie ,że |εn| ≤ ε0 dla wszystkich n ≥ n0. Wtedy : (1 - λ + ε0 / n )n-k ≤ (1 - λ + εn / n )n-k ≤ (1 - λ - ε0 / n )n-k. Używając zasady l′Hospitala mamy : Rysunek 36 .W ten sam sposób uzyskujemy : limn→∞⋅(1- λ + εn/n)n-k ≤ e-(λ-ε0). W końcu,ponieważ wybraliśmy ε0 > 0 , dowolnie małe : Rysunek 37.
1.4. Zbiór, który nie jest zbiorem Borela
Zbudujemy zbiór, który jest podzbiorem (0,1], ale nie elementy z B((0,1]) := {B = A ∩ (0,1] : A ∈ B(R)}
Definicja 1.4.1 : Klasa L jest λ-systemem jeśli :
(1) Ω ∈ L
(2) A,B ∈ : L i A ⊆ B implikuje B\A ∈ L
(3) A1, A2, … ∈ i An ⊆ An+1 , n = 1,2,… implikuje ∪n=1An ∈ L
Twierdzenie 1.4.2 : Jeśli P jest π-systemem a L jest λ-systemem, wtedy P ⊆ L implikuje, σ(P) ∈ L
Definicja 1.4.3 : Relacja ~na zbiorze X jest nazywaną relacja równoważności jeśli i tylko jeśli :
(1) x ~ x dla wszystkich x ∈ X (zwrotność)
(2) x ~y implikuje x ~ y dla x,y ∈ X (symetria)
(3) x ~ y i y ~ z implikuje x ~z dla x,y,z ∈ X (przechodniość)
Przy danych x,y ∈ (0,1] i A ⊆ (0,1] , również potrzebujemy dodatkowego modułu : Rysunek 38. Teraz definiujemy L := {a ∈ B((0,1]) tak ,że A⊕ x ∈ B((0,1]) i λ(A ⊕ x) = λ(A) d;a wszystkich x ∈ (0,1]}
Lemat 1.4.4 : L jest λ- systemem
Dowód: Właściwość (1) jest jasna ponieważ Ω ⊕ x = Ω. Aby sprawdzić (2) niech A,B ∈ L a A ⊆ B , tak więc λ(A ⊕ x) = λ(A) i λ(B ⊕ x) = λ(B). Musimy wykazać ,że B\A ∈ L. Z definicji ⊕ łatwo zauważyć ,że A ⊆ B implikuje A ⊕ x ⊆ B ⊕ x i (B ⊕ x) \ (A + x) = (B\A) ⊕ x, i daltego (B\A) ⊕ x ∈ B((),1]). Ponieważ λ jest miarą prawdopodobieństwa wynika ,że : Rysunek 39 , a B\A ∈ L. Właściwość (3) jest pominięta jako ćwiczenie. W końcu, potrzebujemy aksjomatu wyboru.
Twierdzenie 1.4.5 : Niech I będzie zbiorm a (Mα)α∈ I będzie systemem nie pustych zbiorów Mα. Wtedy istnieje funkcja φ na I taka ,że φ : α → mα ∈ Mα. Innymi słowy, można sformować zbiór przez wybranie z każdego zbioru Mα reprezentatywnego mα
Twierdzenie 1.4.6 : Istnieje podzbiór H ⊆ (0,1] , który nie należuy do B((0,1])
Dowód : Jeśli (a,b] ⊆ [0,1], wtedy (a,b] ∈ L. Ponieważ P := {(a,b] : 0 ≤ a < b ≤ 1}, jest π - systemem, który generuje B((0,1]) wynika z π-λ- Twierdzenia 1.4.2 ,że B((0,1]) ⊆ L. Zdefiniujmy relację równoważności : x ~y jeśli i tyko jeśli x ⊕ r = y dla pewnej relacji r ∈ (0,1]. Niech H ⊆ (0,1] będzie się składać z dokładnie jednego reprezentatywnego punktu z każdej klasy równoważności (taki zbiór istnieje przy założeniu aksjomatu wyboru). Wtedy H ⊕ r1 i H ⊕ r2 są rozłączne da r1 ≠ r2 : jeśli nie byłyby rozłączne , wtedy istniałoby h1 ⊕ r1 ∈ (H ⊕ r10 i h2 ⊕ r2 ∈ (H ⊕ r2) z h1 &oplsu; r1 = h2 ⊕ r2 Ale to implikuje h1 ~ h2 a zatem h1 = h2 i r1 = r2. Wynika więc, że (0,1] jest przeliczaną sumą zbiorów rozłącznych : Rysunek 40. Jeśli założymy ,że H ∈ B((0,1]) wtedy : Rysunek 41. Z B((0,1]) ⊆ L mamy λ(H ⊕ r) = λ(H) = a ≥ 0 dla wszystkich liczb wymiernych r ∈ (0,1]. W konsekwencji : Rysunek 42
Tak więc, prawa strona może być albo 0 (jeśli a = 0) lub ∞ (jeśli a > 0). Prowadzi to do sprzeczności, więc H ∉ B((0,1])

Zmienne losowe

Biorąc pod uwagę przestrzeń probabilistyczną (Ω F , P) , w wielu modelach stochastycznych rozważamy funkcję f : Ω → R, która opisuje pewne zjawisko losowe, i jest zainteresowana w obliczeniu wyrażenia takiego jak : P({ω ∈ Ω : f(ω) ∈ (a,b)}) ,gdzie a < b. To daje nam warunek : {ω ∈ Ω : f(ω) ∈ (a,b) } ∈ F, a zatem teraz wprowadzimy zmienne losowe
Zmienne losowe
Zaczniemy od najprostszych zmiennych losowych
Definicja 2.1.1. Niech (Ω F) będzie przestrzenią mierzalną. Funkcja f : Ω → R jest nazywaną mierzalną funkcją schodkową lub funkcją schodkową, pod warunkiem ,że nie są α1, … ,αn ∈ R i A1, … , An ∈ F tak że f może być zapisane : Rysunek 43 .Niektóre określone przykłady dla funkcji schodkowej to : Rysunek 44. Powyższa definicja dotyczy tylko funkcji które przyjmują skończenie wiele wartości, które będą zbyt restrykcyjne w przyszłości. Więc chcemy rozszerzyć tą definicję
Definicja 2.1.2. Niech (Ω, F) będzie przestrzenią mierzalną. Odwzorowanie f : Ω → R jest nazywaną zmienną losową pod warunkiem ,że istnieją ciąg (fnn=1 mierzalnych funkcji schodkowych fn : Ω → R takie ,że : Rysunek 45
Twierdzenie 2.1.3 Niech (Ω F) będzie przestrzenią mierzalną i neich f : Ω → R będzie funkcją. Wtedy poniższe warunki są równoważne:
(1) f jest zmienną losową
(2) Dla wszystkich -∞ < a < b < ∞ mamy :
f-1((a,b)) :-= {ω ∈ Ω : a < f(ω) < b} ∈ F
Dowód. (1) ⇒ (2) .Zakładamy ,że : Rysunek 46, gdzie fn ; Ω → R są mierzalnymi funkcjami schodkowymi. Dla mierzalnej funkcji schodkowej mamy f-1n((a,b))∈ F, tak ,że Rysunek 47
(2)⇒ (1). Zauważy ,że mamy również : Rysunek 48, tak ,że możemy użyć funkcji schodkowej : Rysunek 49
Twierdzenie 2.1.4 Załóżmy przestrzeń mierzalną (Ω F) i ciąg zmiennych losowych fn : Ω → R taki ,że f(ω) := limnfn(ω) istnieje dla wszystkich ω ∈ Ω. Wtedy f : Ω → R jest zmienną losową
Twierdzenie 2.1.5 Niech [Ω F) będzie przestrzenią mierzalną a f,g : Ω → R zmiennymi losowymi , a α, β ∈ R. Wtedy następujące jest prawdą:
(1) (1)(αf + βg)(ω) := αf(ω) + βg(ω) jest zmienną losową
(2)(fg)(ω) := f(ω)g(ω) jest zmienną losową
(3)Jeśli g(ω) ≠ 0 dla wszystkich ω ∈ Ω , wtedy (f/g)(ω) := f(ω)/g(ω) jest zmienną losową
(4)|f| jest zmienną losową
Dowód (2) Znajdujemy funkcje schodkowe mierzalne fn, gn : Ω → R takie ,że : Rysunek 50 .W końcu przypomnijmy sobie ,że fn(ω)gn(ω) jest mierzalną funkcją schodkową. Faktycznie zakładając : Rysunek 51 mamy Rysunek 52, ponownie uzyskujemy funkcję krokową, ponieważ Ai ∩ Bj ∈ F
Przekształcenia mierzalne
Teraz możemy rozszerzyć pojęcie zmiennych losowych o pojęcie przekształcenia mierzalnego, które jest koniecznie z wielu względów i nawet bardziej naturalne
Definicja 2.2.1 Niech (Ω F) i (M,Σ) będą przestrzeniami mierzalnymi. Przekształcenie f : Ω → M jest nazywane (F, Σ) - mierzalne, pod warunkiem ,że : f-1(B) {ω ∈ Ω : f(ω) ∈ B} ∈ F dla wszystkich B ∈ Σ
Połączenie ze zmiennymi losowymi jest dane przez
Twierdzenie 2.2.2 Niech (Ω , F) będą przestrzeniami mierzalnymi i f : Ω → D. Wtedy poniższe założenia są równoważne:
(1)Przekształcenie f jest zmienną losową
(2)Przekształcenie f jest (F, B(R))- mierzalne
Dla dowodu potrzebujemy
Lemat 2.2.3. Niech (Ω F) i (M, Σ) będą przestrzeniami mierzalnymi i niech f : Ω → M. Zakładamy ,że Σ0 ⊆ Σ jest układem podzbiorów takich ,że σ(Σ0) = Σ . Jeśli : f-1(B) ∈ F dla wszystkich B ∈ Σ0, wtedy f-1(B) ∈ F dla wszystkich B ∈ Σ
Dowód. Definiujemy A := {B ⊆ M : f-1(B) ∈ F}
Oczywiście Σ0 ⊆ A. Wykażemy ,że A jest σ-algebrą.
(1)f-1(M) = Ω ∈ F implikuje ,że M ∈ A
(2)Jeśli B ∈ A ,wtedy : Rysunek 53
(3)Jeśli B1, B2, … ∈ A wtedy : Rysunek 54
Z definicja Σ = σ(Σ0 , implikuje to ,że Σ ⊆ A, co implikuje nasz lemat
Dowód twierdzenia 2.2.2. (2) ⇒ (1) wynika z (a,b) ∈ B(R) dla a < b co implikuje ,że f-1((a,b)) ∈ F. (1) ⇒ (2) jest konsekwencją Lematu 2.2.3 ponieważ B(R) = σ((a,b) : -&infn; < a < b < ∞
Przykład 2.2.4. Jeśli f : R → R jest ciągła, wtedy f jest (B(R),B(R)) - mierzalna
Dowód. Ponieważ f jest ciągła wiemy ,że f-1 ((a,b)) jest otwarta dla wszystkich -∞ < a < b < ∞, tak więc f-1((a,b)) ∈ B(R). Ponieważ otwarte przedziały generują B(R), możemy zastosować Lemat 2.2.3.
Twierdzeni 2.2.5 Niech (Ω1, F1), (Ω 2, F2) będą przestrzeniami mierzalnymi. Załóżmy ,że f : Ω 1 → Ω 2 jest (F1,F2)-mierzalna i ,że g : Ω 2 → Ω 3 jest (F2,F3) - mierzalna. Wtedy poniższe spełnia:
1.g o f : &Omga; 1 → Ω 3 zdefiniowane przez : (g o f)(ω 1) := g(f(ω 1)), jest (F1, F3)-mierzalne
2.Załóżmy ,że P jest miarą prawdopodobieństwa na F1 i zdefiniowane przez : μ(B2) := P({ω 1 ∈ Ω 1 : f(ω 1) ∈ B2}). Wtedy μ jest miara prawdoppodobieństwa na F2.
Przykład 2.2.6 Chcemy zasymulować rzut (nieuczciwą) monetą przez generator liczb losowych: generator liczb losowych komputera podaje nam liczbę, która ma (dyskretny) jednoznaczny rozkład ma [0,1]. Bierzemy przestrzeń probabilistyczną ([0,1], B([0,1]), &lmabda;) i definiujemy dla p &isisn; (0,1), zmienna losowa : f(ω) := II[0,p)(&omga;). Wtedy otrzymamy :
μ({1}) := P(ω1 ∈ Ω 1 : f(ω 1) = 1) = λ([0,p)) = p
μ({0}) := P(ω1 ∈ Ω 1 : f(ω 1) = 0) = λ([p,1) = 1-p
Załóżmy , że generator liczb losowych daje liczbę x. Jeśli piszemy program taki ,że "wyjście" = "reszka" w przypadku x ∈ [0,p) i "wyjście" = "reszka" w przypadku x ∈ [p,1], "wyjście" będzie symulować rzut (nieuczciwą) monetą, lub innymi słowy, "wyjście" ma rozkład dwumianowy μ1,p
Definicja 2.2.7. Niech (Ω , F, P) będzie przestrzenią probabilistyczną a f : Ω → R będzie zmienną losową. Wtedy : Pf(B) := P(ω ∈ Ω : f(ω) ∈ B), jest nazywane prawem zmiennej losowej f. Prawo zmiennej losowej jest całkowicie charakteryzowane przez jego funkcję rozkładu
Definicja 2.2.8 .Przy danej zmiennej losowej f : Ω → R na przestrzeni probabilistycznej (Ω, F , P), funkcja : Ff(x) := P(ω ∈ Ω : f(ω) ≤ x) jest nazywana funkcją rozkładu f
Twierdzenie 2.2.9 Funkcja rozkładu Ff : R → [0,1] jest niemalejąca funkcją prawostronnie ciągłą ,taką,że : Rysunek 55. Dowód. (i) F jest niemalejąca : przy danym x1 < x2 ma: {ω ∈ Ω : f(ω) ≤ x1 } ⊆ {ω ∈ Ω : f(ω) ≤ x2} i F(x1) = P({ω ∈ Ω : f(ω) ≤ x1}) ≤ P ({ω ∈ Ω : f(ω) ≤ x2}) = F(x2)
(ii) F jest prawostronnie ciągła : niech x ∈ R i xn ↓ x. Wtedy : Rysunek 56
(iii) Właściwości limx→ -∞F(x) = 0 i limx→∞F(x) = 1 jest do przećwiczenia
Twierdzenie 2.2.10. Załóżmy ,że μ1 i μ2 są miarami probabilistycznymi na B(R) a F1 i F2 są odpowiednimi funkcjami rozkładu. Wtedy poniższe założenia są równoważne:
(1) μ1 = μ2
(2) F1(x) = μ1((-∞,x]) = μ2((-∞, x]) = F2(x) dla wszystkich x ∈ R
Dowód. (1) &rArrl (2) jest oczywiste trywialne. Rozważmy (2) ⇒ (1): Dla zbioru typu : A:= (a1, b1] ∪…∪ (an, bn]; gdzie przedziały są rozłączne, można wykazać ,że : Rysunek 57. Teraz możemy zastosować twierdzenie rozwinięcia Caratheodory′ego
Podsumowanie : Niech (Ω, F) będą przestrzeniami mierzalnymi i f:Ω → R będzie funkcją. Wtedy poniższe relacje są prawdziwe: f-1(A) ∈ F, dla wszystkich A ∈ G , gdzie g jest jednym z układów podanych w Twierdzeniu 1.1.7 lub dowolnym innym systemem takim ,że σ(G) = B(R) ⇒ Lemat 2.2.3 : f jest mierzalne : f-1(A) ∈ F dla wszystkich A ∈ B(R) ⇒ Twierdzenie 2.2.2 : Istnieją mierzalne funkcje (fn)n=1 tj. fn = ΣNnk=1ankIIAnk z ank ∈ R a Ank ∈ F takie ,że fn(ω) → f(ω) dla wszystkich ω ∈ Ω jeśli n → ∞
Niezależność
Definicja 2.3.1. Niech (Ω,F,P) będzie przestrzenią probabilistyczną a fi : Ω → R , i ∈ I, będą zmiennymi losowymi gdzie I jest niepustym zbiorem indeksowanym. Rodzina (fi)i∈I jest nazywana niezależną, zakładając ,że dla wszystkich i1 , … in ∈ I, n = 1,2,… i wszystkich B1, … Bn ∈ B(R) mamy : P(fi1 ∈ B1, … fin ∈ Bn) = P(fi1 ∈ B1) … P(fin ∈ Bn). Mamy skończony zbiór indeksowany I, co oznacza ,że np. I = {1,…,n} wtedy powyższa definicja jest równoważna
Definicja 2.3.2 Niech (Ω F, P) będzie przestrzenią probabilistyczną a fi : Ω → R, i = 1, … ,n, zmiennymi losowymi. Zmienne losowe f1, … , n są nazywane niezależnymi pod warunkiem ,że dla wszystkich B1 , … , Bn ∈ B(R) mamy : P(1∈ B1, … , fn ∈ Bn) = P(f1 … B1) … P(fn ∈ Bn). Zdefiniowaliśmy już w Definicji 1.2.9 co oznacza ,że ciąg zdarzeń jest niezależny. Teraz przepiszemy ta definicje dla arbitralnej rodziny
Definicja 2.3.3. Niech (Ω, F, P) będzie przestrzenią probabilistyczną a I będzie niepustym zbiorem indeksowanym. Rodzina (Ai)i∈I, Ai ∈ F jest niezależna pod warunkiem ,że dla wszystkich i1, … , in ∈ I , n = 1,2,… mamy : P(Ai1 ∩ … ∩ Ain) = P(Ai1) … P(Ain). Połączenie między tymi powyższymi definicjami jest oczywiste:
Twierdzenie 2.3.4 Niech (Ω , F, P) będzie przestrzenią probabilistyczną a fi : Ω → R, i ∈ I, będą zmiennymi losowymi gdzie I jest niepustym zbiorem indeksowanym. Wtedy poniższe założenia są równoważne:
(1)Rodzina (fi)i∈I jest niezależne
(2)Dla wszystkich rodzin (Bi)i∈I zbiorów Borela Bi ∈ B(R) mamy ,że zadarzenia ({ω ∈ Ω : fi(ω) ∈ Bi})i∈I są niezależne
Czasami potrzebujmy grupy niezależnych zmiennych losowych. W odniesiniu do poniższych twierdzeń okazuje się to przydatne. Mówimy ,że g : Rn → R jest Borel - mierzalny pod warunkiem ,że g jest (B(Rn), B(R)) - mierzalne
Twierdzenie 2.3.5 Niech fk : Ω → , k = 1,2,3,… będa niezależnymi zmiennymi losowymi. Zakładamy funkcję Borela gi : Rni → R dla i = 1,2,… i ni ∈ {1,2,…}. Wtedy zmienne losowe g1(f1(ω), … fn1(ω)), g2(fn+1(ω), … fn1 + n2(ω)), g3(fn1 + n2(ω), … , fn1 + n2 + n3(ω)), … są niezależne
Twierdzenie 2.3.6. Załóżmy ,że (Ω F, P) jest przestrzenią probabilistyczną i ,że f,g : Ω → R są zmiennymi losowymi z prawami Pf i Pg i funkcjami rozkładu Ff i Fg, odpowiednio. Wtedy poniższe założenia są równoważne:
(1)f i g są niezależne
(2)P((f,g) ∈ B ) = (Pf x Pg)(B) dla wszystkich B ∈ B(R2)
(3)P(f ≤ x, g ≤ y) = Ff(x)Ff(y) dla wszystkich x,y ∈ R
Uwaga 2.3.7 Załóżmy ,że istnieją funkcje całkujące riemannowskie pf, pg : R → [0,∞ ) takie ,że : Rysunek 58 , dla wszystkich x ∈ R (mówimy ,że funkcje rozkładu Ff i Fg są absolutnie ciągłe z gęstościami pf i pg, odpowiednio). Wtedy niezależności f i g jest również równoważna do Rysunek 59. Innymi słowy: funkcja rozkładu wektora losowego (f,g) ma gęstość która jest iloczynem gęstości f i g. Czasami potrzebujemy istnienia ciągu niezależnych zmiennych losowych f1,f2, … : Ω → R ma pewien rozkład. Jak zbudować taki ciąg? Najpierw weźmy : Ω := RN = {x = (x1,x2,…) : xn ∈ R}. Potem definiujemy projekcję ∏n : RN → R daną przez ∏n(x) := xn, co oznacza ∏n filtrów poza n-tą współrzędna. Teraz weżmy najmniejszą σ-algebrę, taką, że wszystkie te projekcje są zmiennymi losowymi, co oznacza ,że biorąc : B(Rn) := σ(∏-1n(B) : n = 1,2,…B ∈ B(R)), widzimy Twierdzenie 1.1.5. W końcu, niech P1, P2 , … będą ciągami miar na B(R). Używając twierdzenia rozszerzania Caratheodory&prim;ego (Twierdzenie 1.2.14) znajdujemy jednoznaczną miarę probabilistyczną P na B(RN) taką ,że : P(B1 x B2 x … x Bn x R x R …) = P1( B1) … Pn( Bn), dla wszystkich n = 1,2,… i B1, … Bn ∈ B(R) gdzie : B1 x B2 x … x Bn x R x R … := {x ∈ RN : x1 ∈ B1, … xn ∈ Bn}
Twierdzenie 2.3.8 Niech (RN, B(RN), P) i πn : Ω → R będzie zdefiniowane jak powyżej. Wtedy (∏n)n=1 jest ciągiem niezależnych zmiennych losowych takie ,że prawo z ∏n to Pn, co oznacza ,że P(πn ∈ B) = Pn(B); dla wszystkich B ∈ B(R)
Dowód. Weźmy zbiory Borela B1, … , Bn ∈ B(R). Wtedy : Rysunek 60

Całkowanie

Biorąc pod uwagę przestrzeń probabilistyczną (Ω F , P) i zmienną losową f:Ω → R , zdefiniujemy wartość oczekiwaną lub całkę : Rysunek 61, i zbadamy jej podstawowe właściwości
Definiowane wartości oczekiwanej
Definiowanie całki jest wykonane w trzech krokach
Definicja 3.1.1 Przy danej przestrzeni probabilistycznej (Ω F, P) i F-mierzalnek, g : Ω → R z reprezentacją : Rysunek 62, gdzie αi ∈ R i Ai ∈ F, niech : Rysunek 63. Musimy sprawdzić czy ta definicja jest poprawna, ponieważ może być tak ,że różne reprezentacje dają różne wartości oczekiwane Eg/. Jednak nie jest to przypadek pokazany przez
Lemat 3.1.2 Zakładamy mierzalną funkcję schodkową : Rysunek 64
Dowód. Przez odjęcie w obu przypadkach prawej strony od lewej strony musimy tylko wykazać ,że : Rysunek 65/. Przez wzięcie wszystkich możliwych części wspólnych zbiorów Ai i przez dodanie właściwych uzupełnień znajdujemy układ zbiorów C1 , … ,CN ∈ F takiż ,że :
a)Cj ∩ Ck = ∅ jeśli j ≠ k
b)∪Nj=1 Cj = Ω
c)dla wszystkich Ai istnieje zbiór Ii ⊆ {1, … N} taki ,ze Ai = ∪j∈IiCj.
Teraz otrzymujemy : Rysunek 66, tak ,że γj = 0 jeśli Cj ≠ ∅. Z tego uzsykujemy Rysunek 67
Twierdzenie 3.1.3 Niech (Ω, F , P) będzie przestrzenią probabilistyczną a f,g : Ω → będą mierzalnym funkcjami schodkowymi. Przy danych α , β ∈ R mamy : E(αf + βg) - αEf + βEg
Dowód. Dowód wynika bezpośrednio z Lematu 3.1.2 i definicji wartości oczekiwanej funkcji krokowej , ponieważ: Rysunek 68
Definicja 3.1.4 Przy danej przestrzeni probabilistycznej (Ω F, P) i zmiennej losowej f : Ω → R z f(ω) ≥ 0 dla wszystkich ω ∈ Ω : Rysunek 69, g jest mierzalną funkcją schodkową. Zwróć uwagę ,że w tej definicji dozwolony jest przypadek Ef = ∞. W ostatnim kroku definiujemy wartość oczekiwaną dla ogólnej zmiennej losowej
Definicja 3.1.5 Niech (Ω ,F, P) będzie przestrzenią probabilistyczną ,f : Ω → będzie zmienną losową. Niech f+(ω) : max{f(ω), 0} i f-(ω) := max{-f(&mega;),0}
(1).Jeśli Ef+ < ∞ lub Ef- < ∞ , wtedy mówimy ,że wartość oczekiwana istnieje a zbiór Ef := Ef+ - Ef- ∈ [-∞ ∞]
(2).Zmienna losowa f jest nazywana całkowalną pod warunkiem że Ef+ < ∞ i Ef- < ∞
(3).Jeśli f jest całkowalna a A ∈ F , wtedy : Rysunek 70
Wyrażenie Ef jest nazywane nadzieją matematyczną lub wartością oczekiwaną zmiennej losowej f. Dla powyżej definicji zauważ , f+ (ω) ≥ 0, f-(ω) ≥ 0 , i f(ω) = f+(ω) - f-(ω)
Uwaga 3.1.6 W przypadku kiedy całkujemy funkcje w odniesieniu do miary Lebesgue wprowadzonej w części 1.3.4, wartość oczekiwana jest nazywana całką Lebesgue a całkowana zmienna losowa jest nazywana funkcjami całkującymi Lebesgue
Definicja 3.1.7 Niech (Ω F, P) będzie przestrzenią probabilistyczną a f: Ω → będzie zmienną losową. Wtedy σ2 = E[f -Ef]2 jest nazywana wariacją
Prostym przykładem nadziei matematycznej jest wartość oczekiwana podczas rzutu kostką
Przykład 3.1.8 Załóżmy ,że Ω {1,2,… 6} , F = 2Ω , i P({k}) := 1/6, co modeluje rzut kostką. Jeśli zdefiniujemy f(k) = k tzn. Rysunek 71
, wtedy f jest mierzalną funkcją schodkową i wynika z niej ,że : Rysunek 72
Podstawowe właściwości wartości oczekiwanej
Mówimy ,że właściwość P(ω) , w zależnośc od ω przechowuje P-prawie pewne lub prawie pewne jeśli : {ω ∈ Ω : P(ω) przechowuje}, należy do F i jest jej miarą. Zacznijmy od pewnej pierwszej właściwości oczekiwanej wartości
Twierdzenie 3.2.1 Załóżmy przestrzeń probabilistyczną (Ω, F ,P) i zmienne losowe f,g : Ω → R
1.Jeśli 0 ≤ f(ω) ≤ g(ω) , wtedy 0 ≤ Ef ≤ Eg
2.Zmienna losowa f jest całkowalna jeśli i tylko jeśli |f| jest całkowalna. W tym przypadku mamy : |Ef| ≤ E|f|
(3)Jeśli f = 0 , wtedy Ef = 0
(4)Jeśli f ≥ 0 i Ef = 0, wtedy f = 0
(5)Jeśli f = g i Ef istniej, wtedy Eg istnieje a Ef = Eg
Dowód. (1) wynika bezpośrednio z definicji. Właściwość (2) można widzieć tak : z definicji , zmienna losowa f jest całkowalna jeśli i tylko jeśli Ef+ < ∞ i Ef- < ∞ .Ponieważ : {ω ∈ Ω : f+(ω) ≠ 0} ∩ {ω ∈ Ω : f-(&omega) ≠ 0} = ∅
, a ponieważ oba zbiory są mierzalne, wynika ,że |f| = f+ + f- jest całkowalne jeśli i tylko jeśli f+ i f- są całkowalne i ,że |Ef| = |Ef+ - Ef-| ≤ Ef+ + Ef- = E|f|
(3) Jeśli f = 0 , wtedy f+ = 0 a f- = 0, tak więc możemy ograniczyć nasz przypadek f(ω) ≥ 0. Jeśli g jest mierzalną funkcją schodkową, z g = Σnk=akIIAk , g(ω) ≥ 0 i g = 0, wtedy ak ≠ 0 implikuje P(Ak) = 0. Zatem : Ef = sup{Eg : 0 ≤ g ≤ f , g jest mierzalną funkcją schodkową} = 0, ponieważ 0 ≤ g ≤ f implikuje g = 0. Właściwości (4) i (5) można opracować jako ćwiczenie. W kolejnym lemacie używa przybliżenia f , funkcji schodkowej.
Lemat 3.2.2 Niech (Ω ,F, P) będzie przestrzenią probabilistyczną a f : Ω → R będzie zmienną losową
(1).Wtedy istnieję ciąg mierzalnych funkcji schodkowych fn : Ω → R takich ,że dla wszystkich n = 1,2,… i dla wszystkich ω ∈ Ω
|fn(ω)| ≤ |fn+1(ω)| ≤ |f(ω| i f(ω) = limn→∞ fn(ω). Jeśli f(ω) ≥ 0 dla wszystkich ω ∈ Ω wtedy możemy ułożyć fn(ω) ≥ 0 dla wszystkich ω ∈ Ω
(2)Jeśli f ≥ 0 i jeśli (fn)n=1 jest ciągiem mierzalnych funkcji schodkowych z 0 ≤ fn(ω) ↑ f(ω) dla wszystkich ω ∈ Ω jeśli n → ∞ wtedy : Ef = limn→∞Efn
Dowód. (1)Łatwo jest zweryfikować ,ze funkcje schodkowe : Rysunek 73 w pełni wypełnia wszystkie wzarunki
(2)Biorąc : Rysunek 74, uzyskujemy 0 ≤ f0n(ω) ↑ f(ω) dla wszystkich ω ∈ Ω. Z drugiej strony, z definicji oczekiwanie istnieje sekwencja 0 ≤ gn(ω) ≤ f(ω) mierzalnych funkcji krokowych takich ,że Egn ↑ Ef. Zatem hn := max{f0n,g1, … ,gn} jest mierzalną funkcją schodkową z 0 ≤ gn(ω) ≤ hn(ω) ↑ f(ω), Egn ≤ Ehn ≤ Ef i limn→∞Egn = limn→∞Ehn = Ef
Rozważmy dk,n := fk ∧ hn. Wyraźnie , dk,n ↑ fk jeśli n → ∞ ↑ hn jeśli k → ∞ Niech zk,n := arctanEdk,n, tak więc 0 ≤ zk,n ≤ 1. Ponieważ (zk,n)k=1 jest rosnące dla stałego n i (zk,n)n=1 jest rosnące dla stałego k szybko sprawdzimy ,że : Rysunek 75 .Zatem : Rysunek 76 ,gdzie używamy faktu ,że : jeśli 0 ≤ φn(ω) ↑ φ(ω) dla funkcji schodkowych φn i φ, wtedy Rysunek 77 .Aby to sprawdzić, wystarczy założyć ,że φ(ω) = IIA(ω) dla pewnego A ∈ F. Niech ε &isin (0,1) i Bnε := {ω ∈ A : 1 - ε ≤ φn(ω)}. Wtedy (1-ε)IIBnε(ω) ≤ φn(ω) ≤ IIA(ω)
Ponieważ Bεn ⊆ Bn+1 i ∪n=1Bnε = A uzyskamy, z monotniczności miary, że limnP(Bεn) = P(A) ,tak więc (1- ε)P(A) ≤ limEφn. Ponieważ jest to prawda dla wszystkich ε > 0 otrzymujemy : Eφ = P(A) ≤ limEφn ≤ Eφ, i gotowe. Teraz będziemy kontynuować z tą samą podstawową właściwością nadziei matematycznej.
Twierdzenie 3.2.3 Niech (Ω, F , P) będzie przestrzenią probabilsityczną a f,g : Ω → R będą zmiennymi losowymi takimi ,że Ef i Eg istnieją
1.Jeśli Ef+ + Eg+ < ∞ lub Ef- + Eg- < ∞ wtedy E(f+g) + < ∞ lub E(f+g) - < ∞ a E(f+g) = Ef + Eg
2. Jeśli c ∈ R, wtedy E(cf) istnieje a E(cf) = cEf
3.Jeśli f ≤ g, wtedy Ef ≤ Eg
4.Jeśli f i g są całkowalne a s,b ∈ R , wtedy af + bg jest całkowalne aEf + bEg = E(af+bg)
Dowód (1) Rozważmy przypadek kiedy Ef+ + Eg+ < ∞ Z powodu (f+g) + ≤ f+ + g+ uzyskujemy , ze E(f+g) + < ∞ Co więcej , szybko sprawdzamy ,że (f+g) + + f- + g- = f+ + g+ + (f+g) -, tak więc Ef- + Eg- = &infn; jeśli i tylko jeśli E(f+g) - = ∞ jeśli i tylko jeśli Ef + Eg = E(f+g) = -∞ Zakładając ,że Ef- + Eg- < ∞ daje to E(f+g) - < ∞ i E(f_g) + + Ef- + Eg- = Ef+ + Eg+ =+ E(f+g) - (3.1), co implikuje ,że E(f+g) = Ef +Eg. Aby udowodnić (3.1) zakładamy zmienne losowe φ , ψ : Ω → R takie ,że &phil ≥ 0 u ψ ≥ 0. Znajdujemy mierzalne funkcje schodkowe (φnn=1 i (ψn)n=1 z 0 ≤ φn(ω) ↑ φ(ω) i 0 ≤ ψn(ω) ↑ ψ(ω) dla wszystkich ω ∈ Ω. Lemat 3.2.2, Twierdzenia 3.1.2 , i φn(ω) + ψn(ω) ↑ φ(ω) + ψ(ω) daje to : Rysunek 78
(2) jest ćwiczeniem.
(3) Jeśli Ef- = ∞ lub Eg+ = ∞ , wtedy Ef = -∞ lub Eg = ∞ tak więc nie ma nic do udowodnienia. Zatem zakładamy ,że Ef- < ∞ i Eg+ < ∞. Nierównośc f ≤ g daje 0 ≤ f+ ≤ g+ i 0 ≤ g- ≤ f- tak więc f i g są całkowalne i Ef = Ef+ - Ef- ≤ Eg+ - Eg- = Eg
(4) Ponieważ (af + bg) + ≤ |a||f| + |b||g| i (af + bg) - ≤ |a||f| + |b||g| otrzymujemy ,ze af + bg jest całkowalne. Równośc dla wartości oczekiwanych wynika z (1) i (2)
Twierdzenie 3.2.4 Niech (Ω F, P) będzie przestrzenią probabilistyczną a f, f1,f2, … : Ω → R będą zmiennym losowymi
(1)Jeśli 0 ≤ fn(ω) ↑ f(ω) , wtedy limnEfn = Ef
(2)Jeśli 0 ≥ fn(ω) ↓ f(ω) wtedy limnEfn = Ef
Dowód. Najpierw załóżmy : 0 ≤ fn(ω) ↑ f(ω) dla wszystkich ω ∈ Ω Dla każdego fn bierzemy ciąg funkcji krokowych (fn,k)k≥1 takich ,że 0 ≤ fn,.k ↑ fn jeśli k → ∞. Ustawiamy : hN := max fn,k [1 ≤ k ≤ N, 1 ≤ n ≤ N], uzyskując hN-1 ≤ hN ≤ max1≤n≤Nfn = fN. Definiujemy h := limN→∞hN. Dla 1 ≤ n ≤ N, mamy
fn,N ≤ hN ≤ fN
fn ≤ h ≤ f
i dlatego f = limn→∞fn ≤ h ≤ f. Ponieważ hN jest funkcją schodkową dla każdego N i hN ↑ f mamy z Lematu 3.2.2 limN→∞EhN - Ef i dlatego , ponieważ hN ≤ fN : Rysunek 79 . Z drugiej strony , fn ≤ fn+1 ≤ f umlikuje Efn ≤ Ef a zatem limn→∞Efn ≤ Ef
Teraz niech 0 ≤ fn(ω) ↑ f(ω). Z definicji oznacza to ,że 0 ≤ fn(ω) ↑ f(ω) dla wszystkich ω ∈ Ω \ A , gdzie P(A) = 0. Zatem 0 ≤ fn(ω)IIAC(ω) ↑ f(ω)IIAC(ω) dla wszystkich ω a wcześniejszy krok implikuje ,że limnEfnIIAC= EfIIAC
Ponieważ fnIIAC = fn i fIIAC = f, uzyskujemy E(fnIIAC) = Efn i E(fIIAC) = Ef z Twierdzenia 3.2.1.(5).
Założenie (2) wynika z (1) ponieważ 0 ≥ fn ↓ f implikuje 0 ≤ -fn ↑ -f
Następstwo 3.2.5. Niech (Ω , F, P) będzie przestrzenią probabilistyczną a g, f,f1, f2 , … : Ω → R będą zmiennymi losowym , gdzie g jest całkowalne. Jeśli
(1) g(ω) ≤ fn(ω) ↑ f(ω) lub
(2) g(ω) ≥ fn(ω) ↓ f(ω)
wtedy limn→∞ Efn = Ef
Dowód. Rozważmy (1). Niech hn := fn - g i h := f - g. Wtedy 0 ≤ hn(ω) ↑ h(ω)
Twierdzenie 3.2.4 implikuje ,że limnEhn = Eh. Ponieważ fn- i f- są całkowalne. Twierdzenie 3.2.3(1) implikuje ,że Ehn = Efn - Eg i Eh = Ef - Eg.
Twierdzenie 3.2.6 Niech (Ω F, P) będzie przestrzenią probabilistyczną a g, f1, f2, … : Ω → R będą zmiennymi losowymi z |fn(ω)| ≤ g(ω) . Załóżmy ,że g jest całkowalne. Wtedy lim sup fn i lim inf fn są całkowalne i mamy : Rysunek 80
Dowód. Udowodnimy, tylko pierwszą nierówność. Druga wynika z definicji lim sup i lim inf, trzecia może być udowodniona podobnie jak pierwsza. Więc mamy : Rysunek 81, tak ,że Zk ↑ lim infnfn i |Zk| ≤ g i |lim inf fn| ≤ g. Zastosowanie monotnicznej konwergwencji w postaci Następstwa 3.2.5 daje : Rysunek 82
Twierdzenie 3.2.7 Niech (Ω, F, P) będzie przestrzenią probabilistyczną a g,f,f1,f2, … : Ω → R będą zmiennymi losowymi z |fn(ω)| ≤ g(ω). Zakładamy ,że g jest całkowalne i ,że f(ω) = limn→∞fn. Wtedy f jest całkowalne i mamy Ef = limEfn.
Dowód. Zastosujemy lemat Fatou : Rysunek 83
W końcu , ustanowimy przydatny wzór dla niezależnej zmiennej losowej
Twierdzenie 3.2.8 Jeśli f i g są niezależne a E|f| < ∞ i E|g| < ∞ , wtedy E|fg| < ∞ i : Efg = EfEf.
Połączenie z całką Riemanna
W dwóch typowych sytuacjach sformuujemy (bez dowodu) jak nasza wartość oczekiwana połączona jest z całką Riemanna. Do tego celu używamy miary Lebesgue zdefiniowanej w części 1.3.4
Twierdzenie 3.3.1 Niech f : [0,21] → R będzie funkcją ciągła Wtedy : Rysunek 84, z całką Riemanna po lewej stronie i wartością oczekiwaną zmiennej losowej f w odniesieniu do przestrzenia probabilistycznej ([0,1], B([0,1]), λ), gdzie λ jest miarą Lebesgue, po prawej stronie
Teraz rozważmy funkcję ciągłą p : R → [0,∞) taką, że : Rysunek 85 i definiujemy miarę P na B(R) przez : Rysunek 86 dla -∞ ≤ a1 ≤ b1 ≤ … ≤ an ≤ bn ≤ ∞ (ponownie w konwencji ,że (a, ∞] = (a, ∞]) przez twierdzenie Caratheodory′ego (Twierdzenie 1.2.14) Funkcja p jest nazywaną gęstością miary P
Twierdzenie 3.3.2 Niech f : R → R będzie funkcją ciągła , taką ,że : Rysunek 87, z całką Riemanna po lewej stronie i wartością oczekiwana zmiennej losowej f w odniesieniu do przestrzeni probabilistycznej (R, B(R), P) po prawej stronie. Rozważmy dwa przykłady wskazujące różnice między całką Riemanna a naszą oczekiwaną wartością
Przykład 3.3.3 Podamy standardowy przykład funkcji, która ma wartość oczekiwaną, ale która nie jest całkowalna riemannowsko. Niech : Rysunek 88. Wtedy f nie jest całkowalna riemannowsko ale całkowalna Lebesgue z Ef = 1 jeśli używamy przestrzeni probabilistycznej ([0,1], B([0,1]), λ)
Przykład 3.3.4 Wyrażenie ; Rysunek 89, jest definiowany jako granica w sensie Reimannowski, chociaż : Rysunek 90. Przenosząc to na ustawienia probabilistyczne bierzemy rozkład wykładniczy z parametrem λ > 0 z części 1.3.6. Niech f : R → R będzie dana przez f(x) = 0 jeśli x ≤ 0 i f(x) := sinx/λx ⋅eλx jeśli x > 0 i przypominamy ,że rozkład wykładniczy μλ z parametrem λ > 0 jest dany przez gęstość pλ(x) = II[0,∞)(x)λe-λx. Powyższe daje : Rysunek 91. Zatem wartość oczekiwana f nie iestnieje, ale całka Riemanna daje sposób definiowana wartości, co ma sens. Celem tego przykładu jest to ,że całka Riemanna pobiera więcej informacji niż abstrakcyjna wartość oczekiwana
Zmiana zmiennych w wartości oczekiwanej
Chcemy udowodnić wzór zmiany zmiennej dla całek ∫ΩfdP. W wielu przypadkach tylko z tego wzoru jest możliwe obliczenie wartości oczekiwanej.
Twierdzenie 3.4.1 Niech (Ω , F , P) będzie przestrzenią probabilistyczną, (E, Ε) będzie przestrzenią mierzalną, φ : Ω → E będzie odwzorowaniem mierzalnym, a g : E → R będzie zmienną losową. Załóżmy ,że Pφ jest obrazem miary P w odniesieniu do φ , co oznacza : Pφ(A) = P({ω : φ(ω) ∈ A}) = P(φ-(A)) dla wszystkich A ∈ Ε
Wtedy ∫Ag(η)dPφ(η) = ∫φ-1(A)g(φ(ω))dP(ω) dla wszystkich A ∈ Ε w tym sensie ,że jeśli istnieje całka, pozostałe również istnieja a ich wartości są równe.
Dowód. (i) Mając g~(η) := IIA(η)g(η) mamy : g~(φ(ω)) = IIφ-1(A)(ω)g(φ(ω)), tak ,że wystarczy rozpatrzyć przypadek A = Ω .Zatem musimy wykazać ,że ∫Eg(η)dPφ(η) = ∫Ωg(φ(ω))dP(ω)
(ii) Ponieważ ,dla f(ω) := g(φ(ω) mamy ,że f+ = g+ o φ i f- = g- o φ jest wystarczające do rozważenia dodatniej części g i jej części ujemnej oddzielnie. Innymi słowy, możemy założyć ,że g(η) ≥ 0 dla wszystkich η ∈ E
(iii) Zakładamy teraz ciąg mierzalnych funkcji schodkowych 0 ≤ gn(η) ↑ g(η) dla wszystkich η ∈ E , które istnieją zgodnie z Lematem 3.2.2 tak ,że gn(φ(ω)) ↑ g(φ(ω)) dla wszystkich ω ∈ Ω . Możemy wykazać ,że ∫Egn(η)dPφ(η) = ∫Ωgn(φ(ω))dP(ω). Przez addytywność wystarczy sprawdzić gn(η) = IIB(η) dla penwego B ∈ E (jeśli jest to prawda dla tego przypadku, wtedy możemy pomnożyć przez liczby rzeczywiste i możemy wsiąść sumę a równość pozostaje prawdziwa). Teraz uzyskamy : Rysunek 92. Przyjrzyjmy się teraz dwóm przykładom
Przykład 3.4.2 Chcemy obliczyć pewne momenty. Niech (ΩF,P) będzie przestrzenią probabilistyczną a φ : Ω → R będzie zmienną losową. Niech Pφ będzie prawem φ i załóżmy ,że prawo to ma ciągłą gęstość p, co oznacza ,że mamy : Rysunek 93 dla wszystkich ∞ < a < b < ∞ gdzie p:R → [0,∞) jest funkcją ciągłą taką ,że ∫-∞p(x)dx = w używając całki Riemanna. Biorąc n ∈ {1,2,…} i g(x) := n uzyskamy : Rysunek 94, gdzie użyliśmy Twierdzenia 3.3.2
Przykład 3.4.3 Załóżmy ustawienia Twierdzenia 3.4.1 i ,że Rysunek 95,z pk ≥ 0, Σk=1pk = 1 i pewnym ηk ∈ E (to oznacza ,że obraz miary P w odniesieniu do φ jest 'dyskretny') .Wtedy : Rysunek 96
Twierdzenie Fubiniego
W tej części rozważymy całki iteracyjne, jakie pojawiają się bardzo często w zastosowaniach, i pokażemy w twierdzeniu Fubiniego ,że całki w odniesieniu do iloczynu miar ,które mogą być zapisane jako całki iteracyjne . W wielu przypadkach to zapewnia właściwe narzędzie dla obliczania całek. Zanim zaczniemy twierdzenie Fubiniego potrzebujemy małego przygotowania. Najpierw przypomnijmy sobie notację przestrzeni wektorowej.
Definicja 3.5.1 Zbiór L wyposażony w działania + : L x L → L i • : R x L → L jest nazywany przestrzenią wektorową nad R jeśli poniższe warunki są spełnione:
(1) x + y = y + x dla wszystkich x,y ∈ L
(2) x+(y+z) = (x+y) _+ z formuje wszystkie x,y,x ∈ L
(3) Istnieję 0 ∈ L takie ,że x + 0 = x dla wszystkich x ∈ L
(4) Dla wszystkich x ∈ L istnieje -x takie ,że x + (-x) = 0
(5) 1x = x
(6) α(βx) = (αβ)x dla wszystkich α,β ∈ R i x ∈ L
(7) (α + β) = αc + βx dla wszystkich α,β ∈ R i ∈ L
(8) α(x+y) = αx + αy dla wszystkich α ∈ R i x,y ∈ L
Zazwyczaj używamy notacji x-y := + (-y) i -x+y := (-x) + y itd, Teraz ustalimy Twierdzenie klasy monotonicznej. Jest to potężne narzędzie , przez które, na przykład, można udowodnić założenia mierzalności
Twierdzenie 3.5.2 Niech H będzie klasą funkcji ograniczonej z Ω do R spełniającą poniższe warunki:
(1) H jest przestrzenią wektorową nad R gdzie są używane naturalne operacje punktowe + i •
(2) IIΩ ∈ H
(3) Jeśli fn ∈ H , fn ≥ 0 i fn ↑ f, gdzie f jest ograniczona na Ω , wtedy f ∈ H
Wtedy mamy : jeśli H zawiera funkcję wskaźnikową każdego zbioru z pewnego πukładu I podzbiorów z Ω, wtedy H zawiera każdą ograniczoną σ(I)- mierzalną funkcję na Ω
Wygodne jest umożliwić ,aby zmienne losowe mogły pobierać nieskończone wartości.
Ω → R ∪ {-∞, ∞} jest nazywana rozszerzoną zmienną losową jeśli f-1(B) := {ω ; f(ω) ∈ B} ∈ F dla wszystkich B ∈ B(R)
Jeśli mamy nieujemną rozszerzoną zmienną losową, niech (na przykład) : Rysunek 97 .Warto przypomnieć ,że przestrzeń iloczynowa (Ω1 x Ω2, F1 ⊗ F2, P1 x P2) dwóch przestrzeni probabilistycznej (Ω1, F1, P1) i (Ω2, F2, P2) zdefiniowaliśmy w Definicji 1.2.15
Twierdzenie 3.5.4 Niech f : Ω1 x Ω2 → R będzie nieujemną F1 ⊗ F2 - mierzalną funkcją taką ,że ∫Ω1 x Ω2 f(ω1, ω2)d(P1 x P2)(ω1, ω2) < ∞ (3.2)
. Wtedy mamy następujące:
(1) Funkcje ω1 →; f(ω1, ω20) i ω2 → f(ω10, ω2) są F1 - mierzalną i F2 - mierzalną , odpowiednio, dla wszystkich ω0i ∈ Ωi
(2) Funkcje ω1 → ∫Ω2f(ω12)dP22) i ω2 → ∫Ω1f(ω12)dP11), są rozszerzonymi F1- mierzalną i F2-mierzalną, odpowiednio, zmiennymi losowymi.
(3) Mamy teraz: Rysunek 98. Powinniśmy odnotować ,że pozycja (3) razem ze wzorem (3.2) automatycznie implikuje ,że : Rysunek 99
Dowód Twierdzenia 3.5.4
(i) Po pierwsze przypomnijmy ,że wystarczające jest udowodnienie założenia dla fN1, ω2) := min {f(ω1, ω2), N}
, które jest ograniczona. Wyrażenia (1),(2) i (3) mogą być uzyskane przez N → ∞ jeśli użyjemy Twierdzenia 2.1.4 dla uzyskania koniecznej mierzalności i monotonicznej konwergencji w Twierdzeniu 3.2.4 dla uzyskania wartości całek. Zatem, możemy założyć ,że supω1, ω2f(ω12 < ∞
(ii) Chcemy zastosować Twierdzenie 3.5.2. Niech H będzie klasą ograniczonych mierzalnych funkcji F1 i F2 f ; Ω1 x Ω2 → R takie ,że
(a) funkjce ω1 → f(ω1, ω20) i ω2 → f(ω10, ω2) są F1 - mierzalne i F2-mierzalne, odpowiednio dla wszystkich ωi0 ∈ Ωi
(b) funkcje ω1 → ∫Ω2f(ω1, ω2)dP22) i ω2 → ∫Ω1f(ω1, ω2)dP11) są F1 - mierzalna i F2-mierzalna , odpowiednio
(c) mamy : Rysunek 100. Ponownie , używają Twierdzeń 2.1.4 i 3.2.4 widzimy ,że H spełnia założenia (1), (2) i (3) Twierdzenia 3.5.2. Przy π-układzie I weźmy układ wszystkich F = A x B z A ∈ F1 i B ∈ F2. Pryz f(ω1, ω2 = IIA1)IIBω2) łatwo możemy sprawdzić że f ∈ H. Na przykład ,własność (c) wynika z : Rysunek 101. Stosując twierdzenie klasy monotonicznej 3.5.2 daje nam H składające się ze wszystkich funkcji ograniczonych f : Ω1 x Ω2 & rarr; R mierzalne w odniesieniu do F1 x F2. Teraz ustanowimy twierdzenie Fubiniego dla ogólnych zmiennych losowych f : Ω1 x Ω2 → R
Twierdzenie 3.5.5 Niech f : Ω1 x Ω2 & rarr; R będzie F1 ⊗ F2 - mierzalną funkcją taką ,że ∫Ω1 x Ω2 |f(ω1, ω2|d(P1x P2)(ω1 , ω2) < ∞ (3.3)
Wtedy:
(1) Funkcje ω1 → f(ω1, ω02) i ω2 → f(ω10, ω2) są odpowiednio, F1 - mierzalna i F2 - mierzalna dla wszystkich ω0i ∈ Ωi
(2) Jest Mi ∈ Fi z Pi(Mi = 1 takie ,że całki : Rysunek 102 istnieją i są skończone dla wszystkich ω0i ∈ Mi
(3) Przekształcenia : Rysunek 103 ,są odpowiednio F1 - mierzalną i F2 - mierzalną zmienną losową
(4) Mamy : Rysunek 104
Przypomnenie 3.5.6
(1) Rozumujemy, że zapis , na przykład, takiego wyrażenia : IIM22) ∫Ω1f(ω12)dP11), rozpatrujemy tylko i obliczamy całkę tylko dla ω2 ∈ M2
(2) Wyrażenie w (3.2) i (3.3) mogą być zastąpione przez : Rysunek 105, i takie samo wyrażenie z |f(ω1, ω2| zamiast f(ω12), odpowiednio
Dowód. Twierdzenie wynika z dekompozycji f = f+ = f- i zastosowania Twierdzenia 3.5.4. Poniżej pokazujemy jak obliczyć całkę : Rysunek 106, z twierdzenia Fubiniego
Przykład 3.5.7 Niech f : R x R będzie nieujemną funkcją ciągłą. Twierdzenie Fubiniego zastosowane do rozkładu jednostajnego na [-N,N] , N ∈ {1,2,…} daje : Rysunek 107, gdzie λ jest miarą Lebesgue. Przy f(,y) := e-(x2+y2) , mamy : Rysunek 108 .Dla lewej strony otrzymujemy : Rysunek 109, a dla prawej strony : Rysunek 110 , gdzie użyliśmy współrzędnych biegunowych. Porównanie obu stron daje nam : Rysunek 111. Przy okazji wykazaliśmy ,że miara Gaussa jest "poprawna"
Twierdzenie 3.5.8 Dla σ > 0 i m ∈ R niech Rysunek 112 .Wtedy ∫Rpm,σ2(x)dx = 1, ∫Rxpm,σ2(x)dx = m i ∫R(x-m)2pm,σ2(x)dx = σ2 (3.4)
Innymi słowy: jeśli zmienna losowa f : Ω → R ma prawo normalnego rozkładu Nm,σ2 wtedy Ef = m i E(f-Ef)2 = σ2
Dowód. Przez zmiane zmiennej x → m + σx wystarczy pokazać wyrżenia dla m = 0 i σ 1. Po pierwsze przez wstawienie x = z/√2 otrzymujemy : Rysunek 113, gdzie używamy Przykładu 3.5.7 tak ,że ∫Rp0,1(x)dx = 1. Po drugie, ∫Rxp0,1(x)dx = 0 wynika z symetrii gęstości p0,1 = p0,1(-x). W końcu, z częściowego całkowania (używamy (xexp(-x2/2))′ = exp(-x2/2) - x2exp(-x2/2)) można również wyliczyć ,że : Rysunek 114
Przykład 3.5.9 Niech Ω = [-1,1] x [-1,1] a μ będzie rozkładem jednostajnym na [-1,1] . Funkcja f(x,y) := xy/(x2 + y2)2 dla (x,y) ≠ (0,0) i f(0,0) := 0 nie jest całkowalna na Ω, chociaż całki iteracyjne istnieją i są równe .Faktycznie : Rysunek 115. Z drugiej strony używając współrzędnych biegunowych otrzymujemy : Rysunek 116. Ta nierówność trwa ponieważ po prawej stronie całkujemy tylko obszar {(x,y) : x2 + y2 ≤ 1} , który jest podzbiorem [-1,1] x [-1,1] a Rysunek 117 wynika z symetrii argumentu
Pewne nierówności
Twierdzenie 3.6.1 Niech f będzie nie ujemną całkowalną zmienną losową zdefiniowaną na przestrzenie probabilistycznej (Ω F, P) .Wtedy dla wszystkich λ > ) : P({ω f(ω) ≥ λ }) ≤ Ef / λ
Dowód,. Po prostu mamy : &lmabda;P({ω:f(ω) ≥ λ}) = λEII{f≥λ} ≤ EfII{f≥λ} ≤ Ef
Definicja 3.6.2 Funkcja g : R → R jest wypukła jeśli i tylko jeśli g(px+(1-p)y) ≤ pg(x) + (1-p)g(y) dla wszystkich 0 < p < 1 i wszystkich x ,y ∈ R .Każda funkcja wypukła g:R → R jest (B(R), B(R)) - mierzalna
Twierdzenie 3.6.3. Jeśli g : R → R jest wypukła a f:Ω → jest zmienną losową z E|f| < ∞ wtedy g(Ef) ≤ Eg(f), gdzie wartość oczekiwana po prawej stronie może być nieskończonością.
Dowód. Niech x0 = Ef. Ponieważ g jest wypukła, znajdujemy "linię wsparcia" , co oznacza a,b ∈ R takie ,że ax0 + b = g(x0) i ax + b ≤ g(x) dla wszystkich x ∈ R. Wynikaz z af(ω) + b ≤ g(f(&omegal)) dla wszystkich ω ∈ Ω i g(Ef) = aEf + b = E(af+b) ≤ Ef(f)
Przykład 3.6.4
(1) Funkcja g(x) := |x| jest wypukła tak ,że dla całkowalnego f : |Ef| ≤ E|f|
(2) Dla 1 ≤ p < ∞ funkcja g(x) := |x|p jest wypukła , tak że nierówność Jensena zastosowana do |f| daje : (E|f|)p ≤ E|f|p. Dla drugiego przypadku w powyższym przykładzie, istnieje inny sposób zrobienia tego. Używamy słynnej nierówności Höledra
Twierdzenie 3.6.5 Zakładamy przestrzeń probabilistyczną (Ω , F , P) i zmienne losowe f,g : Ω → R. Jeśli 1 ≤ p,q < ∞ przy 1/p + 1/q = 1, wtedy E|fg| ≤ (E|f|p)1/p(E|g|q)1/q
Dowód. Załóżmy ,że E|f|p > 0 i E|g|q > ). Na przykład, zakładając E|f|p = 0 będzie implikowało |f|p = 0 zodnie z Twierdzeniem 3.2.1 tak ,że fg = 0 a E|fg| = 0. Zatem możemy ustawić Rysunek 118 .Zauważmu ,że xayb ≤ ax + by , dla x,y ≥ 0 i dodatnich a,b z a+b = 1, co wynika z wklęsłości logarytmu (możemy założyć na chwilę, że x,y > 0) : ln(ax + by) ≥ a ln x + blny = lnxa + lnyb = lnxayb. ustawiamy x := |f~|p , y := |g~|q , a := 1/p i b := 1/q , otrzymujemy |f~g~| = xayb ≤ ax + by = 1/p⋅|f~|p + 1/q⋅|g~|q i E|f~g~| = E|fg| / (E|f|p)1/p(E|g|q)1/q
Następstwo3.6.6 Dla 0 < p < q < ∞ mamy (E|f|p)1/p ≤ (E|f|q)1/q
Następstwo 3.6.7 Niech (an)n=1 i (bn)n=1 będą ciągami liczb rzeczywistych. Wtedy Rysunek 119
Dowód. Wystarczy udowodnić nierówność dla skończonych ciągów (bn)Nn=1 ponieważ przez N → ∞ uzyskujemy pożądaną nierówność dla nieskończonych ciągów. Niech Ω = {1,…, N} , F := 2Ω , i P{(}k}) := 1/N .Definiując f,g : Ω → przez f(k) := ak i g(k) := bk otrzymujemy : Rysunek 120 z Twierdzenia 3.6.5. Mnożąc prze N i przy N → ∞ dostajemy nasze założenie.
Twierdzenie 3.6.8 : Zakładamy przestrzeń probabilistyczną (Ω , F, P), zmienne losowe f,g ; Ω → R i 1 ≤ p < ∞ . Wtedy (E|f+g|p)1/p ≤ (E|f|p)1/p + (E|g|p)1/p (3.6)
Dowód. Dla p = 1 nierówność wynika z |f+g| ≤ |f| + |g| .Więc zakładamy ,że q < p < ∞ .Wklęsłoś z → |x|p daje : |a+b/2|p ≤ |a|p + |b|p/ 2 i (a+b)p ≤ 2p-1(ap + bp) dla a,b ≥ 0. W konsekwencji, |f+g|p ≤ (|f| +|g|)p ≤ 2p-1(|f|p + |g|p) i : E|f+g|p ≤ 2p-1(E|f|p + E|g|p) . Zakładając teraz ,że (E|f|p)1/p + (E|g|p)1/p < ∞, w przeciwnym razie nie istniej dowód, otrzymujemy E|f+g|p < ∞ jak również przez powyższe rozważania. Biorąc 1 < q < ∞ przy 1/p + 1/q = 1 kontynuujemy przez : Rysunek 121, gdzie użyliśmy nierówności Höldera. Ponieważ (p-1)q = p (3.6) wynika z dzielenia powyższej nierówności przez (E|f+g|p)1/q i biorąc pod uwagę 1 - 1/q = 1/p
Następstwo Niech f będzie losową zmienną zdefiniowaną na przestrzeni probabilistycznej (Ω,F,P) takiej ,że Ef2 < ∞> Wtdy mamy , dla wszytskich λ > 0 : Rysunek 122
Dowód . Z następstwa 3.6.6 otrzymujemy ,że E|f| < ∞ wię Ef istnieje. Stosując Twierdzenie 3.6.1 do |f - Ef|2 mamy : Rysunek 123. W końcu używamy E(f-Ef)22 - (Ef)2 ≤ Ef2

Tryby zbieżności

Defnicje
Definicja 4.1.1 Nich (Ω, F, P) będą przestrzenią probabilistyczną a f,f1, f2 ,… : Ω → R będą zmiennymi losowymi
(1) Ciąg (fn)n=1 jest zbieżny prawie pewnie lub z prawdopodobieństwem 1 do f (fn → f lub fn & rarr; f P) jeśli i tylko jeśli : P({ω :fn(ω) → f(ω) jeślli n → ∞}) = 1
(2) Ciąg (fn)n=1 jest zbieżny z prawdopodobieństwem do f jeśli i tylko jeśli dla wszystkich ε > 0 ma : P({ω : |fn(ω) - f(ω)| > ε }) → 0 jeśli n → ∞
(3) Jeśli 0 < - < ∞ wtedy ciąg (fn)n=1 jest zbieżny w odniesieniu do Lp lub w średniej Lp do f jeśli i tylko jeśli : E|fn - f|p → 0 jeśli n → ∞ . Dla powyższych typów konwergencji zmiennych losowych muszą być zdefiniowane na tej samej przestrzeni probabilistycznej. Istnieją warianty bez tego założenia.
Definicja 4.1.2 Niech (Ωn,Fn,Pn) i (Ω,F,P) będą przestrzeniami probabilistycznymi i niech fn : Ωn → R i f: Ω → R będą zmiennymi losowymi. Wtedy ciąg (fn)n=1 jest zbieżny w rozkładzie do f jeśli i tylko jeśli : Eψ(fn) → ψ(f) jeśli n → ∞ dla wszystkich wszystkich ograniczonych funkcji ciągłych ψ : R → R
Twierdzenie 4.1.3. Niech (Ω, F, P) będzie przestrzenią probabilistyczną a f,f1, f2,… : Ω → R będą zmiennymi losowymi
(1) Jeśli fn → f , wtedy fn →P f
(2) Jeśli 0 < p < ∞ a fn →Lp f, wtedy fn →P f
(3) Jeśli fn →P f, wtedy fn →d f
(4) fn →d f jeśli i tylko jeśli Ffn(x) → Ff(x) w każdym punkcie x ciągłości Ff(x) gdzie Ffn i Ff są funkcjami rozkładu fn i f, odpowiednio
(5) Jeśli fn →P f ,wtedy istnieje podciąg 1 ≤ n1 < n2 < n3 … taki ,że fnk → f jeśli k → ∞
Przykład 4.1.4 Zakładamy ([0,1], B([0,1]), λ) gdzie λ jest miarą Lebesgues. Bierzemy : Rysunek 124. To implikuje limn→∞fn(x) (nie)&rar; 0 dla wszystkich x ∈[0,1]. Ale przechowuje konwergencję w prawdopodobieństwie fn →(λ) 0 ; wybierając 0 < ε < 1 uzyskujemy : Rysunek 125
Niektóre zastosowania
Zaczniemy od dwóch podstawowych przykładów zbieżności z prawdopodobieństwem i zbieżności prawie pewnej, słabe prawo dużych liczb i silnego prawa wielkich liczb
Twierdzenie 4.2.1 Niech fn)n=1 będzie ciągiem niezależnych zmiennych losowych z Ef1 = m i E(f1-m)2 = σ2. Wtedy f1 + … + fn/ n →(P) m jeśli n → ∞, to znaczy , dla każdego ε > 0 : Rysunek 126
Dowód. Z nierówności Czebyszewa (Następstwo 3.6.9) mamy : Rysunek 127, jeśli n → ∞
Twierdzenie 4.2.2 Niech (fn)n=1 będzie ciągiem niezależnych zmiennych losowych z Efk = 0 , k = 1,2, … a c := supnEf4n < ∞. Wtedy f1 + … + fn/ n → 0
Dowód. Niech Sn := Σnk=1 fk . Mamy : Rysunek 128, ponieważ dla różnych {i,j,k,l} mamy Rysunek 129 przez niezależność. Na przykład, Efif3j = Efifj3 = 0 ⋅ Efj3 = 0, gdzie uzyskujemy fj3 jest całkowalna przez E|fj|3 ≤ (E|fj|4)3/4 ≤ c3/4. Co więcej, z nierówności Jensena : (Efk2)2 ≤ fk4 ≤ c
Stąd Efk2fl2 = Efk2Efl2 ≤ c dla k ≠ l. W konsekwencji : ESn4 ≤ nc + 3n(n-1)c ≤ 3cn2, i : Rysunek 130. To implikuje że Sn4 / n4 → 0 i dlatego Sn / n → 0. Istnieje kilka silnych praw dużych liczb, z innymi, szczególnie słabszymi warunkami. Inny zbiór wyników powiązanych ze zbieżnością prawie pewną, pochodzi ze prawa Kołomogorowa 0-1. Np. wiemy ,że Σn=1 1/n = ∞ ale że Σn=1 ⋅ (-1)n/n jest zbieżne. Co się stanie jeśli będziemy wybierać znaki +, - losowo, na przykład używając niezależnych zmiennych losowych εn , n = 1,2, … przy P({ω:εn(ω) = 1}) = P({ω : εn(ω) = -1}) = 1/2, dla n = 1,2,…. Odpowiada to przypadkowi wybierania + i - zgodnie z rzutem monety. Wstawiamy : Rysunek 131. Prawo 0-1 Kołogomorowa daje nam niespodziewaną informację a-priori ,że 1 lub 0. Innymi narzędziai możemy sprawdzić ,że faktycznie P(A) = 1. Dla sformułowania prawa 0-1 Kołogomorowa potrzebujemy
Definicja 4.2.3. Niech fn : Ω → R będzie ciągiem przekształceń. Wtedy : Rysunek 132. σ-algebra T jest nazywana tail-σ- algebrą ciągu (fn)n=1
Twierdzenie 4.2.4 [Prawo 0-1 Kołogomorowa] Niech (fn)n=1 będzie ciagiem niezależnych zmiennych losowych. Wtedy P(A) ∈ {0,1} dla wszystkich A ∈ T
Przykład 4.2.5 Wróćmy do zbioru A rozpatrywanego w (4.1). Dla wszystkich n ∈ {1,2,…} mamy Rysunek 133, tak więc A ∈ T
Zakończymy fundamentalnym przykładem dotyczącym zbieżności w rozkładzie : Centralne Twierdzenie Graniczne (CLT). Do tego potrzebujemy
Definicja 4.2.6 Niech (Ω, F, P) będą przestrzeniami probabilistycznymi. Ciąg niezależnych zmiennych losowych fn : Ω → R jest nazywany rozkładem identycznym (i.i.d) pod warunkiem ,że zmienne losowe fn mają te same prawa, co oznacza : P(fn ≤ λ) = P(fk ≤ λ) dla wszystkich n,k = 1,2, … i wszystkich λ ∈ R. niech (Ω, F, P) będzie przestrzenią probabilistyczną a (fn)n=1 będzie ciągiem i.i.d. zmiennych losowych z Ef1 = 0 i Ef12 = σ2. Z prawa dużych liczb wiemy ,że f1 + … + fn/ n →(P) 0. Zatem prawa granicy jest miarą Diraca δ0. Czy istnieje poprawny współczynnik skalowania c(n) taki ,że f1 + … +fn/c(n) → g, gdzie g jest nie zdegenerowaną zmienna losową w tym sensie ,że Pg ≠ δ0? I w jakim sensie zbieżność ma miejsce?. Odpowiedź jest następująca
Twierdzenie 4.2.7 [Centralne Twierdzenie Graniczne] Niech (fn)n=1 będzie ciągiem i.i.d zmiennych losowych z Ef1 = 0 i Ef12 = σ2 > 0 .Wtedy : Rysunek 134, dla wszystkich x ∈ R jeśli n → ∞ , co oznacza ,że f1 + … + fn/ σ√n →(d) g, dla dowolnego g z P(g ≤ x) = ∫x-∞ e-u2/2 du