Variabili casuali

Variabili casuali
	Tipo: esercitazione
	Materia: Teoria dei segnali e dei fenomeni aleatori
	Programma: [[{{{programma1}}}]]
	Programma: [[{{{programma2}}}]]
	Programma: [[{{{programma3}}}]]
	Programma: [[{{{programma4}}}]]

Le variabili casuali sono funzioni che permettono di associare un numero al risultato di un esperimento. Questo viene fatto per riportare tutto in uno spazio matematico, in cui poter usare tutti gli strumenti matematici noti.

Esempio: '

Consideriamo come esempio il caso in cui si vuole monitorare l'apertura e la chiusura di 100 porte di un centro commerciale. Se vediamo lo spazio di probabilità classico, avremo, considerando una sola porta, $Omega = { text{aperta}, text{chiusa} }$. Queste porte potrebbero essere indipendenti.

Cosiderando lo spazio a 100 dimensioni,

$Omega^prime = { (P_1,P_2, cdots , P_{100}) in Omega_1 times Omega_2 times cdots times Omega_{100}}$

Se voglio solo conoscere il numero medio di aperture, basta definire una funzione, la nostra variabile casuale, che, dato il vettore di 100 elementi, ci restituisce il numero di porte aperte. Abbiamo spostato il problema da uno spazio complicato a dei semplici valori in $mathbb{R}$ di solito, in questo caso in $mathbb{N}$.

Definizione: Funzione misurabile

Dati due spazi misurabili $(Omega, F)$ e $(Omega', F')$, una funzione

$g:Omega rightarrow Omega'$

si dice misurabile se $forall A' in F'$, la controimmagine di $A'$ attraverso $g( cdot )$ appartiene ad $F$.

Un boreliano $B in mathbb{B}(mathbb{R})$ è ad esempio un insieme della forma $(a,b],[a,b],(a,b)$ con $a<b$. La condizione di misurabilità

${ sin Omega t.c. X(s) in B' } in F forall B' in mathbb{B}(mathbb{R})$

consente di attribuire una probabilità agli eventi specificati dai valori assunti dalla variabile casuale.

Esempi: '

1. $X<b$
2. $a<X<b$

Questo perché $X le b$ va inteso come

${ s in Omega | X(s) le b }$

e la condizione di misurabilità di $X$ sommato al fatto che $(-infty,b]$ è un boreliano assicurano che ${ s in Omega | X(s)le b }$ sia un evento in $F$. Allora, si potrà scrivere che

$P(X le b) hat{=} P({sin Omega t.c. X(s) in (-infty,b]})$

Questo è ben definito, perché

• $P:Frightarrow [0,1]$
• $A in F$.

Se la funzione misurabile è effettivamente una variabile casuale, per ogni evento nello spazio di arrivo possiamo trovare una controimmagine nello spazio di probabilità originario. Nella controimmagine $A$ abbiamo definito la probabilità, quindi è possibile trovare sempre un valore di probabilità associato al valore della variabile casuale e viceversa. Quello che non deve succedere è che, tornando indietro, venga generata una controimmagine che non appartiene ad $F$.

Funzione indicatrice

Definizione: Funzione indicatrice

Dato lo spazio di probabilità ${Omega, F, P}$, consideriamo l'evento $A in F$ come l'unico evento che ci interessa. Definita la funzione indicatrice

$X:Omega rightarrow mathbb{R}$

come

$X(s) = left{ begin{matrix} 1 & sin A \ 0 & s in bar{A} end{matrix}right.$

Verifichiamo che $X$ è una variabile casuale.

Consideriamo il generico boreliano $B' in mathbb{B}(mathbb{R})$ e determiniamo la controimmagine data da ${ s in Omega | X(s) in B' }$. Graficamente...

Avremo che

$B = {s in Omega t.c. X(s) in B^prime } = left{ begin{matrix} A & 0 notin B, 1 in B^prime \ bar{A} & 0 in B^prime, 1 notin B^prime \ varnothing & 0,1 notin B^prime \ Omega & 0,1 in B^prime end{matrix}right.$

$X(s)$ è indicata anche come $I_A(s)$ ed è detta funzione indicatrice dell'evento A.

A conclusione di questo, dato che

$B in F forall B' in F'$

allora $I_A(cdot)$ è una variabile casuale.

Notare che l'immagine di $Omega$ attraverso $I_A(cdot)$ è un insieme finito, quindi $X$ è una variabile casuale discreta.

Esempio: Lancio una moneta

$Omega = {T,C}$

$F={ T, C, Omega, varnothing}$

$P:F rightarrow [0,1]$ con $P({T}) = P({C}) = frac{1}{2}$

Consideriamo X come:

$X(s) = left{ begin{matrix} 1 & s=T \ 0 & s=C end{matrix}right.$

$B={s in Omega t.c. X(s) in B} = left{begin{matrix} Omega & 0,1 in B' \ varnothing & 0,1 notin B' \ T & 1 in B', 0 notin B' \ C & 0 in B', 1 notin B' end{matrix} right.$

$B in F forall B' in mathbb{B(R)} = F' Rightarrow X text{ è una variabile casuale }$

Come si può verificare che $X:Omega rightarrow mathbb{R}^n$ definita su uno spazio di probabilità sia una variabile casuale? La verifica basata sulla definizione appena vista è onerosa, perché bisogna considerare tutti i boreliani $B' in mathbb{B(R)}$ e calcolare le controimmagini attraverso $X$, verificando che appartengano a $F$. Il seguente lemma permette di restringere la verifica ad un sottoinsieme di boreliani.

Lemma: '

Sia $xi$ una collezione di insiemi in $mathbb{R}$ tali che $sigma(xi) = mathbb{B(R)} = F'$. Dato lo spazio di probabilità ${Omega, F, P}$, condizione necessaria sufficiente affinché $X:Omega rightarrow mathbb{R}^n$ sia una variabile casuale è che

${ s in Omega t.c. X(s) in E } in F forall E in xi$

Se uno spazio è discreto, basta definire le probabilità sugli eventi elementari della $sigma$-algebra. Se $Omega$ è continuo, è impossibile definire le probabilità per ogni elemento della $sigma$-algebra. Avevamo definito una probabilità su un'algebra che ci permette di generare la $sigma$-algebra di interesse, in modo tale da estendere la misura di probabilità alla $sigma$-algebra. La stessa cosa accade qui: andiamo a trovare la controimmagine per un sottoinsieme di boreliani, e possiamo poi estendere a tutti gli eventi che sono nell'insieme boreliano. È la stessa cosa. Usiamo la funzione X per generare il nostro sottoinsieme di eventi, verifichiamo che esistano le controimmagini sul sottoinsieme definito ed abbiamo finito.

Abbiamo visto che $mathbb{B(R)}$ può essere costruita come la più piccola $sigma$-algebra che contiene insiemi del tipo $(-infty,b] in mathbb{R}$. Dati quindi ${ Omega, F, P }$ e $X:Omega rightarrow mathbb{R}$, $X$ è una variabile casuale se

${ s in Omega t.c. X(s) le b } in F forall b in mathbb{R}$

Esempio: '

${ Omega, F, P}$

$Ain F$

$X(s)= I_A(s) = left{begin{matrix} 1 & s in A \ 0 & s in bar{A} end{matrix}right.$

$B={sin Omega t.c. X(s) le b} = left{begin{matrix} Omega & b ge 1 \ bar{A} & 0 le b < 1 \ varnothing & b < 0 end{matrix}right.$

Esercizio: Esercizio per lo studente

Dato $(mathbb{R}, mathbb{B(R)}, P)$, verificare che $X(s) = s^2$ è una variabile casuale, usando quest'ultimo metodo. La soluzione dell'esercizio si trova alla pagina soluzione.

Se abbiamo una variabile casuale n-dimensionale, allora abbiamo n variabili casuali e viceversa. Questo non vuol dire che se abbiamo la densità congiunta di due variabili casuali possiamo verificare l'indipendenza: bisogna prima calcolare le marginali e lavorare su quelle.

Teorema: '

Consideriamo la variabile casuale n-dimensionale X su

${Omega, F, P} | X : Omega rightarrow mathbb{R}^n$

misurabile da $(Omega, F)$ a $(mathbb{R, B(R}^n))$, X ha n componenti lungo gli assi coordinati

$X = (X_1, X_2, cdots, X_n)$ con $X_i : Omega rightarrow mathbb{R}$

allora ogni componente $X_i$ è una variabile casuale.

Dimostrazione: '

Sia $B in mathbb{B(R)}$. Dimostriamo che

${s in Omega | X(s) in B } in F rightarrow (l,F,P)$

Vale

$X_i(s) in B Leftrightarrow X_1(s) in mathbb{R}, X_2(s) in mathbb{R}, cdots X_n(s) in mathbb{R}$

Questo è vero se e solo se

$X(s) = (X_1(s), X_2(s), cdots X_n(s)) in mathbb{R times R times cdots times R}$

Da cui si deve avere

$B = mathbb{R times cdots times B times cdots R} in mathbb{B(R}^n) Rightarrow {s in Omega | X(s) in B' } in F$

cioè

${s in Omega | X_i(s) in B} = {s in Omega|X(s) in B' } in F$

da cui segue la tesi.

Dimostrazione del viceversa: '

Se consideriamo n variabili casuali

$X_1, X_2, cdots X_n$

definite su

$(Omega, F, P) | X_i : Omega rightarrow mathbb{R}$

misurabili da $(Omega, F)$ a $(mathbb{R,B(R}^n))$, allora il vettore

$(X_1, X_2, cdots X_n)$

è una variabile casuale n-dimensionale. Questa verifica è banale ed è lasciata per esercizio.

Distribuzioni delle variabili casuali

Definizione: Distribuzione di una variabile casuale

Dato $(Omega, F, P)$, sia $X$ una variabile casuale, $X : Omega rightarrow mathbb{R}$. Si defisce funzione di distribuzione della variabile casuale $X$

$F_X : mathbb{R} rightarrow [0,1]$

data da

$F_X(alpha) = P(X le alpha) = P({ s in Omega | X(s) le alpha})$

È esattamente la stessa cosa che avevamo fatto per la funzione di distribuzione delle distribuzioni di probabilità.

Nella maggior parte dei casi la $F_X$ si definisce direttamente nella definizione di variabile casuale.

La distribuzione di probabilità $F_X$ soddisfa le seguenti proprietà:

1. $F_X$ è non decrescente
2. $F_X(-infty) = lim_{alpha rightarrow -infty} F_X(alpha) = 0$
3. $F_X(infty) = lim_{alpha rightarrow infty} F_X(alpha) = 1$
4. $F_X(alpha^+) = lim_{epsilon rightarrow 0^+} F_X(alpha + epsilon) = F_X(alpha) forall alpha in mathbb{R}$, cioè $F_X$ è continua a destra;
5. $F_X$ ammette limite sinistro, ossia

$exists lim_{epsilon rightarrow 0^+}F_X(alpha-epsilon) = F_X(alpha^-)$

Tutte le funzioni che soddisfano queste proprietà sono funzioni di distribuzione della variabile casuale $X$.

Abbiamo visto che ad ogni funzione di distribuzione $F_X$ su $mathbb{R}$ è associata una ed una sola misura di probabilità $P$ che soddisfa $P left( left( a , b right) right) = F ( b ) - F ( a )$. Per estensione, indichiamo con $P_X$ la misura di probabilità associata alla $F_X$,

$P_X : mathbb{B(R)} rightarrow [0,1]$

è la misura di probabilità su $(mathbb{R,B(R)})$ tale che

• $P_X((a,b]) = F_X(b) -F_X(a)$
• $P_X((-a,b)) = F_X(b)$

Proprietà di $P_X$ e $F_X$:

• $P_Xleft( left{ a right} right) = F_X(a) -F_X(a^{-})$
• $P_X left( left[ a,b right] right) = F_X ( b ) - F_X ( a^{-} )$
• $P_Xleft( left( a,bright) right) = F_X(b^{-}) - F_X(a)$
• $P_Xleft( left[a,bright)right) = F_X(b^{-}) - F_X(a^{-})$

Teorema: Teorema di esistenza della variabile casuale

Data una funzione di distribuzione $F$ su $mathbb{R}$, si può definire su $(mathbb{R,B(R)})$ una misura di probabilità $P$ e su $(mathbb{R,B(R)},P)$ una variabile casuale $X$ che ammette $F$ come funzione di distribuzione.

Dimostrazione: '

Sia $P$ la misura di probabilità su $(mathbb{R,B(R)})$ tale che

$P((a,b]) = F(b)-F(a) text{ con }a,b in mathbb{R} a < b$

Sappiamo che essa esiste ed è unica. Definiamo

$X:mathbb{R rightarrow R}$

come

$X(s)=s forall s in mathbb{R}$

X è una variabile casuale su ${ mathbb{R,B(R)},P}$; inoltre,

$F_X(b) = P({ s in mathbb{R} | X(s) = s le b}) = P((-infty,b]) forall b in mathbb{R}$

Definizione: Funzione di distribuzione continua

Ad $F$ posso associare ${Omega, F, P}$ spazio di probabilità con

• $Omega =mathbb{R}$
• $F = mathbb{B(R)}$
• $P | P((a,b])=F(b) -F(a) forall a,b in mathbb{R}, a < b$.

Sappiamo che tale $P$ esiste ed è unica. Allora $X(s)=s forall s in mathbb{R}$ è una variabile casuale che ammette $F$ come distribuzione.

Definizione: Funzione di densità di probabilità continua

Sia uno spazio di probabilità ${Omega, F, P}$. Se esiste una funzione $f : mathbb{R rightarrow R}^+$ tale che

$F(b) = int_{-infty}^{infty} f(alpha) dalpha$

allora $F$ è detta assolutamente continua ed $f$ è detta funzione di densità di probabilità (pdf).

Consideriamo l'evento

• $Bin mathbb{B(R)}$
• $P(X in B) = P({ s in Omega | X(s) in B}) = int_B f(alpha) dalpha$

Solitamente, si caratterizza la variabile casuale X indicando la densità di probabilità.

Definizione: Variabile casuale uniforme

Una variabile casuale uniforme $X$ è uniformemente distribuita in $(a,b), -infty < a < b < infty$ e vale

$f(x) = left{ begin{matrix} frac{1}{ab} & x in (a,b) \ 0 & text{altrove} end{matrix}right.$

Definizione: Variabile casuale gaussiana

La variabile casuale gaussiana è

$f(x) = frac{1}{sigma sqrt{2 pi}} e^{-frac{(x-mu)^2}{2 sigma^2}}$

con $sigma > 0$. Si ha

$F(x) = int_{-infty}^{infty} f(alpha)dalpha = G(frac{x-mu}{sigma})$

con

$G(x) = frac{1}{sqrt{2 pi}} int_{-infty}^x e^{-frac{beta^2}{2}} dbeta$

Definizione: Variabile casuale Q(x)

$Q ( x ) = 1 - G ( x )$ è la coda della gaussiana, usata per calcolare le probabilità di errore.

Definizione: Funzione di distribuzione discreta

La funzione di distribuzione discreta è una $F_X$ costante a tratti, con:

• $P_i = F_X(X_i) -F_X(X_i^-)$
• $sum P_i = 1$
• $F(x) = sum_{i : x_i le x} P_i$

In questo caso conviene introdurre

• $Omega = {x_1,x_2}$
• $F = 2^Omega$
• $P({x_i}) = P_i$

Consideriamo lo spazio ${Omega, F, P}$ e definiamo la funzione

$X : Omega rightarrow mathbb{R} | X(s)=s forall s in Omega$

$X$ è una variabile casuale discreta con funzione di distribuzione

• $F_X = F$
• $P(x = x_i) =P_i$

A questo punto, possiamo scrivere che

$begin{align}F_X(alpha) &= P(x le alpha) \ &= P({ s in Omega | X(s) le alpha }) \&= P({s in Omega | s le alpha}) \&= left{ begin{matrix} P_1 + P_2 & alpha > x_2 \ P_1 & x_1 le alpha < x_2 \ 0 & alpha < x_1 end{matrix}right. \&= sum_{i : x_i le alpha} P_iend{align}$

Esempio: '

Banalmente, se avete il lancio di una moneta:

• $X(T) = 1$
• $X(C) =0$

con

• $P(T) = p$
• $P(C) =q$

Allora la funzione di distribuzione è

$F_X(alpha) = left{ begin{matrix} 1 & alpha > 1 \ q & 0 le alpha < 1 \ 0 & alpha < 0 end{matrix}right.$

Esercizio: '

Dato lo spazio di probabilità ${Omega, F, P}$, lancio di un dado non truccato, con $Omega = {omega_1, omega_2, cdots , omega_6}$, considerare la seguente variabile casuale e caratterizzarla:

• $X(omega_1) = 2$
• $X(omega_2) = 10$
• $X(omega_3) = 2$
• $X(omega_4) = 4$
• $X(omega_5) = 0$
• $X(omega_6) = -2$

Il risultato è quello in figura:

Variabili casuali notevoli continue

Esponenziale di parametro $lambda > 0$

$f(x) = left{ begin{matrix} lambda e^{-lambda x} & forall x le 0 \ 0 & text{altrove}end{matrix}right. lambda > 0$

> x1=[-10:0.01:0];
> x2=[0.01:0.01:10];
> lambda = 1; % valore scelto arbitrariamente
> f_x = lambda .* exp(- lambda .* x2);
> plot([x1 x2], [zeros(size(x1) f_x)])

Esponenziale bilatera, o di Laplace

$f(x) = frac{lambda}{2} e^{-lambda |x|} lambda > 0$

> x=[-10:0.001:10];
> lambda = 1; % valore scelto arbitrariamente
> f_x = lambda/2 .* exp(- lambda .* abs(x));
> plot(x, f_x)

Esempio: La codifica predittiva

La codifica predittiva utilizza parecchio la variabile casuale di Laplace. Si vuole comprimere un video, una serie di fotogrammi

$[i-1, i, i+1]$

In generale, la funzione di densità di probabilità dei pixel sarà uniforme; al contrario, però, la funzione di densità di probabilità di

$E = I_i - I_{i-1}$

sarà del tipo di Laplace. La funzione $E$ è detta il predittore: migliore è il predittore, più i valori si concentrano attorno allo zero con distribuzione di Laplace.

Variabile casuale di Rayleigh di parametro $b>0$

$f(x)=left{ begin{matrix} frac{2x}{b} cdot e^{-frac{x^2}{b}} & x ge 0 \ 0 & text{altrimenti} end{matrix} right.$

> x1=[-10:0.01:0];
> x2=[0.01:0.01:10];
> b = 1; % valore scelto arbitrariamente
> f_x = x2 .* 2/b .* exp(-x^2./b)
> plot([x1 x2], [zeros(size(x1) f_x)])

Mixture gaussiane

Sono le variabili casuali le cui densità di probabilità si possono scrivere come combianzione lineare di gaussiane pesate.

Esempio: '

Abbiamo due contenitori di gas $C_1$ e $C_2$, collegati tra loro da un tubo con rubinetto. I due gas sono a pressioni diverse. L'energia delle molecole dei due contenitori è distribuita secondo due gaussiane,

• $N(mu_1, sigma_1)$
• $N(mu_2, sigma_2)$

Aprendo il rubinetto, la densità di probabilità dell'energia delle molecole sarà una combinazione delle due gaussiane, quindi una mixtura gaussiana.

Esempio: Query by sample

Abbiamo tante immagini in un database e vogliamo cercare quelle che sono simili ad un'immagine di esempio. Quello che si può fare per confrontare queste immagini è usare l'istogramma del colore, indipendente dalle dimensioni delle immagini e che è rappresentabile come somma di un certo numero di gaussiane. Se per esempio rappresento l'istogramma con 4 gaussiane, con 8 numeri $mu_i, sigma,_i$ sono in grado di rappresentare immagini magari di $3000 times 3000$ punti, su cui fare calcoli di distanza sarebbe un lavoro molto oneroso.

Variabili casuali notevoli discrete

Variabile casuale di Bernoulli

La variabile casuale di Bernoulli è di parametro $p$.

$p^x cdot (1-p)^{1-x} = p delta(x-1) + (1-p)delta(x)$

ed è valida soltanto per $x = 0,1$

> x=[0,1];
> p = .2; % valore scelto arbitrariamente
> f_x = [(1-p), p];
> stem(x, f_x)

Binomiale di parametri $p$ e $n$

$f_X(x) = left{ begin{matrix} binom{n}{x} cdot p^x (1-p)^{n-x} & x \ 0 & text{altrimenti} end{matrix} right.$

$f_X(x) = sum_{k=0,n}binom{n}{x} p^k (1-p)^{n-k}$

Variabile casuale poissoniana

$f_X(x) = left{ begin{matrix} frac{e^{-lambda} lambda^x}{x!} & x \ 0 & text{altrimenti} end{matrix}right.$

da cui

$f_X(x) = sum_{k=0}^infty frac{ e^{-lambda} lambda^k}{k!} delta (x-k)$

Questa variabile casuale è utile per le prove ripetute con $np=lambda$ e $n to infty$