Distribución normal multivariante

En probabilidá y estadística, una distribución normal multivariante, tamién llamada distribución gaussiana multivariante, ye una xeneralización de la distribución normal unidimensional a dimensiones cimeres.

Casu xeneral

Un vector aleatoriu $X=[X_1,\dots ,X_n{]}^T$ sigue una distribución normal multivariante si satisfai les siguientes condiciones equivalentes:

• Toa combinación llinial $Y=a_1{X}_1+\cdots +a_n{X}_n$ ta de normal distribuyida.
• Hai un vector aleatoriu $Z=[Z_1,\dots ,Z_m{]}^T$, que les sos componentes son variables aleatories independientes distribuyíes según la normal estándar, un vector $\mu =[{\mu }_1,\dots ,{\mu }_n{]}^T$ y una matriz $n\times m$ $A$ tal que $X=AZ+\mu$.
• Hai un vector $\mu$ y una matriz semidefinida positiva simétrica $\mathrm{\Sigma }$ tal que la función carauterística de X ye Plantía:Ecuación

Si $\mathrm{\Sigma }$ ye una matriz non singular, entós la distribución puede describise pola siguiente función de densidá: Plantía:Ecuación onde $\left|\mathrm{\Sigma }\right|$ ye'l determinante de $\mathrm{\Sigma }$. Nótese como la ecuación de riba amenórgase a la distribución normal si $\mathrm{\Sigma }$ ye un esguilar (esto ye, una matriz 1x1).

El vector μ nestes circunstancies ye la esperanza de X y la matriz $\mathrm{\Sigma }=A{A}^T$ ye la matriz de covarianza de les componentes X_i.

Ye importante entender que la matriz de covarianza puede ser singular (anque nun tea asina descrita pola fórmula de riba, pa la cual ${\mathrm{\Sigma }}^{-1}$ ta definida).

Esti casu apaez con frecuencia en estadística; por casu, na distribución del vector de residuos en problemes ordinarios de regresión llinial. Nótese tamién que los X_i son polo xeneral non independientes; pueden trate como la resultancia d'aplicar el tresformamientu llinial A a una coleición de variables normales Z.

Esta distribución d'un vector aleatoriu X que sigue una distribución normal multivariante pue ser descrita cola siguiente notación: Plantía:Ecuación o faer esplícitu que X ye n-dimensional, Plantía:Ecuación

Función de distribución

La función de distribución $F(x)$ defínese como la probabilidá de que tolos valores d'un vector aleatoriu $X$ sían menores o iguales que los valores correspondientes d'un vector $x$. Anque F nun tenga una fórmula, hai una serie d'algoritmos que dexen envalorala numbéricamente.

Un contraejemplo

El fechu de que dos variables aleatories X y Y sigan una distribución normal, caúna, nun implica que'l par (X, Y) siga una distribución normal conxunta. Un exemplu simple dar con X Normal(0,1), Y = X si |X| > 1 y Y = −X si |X| < 1. Esto tamién ye ciertu pa más de dos variables aleatories.

De normal distribuyíes ya independencia

Si X y Y tán de normal distribuyíes y son independientes, la so distribución conxunta tamién ta de normal distribuyida, esto ye, el par (X, Y) tien de tener una distribución normal bivariante. Sía que non, un par de variables aleatories de normal distribuyíes nun tienen por qué ser independientes al ser consideraes de forma conxunta.

Caso bivariante

Nel casu particular de dos dimensiones, la función de densidá (con media (0, 0) ye

$f(x,y)=\frac{1}{2\pi {\sigma }_x{\sigma }_y\sqrt{1-{\rho }^2}}\exp (-\frac{1}{2(1-{\rho }^2)}(\frac{x^2}{{\sigma }_x^2}+\frac{y^2}{{\sigma }_y^2}-\frac{2\rho xy}{({\sigma }_x{\sigma }_y)}))$

onde $\rho$ ye'l coeficiente de correlación ente $X$ y $Y$. Nesti casu,

$\mathrm{\Sigma }=\left[\begin{array}{cc}{\sigma }_x^2& \rho {\sigma }_x{\sigma }_y\\ \rho {\sigma }_x{\sigma }_y& {\sigma }_y^2\end{array}\right].$

Tresformamientu allegáu

Si $Y=c+BX$ ye una tresformamientu allegáu de $X\sim 𝒩(\mu ,\mathrm{\Sigma }),$ onde $c$ ye un $M\times 1$ vector de constantes y $B$ una $M\times N$ matriz, entós $Y$ tien una distribución normal multivariante con esperanza $c+B\mu$ y varianza $B\mathrm{\Sigma }{B}^T$ esto ye, $Y\sim 𝒩(c+B\mu ,B\mathrm{\Sigma }{B}^T)$. En particular, cualquier subconxuntu de les $X_i$ tien una distribución marxinal que ye tamién una normal multivariante.

Pa ver esto, considérese'l siguiente exemplu: pa estrayer el subconxuntu $(X_1,X_2,X_4{)}^T$, úsese

$B=\left[\begin{array}{ccccccc}1& 0& 0& 0& 0& \dots & 0\\ 0& 1& 0& 0& 0& \dots & 0\\ 0& 0& 0& 1& 0& \dots & 0\end{array}\right]$

lo qu'estrayi direutamente los elementos deseyaos.

Otru corolariu sería que la distribución de $Z=b\cdot X$, onde $b$ ye un vector del mesmu llargor que $X$ y el puntu indica un productu vectorial, sería una distribución gaussiana unidimensional con $Z\sim 𝒩(b\cdot \mu ,b^T\mathrm{\Sigma }b)$. Esta resultancia llógrase usando

$B=\left[\begin{array}{cccc}{b}_1& b_2& \dots & b_n\\ 0& 0& \dots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \dots & 0\end{array}\right]$

y considerando namái la primer componente del productu (la primer fila de $B$ ye'l vector $b$). Reparar cómo la definición positiva de $\mathrm{\Sigma }$ implica que la varianza del productu vectorial tendría de ser positiva.

Interpretación xeométrica

Les curves de equidensidad d'una distribución normal multivariante son elipsoides (esto ye, tresformamientos lliniales d'hiperesferes) centraos na media. Les direiciones de les exes principales de los elipsoides vienen daos polos vectores propios de la matriz de covarianza $\mathrm{\Sigma }$. Los llargores relativos de los cuadraos de les exes principales vienen daos polos correspondientes vectores propios.

Si $\mathrm{\Sigma }=O\mathrm{\Lambda }{O}^T=O{\mathrm{\Lambda }}^{1/2}(O{\mathrm{\Lambda }}^{1/2}{)}^T$ ye una descomposición espectral onde les columnes d'O son vectores propios unitarios y $\mathrm{\Lambda }$ ye una matriz diagonal de valores propios, entós tenemos

$X\sim N(\mu ,\mathrm{\Sigma })⟺X\sim \mu +O{\mathrm{\Lambda }}^{1/2}N(0,I)⟺X\sim \mu +UN(0,\mathrm{\Lambda }).$

Amás, O puede escoyese talmente que seya una matriz de rotación, tal qu'invirtiendo una exa nun tenga nengún efeutu en $N(0,\mathrm{\Lambda })$, pero invirtiendo una columna, camude'l signu del determinante de O'. La distribución $N(\mu ,\mathrm{\Sigma })$ ye n'efeutu $N(0,I)$ esguilada por ${\mathrm{\Lambda }}^{1/2}$, rotada por O y treslladada por $\mu$.

Recíprocamente, cualquier eleición de $\mu$, matriz de rangu completu O, y valores diagonales positivos ${\mathrm{\Lambda }}_i$ dexa'l pasu a una distribución normal non singular multivariante. Si cualesquier ${\mathrm{\Lambda }}_i$ ye cero y O ye cuadrada, la matriz de covarianza $O\mathrm{\Lambda }{O}^T$ ye una singular. Geométricamente esto significa que cada curva elipsoide ye infinitamente delgada y tien volume cero nun espaciu n-dimensional, según, siquier, unu de les principales exes tien longitud cero.

Correlaciones ya independencia

Polo xeneral, les variables aleatories pueden ser incorreladas, pero altamente dependientes. Pero si un vector aleatoriu tien una distribución normal multivariante, entós cualesquier dos o más de los sos componentes que sían incorreladas, son independientes.

Pero non ye ciertu que dos variables aleatories que tán (xebradamente, marginalmente) de normal distribuyíes y incorreladas sían independientes. Dos variables aleatories que tán de normal distribuyíes pueden que nun lo tean conxuntamente. Pa un exemplu de dos variables de normal distribuyíes que sían incorreladas pero non independientes, vease de normal distribuyíes y incorreladas nun implica independencia.

Momentos más altos

El momentu estándar de k-ésimo orde de X defínese como

${\mu }_{1,\dots ,N}(X)\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}{\mu }_{r_1,\dots ,r_N}(X)\stackrel{\mathrm{d}\mathrm{e}\mathrm{f}}{=}Y\left[\prod _{j=1}^N{X}_j^{r_j}\right]$

onde $r_1+r_2+\cdots +r_N=k.$

Los momentos centrales d'orde k vien daos como sigue:

(a) Si k ye impar, ${\mu }_{1,\dots ,N}(X-\mu )=0$.

(b) Si k ye par, con $k=2\lambda$, entós

${\mu }_{1,\dots ,2\lambda }(X-\mu )=\sum ({\sigma }_{ij}{\sigma }_{k\ell }\cdots {\sigma }_{XZ})$

onde la suma toma sobre toles disposiciones de conxuntos $\{1,\dots ,2\lambda \}$ en $\lambda$ pareyes (non ordenar). Esto ye, si tiense un k-ésimo ($=2\lambda =6$) momentu central, tarán sumándose los productos de $\lambda =3$ covarianzas (la notación -$\mu$ desprecióse pa facilitar la llectura):

$\begin{array}{cc}& Y[X_1{X}_2{X}_3{X}_4{X}_5{X}_6]\\ & =Y[X_1{X}_2]Y[X_3{X}_4]Y[X_5{X}_6]+Y[X_1{X}_2]Y[X_3{X}_5]Y[X_4{X}_6]+Y[X_1{X}_2]Y[X_3{X}_6]Y[X_4{X}_5]\\ & +Y[X_1{X}_3]Y[X_2{X}_4]Y[X_5{X}_6]+Y[X_1{X}_3]Y[X_2{X}_5]Y[X_4{X}_6]+Y[X_1{X}_3]Y[X_2{X}_6]Y[X_4{X}_5]\\ & +Y[X_1{X}_4]Y[X_2{X}_3]Y[X_5{X}_6]+Y[X_1{X}_4]Y[X_2{X}_5]Y[X_3{X}_6]+Y[X_1{X}_4]Y[X_2{X}_6]Y[X_3{X}_5]\\ & +Y[X_1{X}_5]Y[X_2{X}_3]Y[X_4{X}_6]+Y[X_1{X}_5]Y[X_2{X}_4]Y[X_3{X}_6]+Y[X_1{X}_5]Y[X_2{X}_6]Y[X_3{X}_4]\\ & +Y[X_1{X}_6]Y[X_2{X}_3]Y[X_4{X}_5]+Y[X_1{X}_6]Y[X_2{X}_4]Y[X_3{X}_5]+Y[X_1{X}_6]Y[X_2{X}_5]Y[X_3{X}_4].\end{array}$

Esto da llugar a $(2\lambda -1)!/(2^{\lambda -1}(\lambda -1)!)$ términos na suma (15 nel casu de riba), caúnu siendo'l productu de $\lambda$ (3 nesti casu) covarianzas. Pa momentos de cuartu orde (cuatro variables) hai tres términos. Pa momentos de sestu orde hai 3 × 5 = 15 términos, y pa momentos d'octavu orde hai 3 × 5 × 7 = 105 términos.

Les covarianzas son entós determinaes por aciu el reemplazu de los términos de la llista $[1,\dots ,2\lambda ]$ polos términos correspondientes de la llista que consiste en $r_1$ unos, entós $r_2$ doses, etc... Pa ilustrar esto, esamínese'l siguiente casu pel momento central de cuartu orde:

$Y\left[X_i^4\right]=3{\sigma }_{ii}^2$

$Y\left[X_i^3{X}_j\right]=3{\sigma }_{ii}{\sigma }_{ij}$

$Y\left[X_i^2{X}_j^2\right]={\sigma }_{ii}{\sigma }_{jj}+2{\left({\sigma }_{ij}\right)}^2$

$Y\left[X_i^2{X}_j{X}_k\right]={\sigma }_{ii}{\sigma }_{jk}+2{\sigma }_{ij}{\sigma }_{ik}$

$Y\left[X_i{X}_j{X}_k{X}_n\right]={\sigma }_{ij}{\sigma }_{kn}+{\sigma }_{ik}{\sigma }_{jn}+{\sigma }_{in}{\sigma }_{jk}.$

onde ${\sigma }_{ij}$ ye la covarianza de $X_i$ y $X_j$. La idea del métodu de riba ye que primero s'atopa'l casu xeneral pal momentu $k$-ésimo, onde se tien $k$ distintos variables $X$ - $Y\left[X_i{X}_j{X}_k{X}_n\right]$ y entós pueden simplificase apropiadamente. Si tiense $Y\left[X_i^2{X}_k{X}_n\right]$ entós, a cencielles seya $X_i=X_j$ y síguese que ${\sigma }_{ii}={\sigma }_i^2$.

Distribuciones condicionales

Si $\mu$ y $\mathrm{\Sigma }$ son estremaes como sigue:

$\mu =\left[\begin{array}{c}{\mu }_1\\ {\mu }_2\end{array}\right]$ con tamaños $\left[\begin{array}{c}q\times 1\\ (N-q)\times 1\end{array}\right]$

$\mathrm{\Sigma }=\left[\begin{array}{cc}{\mathrm{\Sigma }}_{11}& {\mathrm{\Sigma }}_{12}\\ {\mathrm{\Sigma }}_{21}& {\mathrm{\Sigma }}_{22}\end{array}\right]$ con tamaños $\left[\begin{array}{cc}q\times q& q\times (N-q)\\ (N-q)\times q& (N-q)\times (N-q)\end{array}\right]$

entós la distribución de $x_1$ condicionada a $x_2=a$ ye una normal multivariante $(X_1|X_2=a)\sim N(\overline{\mu },\bar{\mathrm{\Sigma }})$ onde

$\overline{\mu }={\mu }_1+{\mathrm{\Sigma }}_{12}{\mathrm{\Sigma }}_{22}^{-1}(a-{\mu }_2)$

y matriz de covarianza

$\bar{\mathrm{\Sigma }}={\mathrm{\Sigma }}_{11}-{\mathrm{\Sigma }}_{12}{\mathrm{\Sigma }}_{22}^{-1}{\mathrm{\Sigma }}_{21}.$

Esta matriz ye'l complementu de Schur de ${\mathrm{\Sigma }}_{22}$ en $\mathrm{\Sigma }$. Esto significa que pa calcular la matriz condicional de covarianza, inviértese la matriz global de covarianza, despréciense les files y columnes correspondientes a les variables so les cualos ta condicionada y entós inviértese de nuevu pa consiguir la matriz condicional de covarianza.

Nótese que se sabe que $x_2=a$ alteria la varianza, anque la nueva varianza nun dependa del valor específicu de $a$; quiciabes más sorprendentemente, la media camudar por ${\mathrm{\Sigma }}_{12}{\mathrm{\Sigma }}_{22}^{-1}(a-{\mu }_2)$; compárese esto cola situación na que nun se conoz el valor de $a$, y nesi casu $x_1$ tendría como distribución

$N_q({\mu }_1,{\mathrm{\Sigma }}_{11})$.

La matriz ${\mathrm{\Sigma }}_{12}{\mathrm{\Sigma }}_{22}^{-1}$ conozse como la matriz de coeficientes de regresión.

Esperanza condicional bivariante

Nel casu

$\left(\begin{array}{c}{X}_1\\ X_2\end{array}\right)\sim 𝒩(\left(\begin{array}{c}0\\ 0\end{array}\right),\left(\begin{array}{cc}1& \rho \\ \rho & 1\end{array}\right))$

entós

$Y(X_1|X_2>z)=\rho \frac{\varphi (z)}{\mathrm{\Phi }(-z)}$

onde esta última razón llámase de cutiu razón inversa de Mills.

Matriz d'información de Fisher

La matriz d'información de Fisher (MIF) pa una distribución normal toma una formulación especial. L'elementu $(m,n)$ de la MIF pa $X\sim N(\mu (\theta ),\mathrm{\Sigma }(\theta ))$ ye

${ℐ}_{m,n}=\frac{\partial \mu }{\partial {\theta }_m}{\mathrm{\Sigma }}^{-1}\frac{\partial {\mu }^{\mathrm{\top }}}{\partial {\theta }_n}+\frac{1}{2}\mathrm{t}\mathrm{r}\left({\mathrm{\Sigma }}^{-1}\frac{\partial \mathrm{\Sigma }}{\partial {\theta }_m}{\mathrm{\Sigma }}^{-1}\frac{\partial \mathrm{\Sigma }}{\partial {\theta }_n}\right)$

onde *$\frac{\partial \mu }{\partial {\theta }_m}=\left[\begin{array}{ccccc}\frac{\partial {\mu }_1}{\partial {\theta }_m}& \frac{\partial {\mu }_2}{\partial {\theta }_m}& \cdots & \frac{\partial {\mu }_N}{\partial {\theta }_m}& \end{array}\right]$

• $\frac{\partial {\mu }^{\mathrm{\top }}}{\partial {\theta }_m}={\left(\frac{\partial \mu }{\partial {\theta }_m}\right)}^{\mathrm{\top }}=\left[\begin{array}{c}\frac{\partial {\mu }_1}{\partial {\theta }_m}\\ \\ \frac{\partial {\mu }_2}{\partial {\theta }_m}\\ \\ ⋮\\ \\ \frac{\partial {\mu }_N}{\partial {\theta }_m}\\ \end{array}\right]$
• $\frac{\partial \mathrm{\Sigma }}{\partial {\theta }_m}=\left[\begin{array}{cccc}\frac{\partial {\mathrm{\Sigma }}_{1,1}}{\partial {\theta }_m}& \frac{\partial {\mathrm{\Sigma }}_{1,2}}{\partial {\theta }_m}& \cdots & \frac{\partial {\mathrm{\Sigma }}_{1,N}}{\partial {\theta }_m}\\ \\ \frac{\partial {\mathrm{\Sigma }}_{2,1}}{\partial {\theta }_m}& \frac{\partial {\mathrm{\Sigma }}_{2,2}}{\partial {\theta }_m}& \cdots & \frac{\partial {\mathrm{\Sigma }}_{2,N}}{\partial {\theta }_m}\\ \\ ⋮& ⋮& \ddots & ⋮\\ \\ \frac{\partial {\mathrm{\Sigma }}_{N,1}}{\partial {\theta }_m}& \frac{\partial {\mathrm{\Sigma }}_{N,2}}{\partial {\theta }_m}& \cdots & \frac{\partial {\mathrm{\Sigma }}_{N,N}}{\partial {\theta }_m}\end{array}\right]$
• $\mathrm{t}\mathrm{r}$ ye la función traza d'una matriz.

Diverxencia de Kullback-Leibler

La diverxencia de Kullback-Leibler de $N{0}_N({\mu }_0,{\mathrm{\Sigma }}_0)$ a $N{1}_N({\mu }_1,{\mathrm{\Sigma }}_1)$ ye:

$D_{\text{KL}}(N0\Vert N1)=\frac{1}{2}({\log }_y\left(\frac{\det {\mathrm{\Sigma }}_1}{\det {\mathrm{\Sigma }}_0}\right)+\mathrm{t}\mathrm{r}\left({\mathrm{\Sigma }}_1^{-1}{\mathrm{\Sigma }}_0\right)+{({\mu }_1-{\mu }_0)}^{\mathrm{\top }}{\mathrm{\Sigma }}_1^{-1}({\mu }_1-{\mu }_0)-N).$

El llogaritmu tien de tomase con base e nos dos términos (llogaritmos neperianos), siguiendo'l llogaritmu tán los llogaritmos neperianos de les espresiones que son dambos factores de la función de densidá o si non, surden naturalmente. La diverxencia de riba mídese en nats. Estremando la espresión de riba por log_y 2 dase pasu a la diverxencia en bits.

Estimación de parámetros

La derivación del estimador de máxima verosimilitud de la matriz de covarianza d'una distribución normal multivariante ye, quiciabes sorprendentemente, sutil y elegante. Vease estimación de matrices de covarianza.

En poques pallabres, la función de densidá de probabilidá d'una normal multivariante N-dimensional ye

$f(x)=(2\pi {)}^{-N/2}\det (\mathrm{\Sigma }{)}^{-1/2}\exp (-\frac{1}{2}(x-\mu {)}^T{\mathrm{\Sigma }}^{-1}(x-\mu ))$

y el estimador MV de la matriz de covarianza pa una muestra de n observaciones ye

$\hat{\mathrm{\Sigma }}=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X})(X_i-\bar{X}{)}^T$

lo cual ye, a cencielles, la matriz muestral de covarianza. Este ye un estimador sesgado que la so esperanza ye

$Y[\hat{\mathrm{\Sigma }}]=\frac{n-1}{n}\mathrm{\Sigma }.$

Una covarianza muestral insesgada ye

$\hat{\mathrm{\Sigma }}=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X})(X_i-\bar{X}{)}^T.$

Entropía

La entropía diferencial de la distribución normal multivariante ye

$\begin{array}{cc}h\left(f\right)& =-\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}\cdots \underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}f(x)\ln f(x)dx\\ & =\frac{1}{2}(N+N\ln \left(2\pi \right)+\ln \left|\mathrm{\Sigma }\right|)\\ & =\frac{1}{2}\ln \{(2\pi y{)}^N\left|\mathrm{\Sigma }\right|\}\end{array}$

onde $\left|\mathrm{\Sigma }\right|$ ye'l determinante de la matriz de covarianza $\mathrm{\Sigma }$.

Tests de normalidá multivariante

Los tests de normalidá multivariante comprueben la semeyanza d'un conxuntu dau de datos cola distribución normal multivariante. La hipótesis nula ye que'l conxuntu de datos ye similar a la distribución normal, por consiguiente un p-valor abondo pequeñu indica datos non normales. Los tests de normalidá multivariante inclúin el test de Cox-Small y l'adaptación de Smith y Jain del test de Friedman-Rafsky.

Asemeyando valores de la distribución

Un métodu llargamente usáu p'asemeyar un vector aleatoriu $X$ de la distribución normal multivariada $N$-dimensional con vector de medies $\mu$ y matriz de covarianza $\mathrm{\Sigma }$ (riquida pa ser simétrica y definida positiva) funciona como sigue:

1. Calcúlase la descomposición de Cholesky de $\mathrm{\Sigma }$, esto ye, atópase la única matriz triangular inferior $A$ tal que $A{A}^T=\mathrm{\Sigma }$. Nótese que cualesquier otra matriz $A$ que satisfaiga esta condición, esto ye, que ye unu la raigañu cuadráu de $\mathrm{\Sigma }$, podría usase, pero de cutiu atopar tal matriz, distinta de la de la descomposición de Cholesky, sería abondo más costosu en términos de computación.
2. Sía $Z=(z_1,\dots ,z_N{)}^T$ un vector que les sos componentes $N$ normales ya independientes varien (lo cual puede xenerase, por casu, usando'l métodu de Box-Muller.
3. Sía $X=$ $\mu +AZ.$

Referencies

Plantía:Tradubot