4 Ejemplo A

Para ilustrar el uso del algoritmo de Metropolis-Hastings (independencia), supongamos que nos interesa obtener una muestra de tamaño $N=1000$ de $p(\theta \vert \bmath{x})$. Como antes, resulta conveniente trabajar en términos de $\nu = \log \theta$. En este caso podemos utilizar la aproximación normal asintótica $\hat{p}(\nu \vert \bmath{x})$ como distribución de transición.

Se decidió correr el algoritmo durante 1100 iteraciones, de las cuales se tomaron las primeras 100 como periodo de calentamiento. La Figura 1 muestra los promedios ergódicos de las medias muestrales para algunas funciones de $\nu$. La muestra resultante puede transformarse fácilmente en una muestra de la distribución final de $\theta$ a través de la relación $\theta = \eb^\nu$. En la Figura 2 se presenta el histograma correspondiente junto con una estimación de la función de densidad $p(\theta \vert \bmath{x})$.

Por otra parte, notemos que

$$p(\lambda \vert \theta, \bmath{x}) = \mbox{Ga}(\lambda \vert n, \suma_{i=1}^n x_i^\theta),$$

de manera que el método de muestreo condicional puede implementarse fácilmente para producir una muestra de $p(\lambda \vert \bmath{x})$. Estas muestras nos permiten entonces estimar, por ejemplo, los dos primeros momentos de la distribución final de $\theta$ y de $\lambda$. En este caso $\hat{E}_{MH}(\theta \vert \bmath{x}) = 0.83497586$, $\widehat{\mbox{Var}}_{MH}(\theta \vert \bmath{x}) = 0.01428637$, $\hat{E}_{MH}(\lambda \vert \bmath{x}) = 0.0402371634$, $\widehat{\mbox{Var}}_{MH}(\lambda \vert \bmath{x}) = 0.0004886204$.

Finalmente, es posible estimar la densidad predictiva de $X_F$ evaluando, para cada valor de $x_F$,

$$\hat{p}_{MH}(x_F \vert \bmath{x}) = \frac{1}{N} \, \sum_{i=1}^N p(x_F \vert \theta_i, \lambda_i),$$

donde $\{ (\theta_i,\lambda_i) \}$ denota a la muestra de la distribución final de $(\theta,\lambda)$ y $p(x \vert \theta, \lambda)$ está definida por (1). Esta aproximación es presentada en la Figura 3 junto con la obtenida en la Sección 2.3 a través del método de Laplace.

Figure 1: Promedios ergódicos

Figure 2: Distribución final de $\theta$

Figure 3: Densidad predictiva de $X_F$