2 Muestreo de Gibbs

Al igual que el algoritmo de Metropolis, el algoritmo de Gibbs permite simular una cadena de Markov $\bmath{\theta}^{(1)},\bmath{\theta}^{(2)},\ldots$ con distribución de equilibrio $p(\bmath{\theta} \vert \bmath{x})$. En este caso, sin embargo, cada nuevo valor de la cadena se obtiene a través de un proceso iterativo que sólo requiere generar muestras de distribuciones cuya dimensión es menor que $d$ y que en la mayoría de los casos tienen una forma más sencilla que la de $p(\bmath{\theta} \vert \bmath{x})$.

Sea $\bmath{\theta} = (\bmath{\theta}_1,\ldots,\bmath{\theta}_k)$ una partición del vector $\bmath{\theta}$, donde $\bmath{\theta}_i \in \Rex^{d_i}$ y $\sum_{i=1}^{k} d_i = d$. Las densidades

$$\begin{array}{cr} p(\bmath{\theta}_1 \vert \bmath{\theta}_2,... ...theta}_1,\ldots,\bmath{\theta}_{k-1}, \bmath{x}) & \end{array}$$

se conocen como densidades condicionales completas y en general pueden identificarse fácilmente al inspeccionar la forma de la distribución final $p(\bmath{\theta} \vert \bmath{x})$. De hecho, para cada $i=1,\ldots,k$,

$$p(\bmath{\theta}_i \vert \bmath{\theta}_1,\ldots,\bmath{\the... ...}_{k}, \bmath{x}) \propto p(\bmath{\theta} \vert \bmath{x}),$$

donde $p(\bmath{\theta} \vert \bmath{x}) = p(\bmath{\theta}_1,\ldots,\bmath{\theta}_k \vert \bmath{x})$ es vista sólo como función de $\bmath{\theta}_i$.

Dado un valor inicial $\bmath{\theta}^{(0)} = (\bmath{\theta}_1^{(0)},\ldots,\bmath{\theta}_k^{(0)})$, el algoritmo de Gibbs simula una cadena de Markov en la que $\bmath{\theta}^{(t+1)}$ se obtiene a partir de $\bmath{\theta}^{(t)}$ de la siguiente manera:

generar una observación $\bmath{\theta}_1^{(t+1)}$ de $p(\bmath{\theta}_1 \vert \bmath{\theta}_2^{(t)},\bmath{\theta}_3^{(t)},\ldots,\bmath{\theta}_k^{(t)}, \bmath{x})$;

generar una observación $\bmath{\theta}_2^{(t+1)}$ de $p(\bmath{\theta}_2 \vert \bmath{\theta}_1^{(t+1)},\bmath{\theta}_3^{(t)},\ldots,\bmath{\theta}_k^{(t)}, \bmath{x})$;

$\vdots$

generar una observación $\bmath{\theta}_k^{(t+1)}$ de $p(\bmath{\theta}_k \vert \bmath{\theta}_1^{(t+1)},\bmath{\theta}_2^{(t+1)},\ldots,\bmath{\theta}_{k-1}^{(t+1)}, \bmath{x})$.

La sucesión $\bmath{\theta}^{(1)},\bmath{\theta}^{(2)},\ldots$ así obtenida es entonces una realización de una cadena de Markov cuya distribución de transición está dada por

$$P(\bmath{\theta}^{(t+1)} \vert \bmath{\theta}^{(t)}) = \prod... ...eta}_{i+1}^{(t)},\ldots, \bmath{\theta}_{k}^{(t)}, \bmath{x}).$$

Comentario. En ocasiones la distribución final implica cierta estructura de independencia condicional entre algunos de los elementos del vector $\bmath{\theta}$. Es estos casos es común que muchas de las densidades condicionales completas se simplifiquen.

El siguiente ejemplo presenta una aplicación interesante del muestreo de Gibbs al problema de observaciones faltantes.