1 Distribución predictiva

Sea $X_1,\ldots,X_n$ una muestra aleatoria de una distribución desconocida $F$. En Estadística es común considerar una familia paramétrica de densidades,

$$\ca{P} = \{ p(x\vert\theta): \theta \in \Theta \},$$

y proceder entonces como si la distribución $F$ correspondiera a alguno de los modelos en $\ca{P}$. De esta manera, el problema se reduce a hacer inferencias sobre el supuesto valor del parámetro $\theta$ que corresponde al ``modelo verdadero''. Desde el punto de vista Bayesiano, la información previa sobre el valor desconocido de $\theta$ es descrita además a través de una distribución inicial $p(\theta)$. El Teorema de Bayes,

$$p(\theta \vert x_1,\ldots,x_n) = \frac{p(\theta) \, p(x_1,\l... ...\int} p(\theta) \, p(x_1,\ldots,x_n \vert \theta) \, d\theta},$$

permite entonces incorporar la información contenida en la muestra, produciendo una descripción de la incertidumbre sobre el valor del parámetro a través de la distribución final $p(\theta \vert x_1,\ldots,x_n)$.

En muchas ocasiones el propósito de un análisis estadístico es predecir el valor de una observación futura $X$ con base en la información disponible. Ahora bien, el problema de inferencia sobre $\theta$ puede considerarse como un paso intermedio en la solución al problema de predicción, aunque en ciertas situaciones puede ser de interés en sí mismo. Por otro lado, debido a resultados de consistencia, un parámetro puede verse como el límite de una sucesión de estadísticas (funciones de las observaciones) cuando el tamaño de muestra tiende a infinito. De esta manera, hacer inferencias acerca del valor del parámetro $\theta$ puede considerarse como una forma límite de hacer inferencias predictivas acerca de las observaciones. Esto será discutido con más detalle en la Sección 2.3.

Dado el valor de $\theta$, la distribución que describe el comportamiento de la observación futura $X$ es $p(x\vert\theta)$. Sin embargo, el valor de $\theta$ es desconocido. Los métodos estadísticos tradicionales atacan este problema estimando a $\theta$ con base en la muestra observada, y en muchos casos simplemente sustituyen el valor de $\theta$ con la estimación resultante.

Desde la perspectiva Bayesiana, el modelo $p(x\vert\theta)$, junto con la distribución inicial $p(\theta)$, induce una distribución conjunta para $(X,\theta)$, dada por

$$p(x,\theta)=p(x\vert\theta) p(\theta).$$

La distribución marginal

$$p(x) = \int p(x\vert\theta) p(\theta) \, d\theta$$

describe nuestro conocimiento acerca de $X$ dada la información inicial disponible. Dicha distribución se conoce comúnmente como la distribución predictiva (inicial).

De manera similar, una vez obtenida la muestra, el modelo $p(x\vert\theta)$ y la distribución final inducen una distribución conjunta para $(X,\theta)$ condicional en los valores observados $x_1,\ldots,x_n$;

$$\begin{eqnarray*} p(x,\theta\vert x_1,\ldots,x_n) & = & p(x\vert\theta,x_1,\ldot... ..._n) \\ & = & p(x\vert\theta) \, p(\theta\vert x_1,\ldots,x_n), \end{eqnarray*}$$

donde la última igualdad se debe a la independencia condicional de $X$ y $(X_1,\ldots,X_n)$ dado $\theta$. Así, la distribución

$$p(x\vert x_1,\ldots,x_n) = \int p(x\vert\theta) p(\theta\vert x_1,\ldots,x_n) \, d\theta$$

describe el comportamiento de $X$ dada toda la información disponible y se conoce como la distribución predictiva (final).