1 El modelo

Las técnicas de regresión se cuentan entre los métodos más utilizados en la Estadística Aplicada. Dada una variable de respuesta $Y$ y un conjunto de covariables $\bmath{z}=(z_1,\ldots,z_r)'$, es de interés estimar una supuesta relación funcional entre $Y$ y $\bmath{z}$, así como predecir el valor de observaciones futuras para distintos valores de las covariables.

Una manera de modelar dicha relación consiste en representar el valor esperado de $Y$ como

$$E(Y\vert\bmath{z})=\mu(\bmath{z}),$$

donde, en general, $\mu(\cdot)$ es una función desconocida. En la práctica es común aproximar a $\mu(\cdot)$ a través de una función paramétrica simple,

$$\mu(\bmath{z})=\psi(\bmath{z};\bmath{\beta}),$$

donde $\bmath{\beta}=(\beta_0,\beta_1,\ldots,\beta_k)'$ denota a un vector de parámetros desconocidos. Más aún, en muchos casos se supone que $\psi(\cdot;\bmath{\beta})$ es una función lineal de $\bmath{\beta}$ en alguna escala apropiada,

$$\psi(\bmath{z};\bmath{\beta}) = h(\, \beta_0+\beta_1 s_1(\bmath{z})+\cdots+\beta_k s_k(\bmath{z}) \,)$$

para alguna transformación uno a uno $h(\cdot)$, conocida, y para algunas funciones suaves $\{s_j(\cdot): j=1,\ldots,k\}$, también conocidas. Esta función es tratada entonces como si fuera la verdadera función de regresión $\mu(\cdot)$, por lo que el problema se reduce a hacer inferencias sobre el valor del parámetro $\bmath{\beta}$.

Este planteamiento da lugar a los llamados modelos lineales generalizados. En esta sección nos concentraremos en el modelo de regresión usual, donde la variable $Y$ tiene una distribución Normal y $h(\cdot)$ es la función identidad.

El modelo Normal

Supongamos que se tienen $n$ observaciones independientes $(Y_1,\bmath{z}_1),\ldots,(Y_n,\bmath{z}_n)$ del modelo

$$Y_i \sim N(y_i\vert\mu(\bmath{z}_i),\sigma^2) \;\;\;\;\; (\sigma^2>0, \mbox{desconocida}),$$

donde

$$\mu(\bmath{z}_i) = \beta_0+\beta_1 s_1(\bmath{z}_i)+\cdots+\beta_k s_k(\bmath{z}_i).$$

Sean $x_{i1}=1 \;\; (i=1,\ldots,n)$ y

$$x_{ij}=s_j(\bmath{z}_i), \;\; i=1,\ldots,n; \;\; j=1,\ldots,k.$$

Entonces podemos expresar el modelo como

$$Y_i = \beta_0+\beta_1 x_{i1}+\cdots+\beta_k x_{ik} + \epsilo... ...\footnotesize iid}}{\sim} N(0,\sigma^2) \;\;\; (i=1,\ldots,n).$$

Resulta conveniente escribir el modelo en forma matricial. Sea $p=k+1$. Entonces

$$\bmath{Y} = \bmath{X} \bmath{\beta} + \bmath{\epsilon}, \;\... ...\; \bmath{\epsilon} \sim N_n(\mbmath{0},\sigma^2 \bmath{I}_n),$$

donde $\bmath{Y}=(Y_1,\ldots,Y_n)'$, $\bmath{X}=[x_{ij}]$ es una matriz $n \times p$, $\bmath{\epsilon}=(\epsilon_1,\ldots,\epsilon_n)'$, e $\bmath{I}_n$ denota a la matriz identidad de orden $n$. Dicho de otra forma

$$\bmath{Y} \sim N_n(\bmath{y}\vert\bmath{X}\bmath{\beta},\sigma^2 \bmath{I}_n).$$ (2)

En el resto de esta sección supondremos que la matriz $\bmath{X}$ es de rango completo, $p$.

La función de verosimilitud para el modelo (4) es de la forma

$$L(\bmath{\beta},\sigma^2;\bmath{y}) \propto (2\pi \sigma^2)... ...math{\beta})' (\bmath{y} - \bmath{X}\bmath{\beta}) \right\}.$$

Recordemos que los estimadores de máxima verosimilitud para $\bmath{\beta}$ y $\sigma^2$ están dados por $\hat{\bmath{\beta}} = (\bmath{X}'\bmath{X})^{-1}\bmath{X}'\bmath{y}$ y $\hat{\sigma}^2 = \frac{1}{n} (\bmath{y} - \bmath{X}\hat{\bmath{\beta}})' (\bmath{y} - \bmath{X}\hat{\bmath{\beta}})$, respectivamente, y notemos que

$$(\bmath{y} - \bmath{X}\bmath{\beta})' (\bmath{y} - \bmath{X}... ...)' \bmath{X}'\bmath{X} (\bmath{\beta} - \hat{\bmath{\beta}}).$$

Así, la función de verosimilitud puede escribirse como

$$L(\bmath{\beta},\sigma^2;\bmath{y}) \propto (\sigma^2)^{-n/2... ...} - \hat{\bmath{\beta}}) + n \hat{\sigma}^2 \right] \right\}.$$

Para facilitar la notación y el desarrollo subsecuente, es conveniente trabajar en términos de la precisión $\tau=1/\sigma^2$ en lugar de la varianza $\sigma^2$. La verosimilitud toma entonces la forma

$$L(\bmath{\beta},\tau;\bmath{y}) \propto \tau^{n/2} \exp \le... ...} - \hat{\bmath{\beta}}) + n \hat{\sigma}^2 \right] \right\}.$$ (3)