next up previous
Next: 2 Distribución inicial Up: 3 Regresión Previous: 3 Regresión

1 El modelo

Las técnicas de regresión se cuentan entre los métodos más utilizados en la Estadística Aplicada. Dada una variable de respuesta $Y$ y un conjunto de covariables $\bmath{z}=(z_1,\ldots,z_r)'$, es de interés estimar una supuesta relación funcional entre $Y$ y $\bmath{z}$, así como predecir el valor de observaciones futuras para distintos valores de las covariables.

Una manera de modelar dicha relación consiste en representar el valor esperado de $Y$ como

\begin{displaymath}
E(Y\vert\bmath{z})=\mu(\bmath{z}),
\end{displaymath}

donde, en general, $\mu(\cdot)$ es una función desconocida. En la práctica es común aproximar a $\mu(\cdot)$ a través de una función paramétrica simple,

\begin{displaymath}
\mu(\bmath{z})=\psi(\bmath{z};\bmath{\beta}),
\end{displaymath}

donde $\bmath{\beta}=(\beta_0,\beta_1,\ldots,\beta_k)'$ denota a un vector de parámetros desconocidos. Más aún, en muchos casos se supone que $\psi(\cdot;\bmath{\beta})$ es una función lineal de $\bmath{\beta}$ en alguna escala apropiada,

\begin{displaymath}
\psi(\bmath{z};\bmath{\beta}) =
h(\, \beta_0+\beta_1 s_1(\bmath{z})+\cdots+\beta_k s_k(\bmath{z}) \,)
\end{displaymath}

para alguna transformación uno a uno $h(\cdot)$, conocida, y para algunas funciones suaves $\{s_j(\cdot): j=1,\ldots,k\}$, también conocidas. Esta función es tratada entonces como si fuera la verdadera función de regresión $\mu(\cdot)$, por lo que el problema se reduce a hacer inferencias sobre el valor del parámetro $\bmath{\beta}$.

Este planteamiento da lugar a los llamados modelos lineales generalizados. En esta sección nos concentraremos en el modelo de regresión usual, donde la variable $Y$ tiene una distribución Normal y $h(\cdot)$ es la función identidad.

El modelo Normal

Supongamos que se tienen $n$ observaciones independientes $(Y_1,\bmath{z}_1),\ldots,(Y_n,\bmath{z}_n)$ del modelo

\begin{displaymath}
Y_i \sim N(y_i\vert\mu(\bmath{z}_i),\sigma^2) \;\;\;\;\;
(\sigma^2>0, \mbox{desconocida}),
\end{displaymath}

donde

\begin{displaymath}
\mu(\bmath{z}_i) =
\beta_0+\beta_1 s_1(\bmath{z}_i)+\cdots+\beta_k s_k(\bmath{z}_i).
\end{displaymath}


\begin{Example}
El modelo de regresi\'on polinomial m\'as sencillo es de la form...
...En este caso $z\in\Rex$\ y $s_j(z)=z^j$\ para todo $j=1,\ldots,k$.
\end{Example}

Sean $x_{i1}=1 \;\; (i=1,\ldots,n)$ y

\begin{displaymath}
x_{ij}=s_j(\bmath{z}_i), \;\; i=1,\ldots,n; \;\; j=1,\ldots,k.
\end{displaymath}

Entonces podemos expresar el modelo como

\begin{displaymath}
Y_i = \beta_0+\beta_1 x_{i1}+\cdots+\beta_k x_{ik} + \epsilo...
...\footnotesize iid}}{\sim} N(0,\sigma^2) \;\;\;
(i=1,\ldots,n).
\end{displaymath}

Resulta conveniente escribir el modelo en forma matricial. Sea $p=k+1$. Entonces

\begin{displaymath}
\bmath{Y} = \bmath{X} \bmath{\beta} + \bmath{\epsilon},
\;\...
...\;
\bmath{\epsilon} \sim N_n(\mbmath{0},\sigma^2 \bmath{I}_n),
\end{displaymath}

donde $\bmath{Y}=(Y_1,\ldots,Y_n)'$, $\bmath{X}=[x_{ij}]$ es una matriz $n \times p$, $\bmath{\epsilon}=(\epsilon_1,\ldots,\epsilon_n)'$, e $\bmath{I}_n$ denota a la matriz identidad de orden $n$. Dicho de otra forma
\begin{displaymath}
\bmath{Y} \sim N_n(\bmath{y}\vert\bmath{X}\bmath{\beta},\sigma^2 \bmath{I}_n).
\end{displaymath} (2)

En el resto de esta sección supondremos que la matriz $\bmath{X}$ es de rango completo, $p$.

La función de verosimilitud para el modelo (4) es de la forma

\begin{displaymath}
L(\bmath{\beta},\sigma^2;\bmath{y}) \propto
(2\pi \sigma^2)...
...math{\beta})' (\bmath{y} - \bmath{X}\bmath{\beta})
\right\}.
\end{displaymath}

Recordemos que los estimadores de máxima verosimilitud para $\bmath{\beta}$ y $\sigma^2$ están dados por $\hat{\bmath{\beta}} = (\bmath{X}'\bmath{X})^{-1}\bmath{X}'\bmath{y}$ y $\hat{\sigma}^2 = \frac{1}{n} (\bmath{y} - \bmath{X}\hat{\bmath{\beta}})'
(\bmath{y} - \bmath{X}\hat{\bmath{\beta}})$, respectivamente, y notemos que

\begin{displaymath}
(\bmath{y} - \bmath{X}\bmath{\beta})' (\bmath{y} - \bmath{X}...
...)' \bmath{X}'\bmath{X}
(\bmath{\beta} - \hat{\bmath{\beta}}).
\end{displaymath}

Así, la función de verosimilitud puede escribirse como

\begin{displaymath}
L(\bmath{\beta},\sigma^2;\bmath{y}) \propto (\sigma^2)^{-n/2...
...} - \hat{\bmath{\beta}}) + n \hat{\sigma}^2
\right] \right\}.
\end{displaymath}

Para facilitar la notación y el desarrollo subsecuente, es conveniente trabajar en términos de la precisión $\tau=1/\sigma^2$ en lugar de la varianza $\sigma^2$. La verosimilitud toma entonces la forma

\begin{displaymath}
L(\bmath{\beta},\tau;\bmath{y}) \propto \tau^{n/2}
\exp \le...
...} - \hat{\bmath{\beta}}) + n \hat{\sigma}^2
\right] \right\}.
\end{displaymath} (3)


next up previous
Next: 2 Distribución inicial Up: 3 Regresión Previous: 3 Regresión