\documentclass[8pt,a4paper]{scrartcl}

\input{definitions}
\input{packages}

\geometry{left=10mm,right=10mm, top=12mm, bottom=5mm, paperwidth=210mm, paperheight=297mm}
\fancyhf{}																								%Kopf-/Fu?zeilenfelder leeren
\pagestyle{fancy}																						%Seitenstil auf fancy setzen
\fancyhead[L]{SR}																					%im Kopf links den Titel schreiben
\fancyhead[R]{\copyright \hspace{1mm} Lst ?konometrie, Uni Regensburg, Nov 2012}
\renewcommand{\headrulewidth}{0pt}																				%Im Kopf rechts die Seitenzahl setzen
\fancypagestyle{plain}{}																					% damit auch "plain" Seiten fancy werden
\setlength{\headheight}{14.5pt}
\renewcommand{\baselinestretch}{1.25}

\definecolor{DarkBlue}{rgb}{0,0.08,0.6}
\definecolor{LightGreen}{RGB}{154,205,50}
\definecolor{DarkGreen}{RGB}{85,107,47}
\definecolor{DarkRed}{rgb}{0.6,0.08,0.1}
\definecolor{LightBlue}{rgb}{0.1,0.6,1}
\definecolor{Purple}{RGB}{138,43,226}
\definecolor{Pink}{RGB}{255,0,255}


\begin{document}
\section*{?bersicht zur geometrischen Interpretation des KQ-Sch?tzers}
Falls $\mX$ vollen Spaltenrang hat (und somit $(\mX^T \mX)^{-1}$ existiert), kann man den KQ-Sch?tzer schreiben als:
\begin{align}
\notag \mathbf{\hbeta} =(\mX^T \mX)^{-1} \mX^T \vy
\end{align}
Damit ergeben sich die prognostizierten Werte und die Residuen:
\begin{align}
\notag &\yh =\mX \mathbf{\hbeta} =\mX (\mX^T \mX)^{-1} \mX^T \vy \\
\notag &\uh =\vy -\yh = \vy - \mX (\mX^T \mX)^{-1} \mX^T \vy = (\mI_n - \mX (\mX^T \mX)^{-1} \mX^T) \vy =(\mI_n - \mX (\mX^T \mX)^{-1} \mX^T) u
\end{align}
Man sieht, dass die prognostizierten Werte und Residuen linear von $\vy$ abh?ngen und f?hrt deshalb zwei Matrizen ein:
\begin{align}
\notag &\mP_X:=\mX (\mX^T \mX)^{-1} \mX^T \hd\text{ (damit gilt: } \yh=\mP_X \vy) \\
\notag &\mM_X:=(\mI_n - \mX (\mX^T \mX)^{-1} \mX^T)\hd \text{ (damit gilt: } \uh=\mM_X \vy)
\end{align}

\textbf{Geometrische Eigenschaften einer KQ-Sch?tzung mit Hilfe der Matrizen $\mP_X$ und $\mM_X$}:\\
\begin{tabularx}{\textwidth}{|p{8cm}|X|}
\hline
Eigenschaft / Formel & Interpretation \\
\hline \hline
\textbf{Symmetrie}: $\mP_X$ und $\mM_X$ sind symmetrisch \newline (Eine Matrix $\mA$ hei?t symmetrisch, falls gilt: $\mA^T=\mA$) & Aus der Symmetrie einer Matrix folgt, dass deren Zeilenraum gleich dem Spaltenraum ist.\\ \hline
\textbf{Idempotenz}:  $\mP_X$ und $\mM_X$ sind idempotent \newline (Eine Matrix $\mA$ hei?t idempotent, falls gilt: $\mA \cdot \mA=\mA$) & Projektionen werden durch idempotente Matrizen charakterisiert, da eine doppelte, dreifache, ... Projektion auf den gleichen Raum das Gleiche wie eine einfache Projektion liefert. \newline $\yh$ und $\uh$ werden also auf R?ume projiziert!\\ \hline
\textbf{Orthogonalit?t und Komplementarit?t}:\newline $\mP_X,\mM_X \in \R^{n \times n}$ mit $\mP_X\cdot\mM_X=\mM_X\cdot\mP_X=\mO$ \newline (wobei: $\rk(\mP_X)=\tr(\mP_X)=k$ und $\rk(\mM_X)=\tr(\mM_X)=n-k$) \newline Beziehung von $\yh$ zu den Residuen: $\yh^T\uh=(\mP_X \vy)^T (\mI-\mP_X)\vy=0$ \newline Insbesondere gilt: $\mP_X \vy + \mM_X\vy =\vy$ (bzw. $\uh+\yh =\vy$)  & Die Spalten von $\mP_X$ stehen senkrecht auf den Spalten $\mM_X$, d. h. sie bilden Vektoren in R?ume ab, die wiederum senkrecht zueinander stehen. Da die Summe der R?nge wieder den ganzen Raum ergibt, sind die beiden R?ume komplement?r. \newline Da der Vektor der prognostizierten Werte $\yh$ senkrecht auf dem Residuenvektor steht, l?sst sich der Regressand als Summe der Residuen und der prognostizierten Werte schreiben. \\ \hline
\textbf{Normalgleichungen}: Beziehung von $\mX$ zu den Residuen \newline $\vx_i^T \uh =<\vx_i,\uh>=0 \hd \forall i=1,...k \LR \uh \in \delta^{\bot}(\mX)$ & Der Residuenvektor steht senkrecht auf den Spalten der Matrix $\mX$. \newline (Der Raum, der durch $\mX$ aufgespannt wird, steht senkrecht zum Vektor der Residuen $\uh$)\\ \hline
\textbf{Eigenschaften eines Modells mit Konstante (Intercept)} \newline 1. $\sum_{i=1}^n \hat{u}_i =0$ (insb. der Mittelwert $\frac{1}{n}(\sum_{i=1}^n \hat{u}_i) =0$) \newline 2. $\bar{\hat{y}}=\frac{1}{n}(\sum_{i=1}^n \hat{y}_i)=\bar{y} $ \newline 3. $\bar{y}=\hat{\beta}_1 + \hat{\beta}_2 \bar{x}_2+...+\hat{\beta}_k \bar{x}_k$ \newline 4. Streuungszerlegung: $SST = SSR + SSE$ & Interpretation des Modells mit Kontante (Intercept): \newline 1. Der Mittelwert der Residuen ist null, sie annulieren sich also im Mittel. \newline 2. Der Mittelwert der Prognosen $\bar{\hat{y}}$ ist gleich dem Mittelwert der beobachteten Werte $\bar{y}$ \newline 3. Die Regressionshyperebene geht durch den Schwerpunkt der Daten\newline 4. $SST=\sum_{i=1}^n (y_i-\bar{y})^2, SSE=\sum_{i=1}^n (\hat{y}_i-\bar{y})^2, SSR=\sum_{i=1}^n \hat{u}_i^2$ \\ \hline
\end{tabularx}
\vspace{0.2cm}\\
Im Folgenden eine illustrierende Graphik im Fall eines Modells mit zwei Regressoren ($k=2$) und drei Beobachtungen ($n=3$) und dessen KQ-Sch?tzung:
\beqs
\textcolor{DarkRed}{\mathbf{y}}= \bmat \textcolor{DarkBlue}{\mathbf{x}_1} & \textcolor{DarkBlue}{\mathbf{x}_2} \emat \mathbf{\beta} + \mathbf{u}
\text{ wobei }\textcolor{DarkRed}{\mathbf{y}}= \bmat \textcolor{DarkRed}{y_1} \\ \textcolor{DarkRed}{y_2} \\ \textcolor{DarkRed}{y_3} \emat
\text{ und } \bmat \textcolor{DarkBlue}{\mathbf{x}_1} & \textcolor{DarkBlue}{\mathbf{x}_2} \emat = \bmat \textcolor{DarkBlue}{x_{11}} & \textcolor{DarkBlue}{x_{12}} \\ \textcolor{DarkBlue}{x_{21}} & \textcolor{DarkBlue}{x_{22}} \\ \textcolor{DarkBlue}{x_{31}} & \textcolor{DarkBlue}{x_{32}}\emat
\text{ mit Sch?tzung } \textcolor{LightBlue}{\mathbf{\yh}}= \bmat \textcolor{DarkBlue}{\mathbf{x}_1} & \textcolor{DarkBlue}{\mathbf{x}_2} \emat \textcolor{Purple}{\mathbf{\hbeta}} + \textcolor{LightGreen}{\mathbf{\uh}}
\eeqs

\begin{figure}[htbp]
  \centering
  \begin{minipage}[b]{6 cm}
    \includegraphics[width=0.8\textwidth]{kq_geometry_wahres_beta.jpg}
    \caption{Raum der Beobachtungen}
  \end{minipage}
   \hspace{1cm}
  \begin{minipage}[b]{6 cm}

    \includegraphics[width=1.2\textwidth]{ebenen_schnitt_beides.jpg}
    \caption{$3d$-Scatterplot mit wahrer und prognostizierter Regressionsebene}
  \end{minipage}
\end{figure}
\textbf{Interpretation}:\\
\begin{tabularx}{\textwidth}{p{9cm}X}
Die Hyperebene (blau eingef?rbte Fl?che), in der \textcolor{LightBlue}{$\yh$} liegt, wird von den Spalten der Matrix \textcolor{DarkBlue}{$\mX$} aufgespannt. 百利宫_百利宫娱乐平台￥官网e ist $k=2$-dimensional, w?hrend der Raum des Residuenvektors \textcolor{LightGreen}{$\uh$} $n-k=3-2=1$-dimensional ist. Beide R?ume zusammen spannen den kompletten Raum, in dem sich Residuen, Regressoren und -anden befinden, auf (Dimension $n=3$). Der Residuenvektor \textcolor{LightGreen}{$\uh$} steht senkrecht auf dieser Fl?che und bildet eine Basis des Komplement?rraums; $\textcolor{DarkRed}{\vy}, \textcolor{LightBlue}{\yh}$ und \textcolor{LightGreen}{$\uh$} bilden ein rechtwinkliges Dreieck (nur rechtwinklig bei der KQ-Sch?tzung!). Zudem ist das wahre $\textcolor{Pink}{\vbeta}$ mit dem wahren Fehler $\textcolor{DarkGreen}{\vu}$ eingezeichnet, der i. A. nicht senkrecht auf \textcolor{DarkBlue}{$\mX$} steht. &
In diesem Scatterplot, in dem nur eine Beobachtung $(\textcolor{DarkBlue}{x_{31}}, \textcolor{DarkBlue}{x_{32}}, \textcolor{DarkRed}{y_3})$ und dessen gefitteter Wert $(\textcolor{DarkBlue}{x_{31}}, \textcolor{DarkBlue}{x_{32}}, \textcolor{LightBlue}{\hat{y}_3})$ zu sehen ist, sind zwei Regressionshyperebenen eingezeichnet: einmal die prognostizierte mit $\textcolor{LightBlue}{\yh}=\textcolor{DarkBlue}{\mX}\textcolor{Purple}{\hbeta}$, wobei man deren gesch?tzten Parameter $\textcolor{Purple}{\hbeta_1}, \textcolor{Purple}{\hbeta_2}$ als Steigungen der Ebene bzw. als Tangens des Winkels zwischen Ebene und Regressor sehen kann und einmal die wahre $\textcolor{DarkRed}{\vy}=\textcolor{DarkBlue}{\mX}\textcolor{Pink}{\vbeta}$, wobei f?r die wahren Parameter $\textcolor{Pink}{\beta_1, \beta_2}$ das gleiche gilt.
\end{tabularx}
\end{document}