To receive notifications about scheduled maintenance, please subscribe to the mailing-list gitlab-operations@sympa.ethz.ch. You can subscribe to the mailing-list at https://sympa.ethz.ch

Commit 0afea2fa authored by zrene's avatar zrene
Browse files

Markov Ketten ergänzt

parent c74e0397
...@@ -5,6 +5,7 @@ ...@@ -5,6 +5,7 @@
\usepackage{multicol} \usepackage{multicol}
\usepackage[compact]{titlesec} \usepackage[compact]{titlesec}
% math % math
\usepackage{amsmath} \usepackage{amsmath}
\usepackage{amssymb} \usepackage{amssymb}
...@@ -257,6 +258,12 @@ ...@@ -257,6 +258,12 @@
} }
\newcommand{\eqbox}[1]{\fcolorbox{black}{white}{\hspace{0.5em}\(\displaystyle#1\)\hspace{0.5em}}}
\newcommand{\eqboxx}[1]{\fcolorbox{black}{SpringGreen}{\hspace{0.5em}$\displaystyle#1$\hspace{0.5em}}} % Linienintegral
% MATHEMATICS % MATHEMATICS
% =========== % ===========
......
...@@ -101,35 +101,151 @@ Es gilt $E[X] = \frac{1}{p}$ und $Var[X] = \frac{1-p}{p^2}$ ...@@ -101,35 +101,151 @@ Es gilt $E[X] = \frac{1}{p}$ und $Var[X] = \frac{1-p}{p^2}$
Zustand und Verhalten des Systems zur Zeit $t$ wird als Zufallsvariable $X_t$ modelliert. Wir betrachten nur Prozesse mit diskreten Zufallsvariablen $X_t$ (zustandsdiskret). In diskreter Zeit bedeutet, dass $T = \mathbb{N}_0$ ist. Zustand und Verhalten des Systems zur Zeit $t$ wird als Zufallsvariable $X_t$ modelliert. Wir betrachten nur Prozesse mit diskreten Zufallsvariablen $X_t$ (zustandsdiskret). In diskreter Zeit bedeutet, dass $T = \mathbb{N}_0$ ist.
\\ \\
\subsection{Markov Chain}
Definition: \textbf{Endliche Markov-Kette in diskreter Zeit} über der Zustandsmenge $S = \{0, 1, \ldots, n - 1 \}$. Falls $S = \mathbb{N}_0$ ist, dann nennen wir sie unendliche Markov-Kette in diskreter Zeit. \\
\begin{itemize}
\item Folge von Zufallsvariablen $(X_t)_{t \in \mathbb{N}_0}$ mit Wertemenge $S$
\item Startverteilung $q_0 = (q_{0,0}, q_{0,1}, \ldots, q_{0, n -1})$ mit $q_{0,j} \geq 0$ und $\sum_{i = 0}^{n - 1} q_{0,j} = 1$
\item Markov-Bedingung: $X_{t + 1}$ hängt nur von $X_t$ ab, d.h. für alle $t > 0$ und alle $I \subseteq \{0, 1, \ldots, t - 1 \}$ und $i, j, s_k \in S$ (für alle $k \in I$) gilt:
\[
P(X_{t + 1} = j \, | \, X_t = i, \forall k \in I: X_k = s_k) = P(X_{t + 1} = j \, | \, i)
\]
\end{itemize}
Falls $P(X_{t + 1} = j \, | \, X_t = i)$ für alle $i, j \in S$ unabhängig von $t$ ist, so heisst die Markov-Kette \textbf{(zeit)homogen}. \\
Für zeithomogene Markov-Ketten sind die Werte $p_{ij} = P(X_{t + 1} = j \, | \, X_t = i)$ eindeutig definiert und ergeben die Übergangsmatrix
\[
P = \left[\begin{matrix}
P(X_{t + 1} = 0 \, | \, X_t = 0) & \ldots & P(X_{t + 1} = n - 1 \, | \, X_t = 0) \\
P(X_{t + 1} = 0 \, | \, X_t = 1) & \ldots & P(X_{t + 1} = n - 1 \, | \, X_t = 1) \\
\vdots & \ddots & \vdots \\
P(X_{t + 1} = 0 \, | \, X_t = n - 1) & \ldots & P(X_{t + 1} = n - 1 \, | \, X_t = n - 1)
\end{matrix}\right]
\]
\textbf{Transition Matrix $P$}
\begin{itemize}
\item Zeilen = Startknoten
\item Spalten = Endknoten
\item $(P)_{i,j} = p_{i,j} = \Pr[\text{"Ubergang Zustand i zu j}]$
\end{itemize}
Wahrscheinlichkeitsverteilung $q_t$ (Zeilenvektor) zum Zeitpunkt (Zeilensumme $= 1$).\\
\\
\textbf{Beispiel}:\\
\begin{minipage}{0.55\columnwidth}
\begin{center}
\includegraphics[width=\textwidth]{./fig/MarkovChain/weather_graph.pdf}
\end{center}
\end{minipage}
\begin{minipage}{0.45\columnwidth}
\begin{center}
$
P =
\begin{pmatrix}
2/3 & 1/3 & 0 \\
1/2 & 0 & 1/2 \\
1/3 & 1/3 & 1/3 \\
\end{pmatrix}
$
\end{center}
\end{minipage}
Wenn 1. Tag sonnig: $q_0 = (1, 0 ,0 )$\\
\eqbox{q_{t+1} = q_t\cdot P}\hspace{1cm}\eqbox{q_{t} = q_0\cdot P^t}\\
\textbf{Random Walk}
Sei $G = (V,E)$ ein gerichteter Graph, $\omega \colon E \to [0,1]$ eine gewichtete Funktion, s.d $\sum \limits_{v\colon(u,v) \in E} \omega(u,v) = 1\quad \forall$ Nodes u. \\
Ein \textit{Gewichteter Random Walk} auf $G$ mit Startknoten $u$ ist folgende Markov Kette:
\begingroup
\leftskip=0.5cm
Startend mit $X_0 = u$, wird in jedem Schritt $t$ der Knoten $X_{t+1}$ nach Gewichtung $\omega(X_t,v)$ (mit $v$ Nachbar von $X_t$) gew"ahlt.
\endgroup
Falls $G$ ein \textit{ungerichteter und ungewichteter Graph} ist, dann wird $X_{t+1}$ zuf"allig aus $X_t$'s Nachbaren gew"ahlt und der Random Walk wird dann \textbf{simple} genannt.
\\
\subsection{Stationary Distribution \& Ergodicity}
\textbf{Stationary Distribution}\\
Eine Verteilung $\pi$ der Zust"ande heisst \textbf{stationary distribution} der Markov Kette mit der Transition Matrix $P$ wenn gilt \eqbox{\pi = \pi \cdot P}.\vspace{0.2cm}\\
Die Sequence $q_i = q_{i-1} \cdot P$ konvergiert nicht zwingend mit wachsendem $t$. Aber falls sie gegen $\pi$ konvergiert, muss gelten $\pi \cdot P = \pi$.
Die Summe aller $\pi_{i}$ ist 1.
Jede Markov Kette hat einen linken Eigenvektor mit Eigenwert = $1$.\\
\begin{minipage}{0.5\columnwidth}
Die station"are Verteilung muss \textit{nicht eindeutig} sein \begin{small} (siehe Abbildung rechts)\end{small}.\vspace{0.1cm}\\
Diese Markov Kette hat beispielsweise unendlich viele station"are Zust"ande ($\pi_0, \pi_1, \pi_{\alpha}$).\vspace{0.1cm}
\end{minipage}
\begin{minipage}{0.5\columnwidth}
\begin{center}
\includegraphics[width=0.9\textwidth]{./fig/MarkovChain/not_unique.pdf}\\
$\pi_0=(1,0,0)$\\$ \pi_1 = (0,0,1)$\\$ \pi_{\alpha} = (1-\alpha,0,\alpha)$\\$ \ldots$
\end{center}
\end{minipage}
u \& w sind \textit{absorbing states} (k"onnen nie mehr verlassen werden).\\
\subsubsection{Irreducible Markov Chains}
Eine Markov Kette wird irreduzibel genannt, falls alle Zust"ande von allen Anderen erreicht werden k"onnen. Dies gilt, falls $\forall i,j \in S$, $\exists t \in \mathbb{N}$, so dass $p_{i,j}^{(t)} >0$ gilt.\vspace{0.1cm}
Es gilt:
\begin{itemize}
\item$p_{i,j}^{(t)} \coloneqq (P^t)_{i,j}$ \\
\textit{Alle Zust"ande k"onnen von "uberall her erreicht werden.}
\item $h_{i,j} < \infty$ $\forall$ states $i,j$.
\item $ f_{i,j}=1$ $\forall$ states $i,j$.
\item \textbf{unique stationary distribution} $\pi_j = \frac{1}{h_{j,j}} \forall j \in S$.
\end{itemize}
Bei einer irreduziblen Markov Kette mit unendlich vielen Zust"anden existiert nicht zwingend eine station"are Verteilung.\\
\begin{minipage}{0.5\columnwidth}
\textbf{Achtung}: $\neq$ Konvergenz!\\
z.B. konvergiert Bsp. nur f"ur $q_0=\pi=(0.5,0.5)$.
\end{minipage}
\begin{minipage}{0.5\columnwidth}
\begin{center}
\includegraphics[width=0.55\columnwidth]{./fig/MarkovChain/not_convergent.pdf}
\end{center}
\end{minipage}
\subsection{Simple Random Walks}
Wir betrachten nur \textit{simple} Random Walks (ungerichtet und ungewichtet).\\
Sei $G$ ein Graph mit $m$ Kanten. Die station"are Verteilung $\pi$ von einem random walk auf $G$ ist gegeben durch:
\[\pi_u = \frac{\delta(u)}{2m} \]
Mit $\delta(u)$ Grad von $u$, respektiv die Anzahl Nachbarn.
\begin{itemize}
\item Folglich gilt: $ h_{u,u} = \frac{1}{\pi_u} = \frac{2m}{\delta(u)}$.
\item Die \textbf{cover time} $\text{cov}(v)$ ist die erwartete Anzahl Schritte bis alle Knoten mindestens einmal von $G$ besucht wurden.
\end{itemize}
Sei $G = (V,E)$ ein Graph mit $n$ Knoten und $m$ Kanten. Dann gilt $\text{cov}(s) < 4m(n-1)$ $\forall s\in V$ (Startknoten).\\
\\
F"ur ein Netzwerk aus $1\Omega$ Widerst"anden gilt die \textit{commute time}: $c_{u,v} = 2m \cdot R(u,v)$, wobei $R(u,v)$ den effektiven Widerstand zwischen u und v ist.\\
\textbf{Foster's Theorem} besagt, dass f"ur alle verbundenen Graphen G = (V,E) mit $n$ Knoten gilt: $$\sum \limits_{(u,v) \in E} R(u,v) = n-1$$
das heisst hinzuf"ugen/entfernen von Kanten in G reduziert/erhöht den effektiven Widerstand entsprechend.\\
\subsection{Markov-Prozess}
Als \textbf{Markov-Prozess} bezeichnen wir einen Prozess, der nur vom aktuellen Zustand abhängig ist, und nicht von der Vergangenheit. Als \textbf{Markov-Prozess} bezeichnen wir einen Prozess, der nur vom aktuellen Zustand abhängig ist, und nicht von der Vergangenheit.
\begin{figure}[H] \begin{figure}[H]
\centering \centering
\includegraphics[width=\columnwidth]{fig/markov-diag-bsp} \includegraphics[width=0.7\columnwidth]{fig/markov-diag-bsp}
\end{figure} \end{figure}
\subsection{Markov-Kette}
Definition: \textbf{Endliche Markov-Kette in diskreter Zeit} über der Zustandsmenge $S = \{0, 1, \ldots, n - 1 \}$. Falls $S = \mathbb{N}_0$ ist, dann nennen wir sie unendliche Markov-Kette in diskreter Zeit. \\
\begin{itemize}
\item Folge von Zufallsvariablen $(X_t)_{t \in \mathbb{N}_0}$ mit Wertemenge $S$
\item Startverteilung $q_0 = (q_{0,0}, q_{0,1}, \ldots, q_{0, n -1})$ mit $q_{0,j} \geq 0$ und $\sum_{i = 0}^{n - 1} q_{0,j} = 1$
\item Markov-Bedingung: $X_{t + 1}$ hängt nur von $X_t$ ab, d.h. für alle $t > 0$ und alle $I \subseteq \{0, 1, \ldots, t - 1 \}$ und $i, j, s_k \in S$ (für alle $k \in I$) gilt:
\[
P(X_{t + 1} = j \, | \, X_t = i, \forall k \in I: X_k = s_k) = P(X_{t + 1} = j \, | \, i)
\]
\end{itemize}
Falls $P(X_{t + 1} = j \, | \, X_t = i)$ für alle $i, j \in S$ unabhängig von $t$ ist, so heisst die Markov-Kette \textbf{(zeit)homogen}. \\
Für zeithomogene Markov-Ketten sind die Werte $p_{ij} = P(X_{t + 1} = j \, | \, X_t = i)$ eindeutig definiert und ergeben die Übergangsmatrix
\[
P = \left[\begin{matrix}
P(X_{t + 1} = 0 \, | \, X_t = 0) & \ldots & P(X_{t + 1} = n - 1 \, | \, X_t = 0) \\
P(X_{t + 1} = 0 \, | \, X_t = 1) & \ldots & P(X_{t + 1} = n - 1 \, | \, X_t = 1) \\
\vdots & \ddots & \vdots \\
P(X_{t + 1} = 0 \, | \, X_t = n - 1) & \ldots & P(X_{t + 1} = n - 1 \, | \, X_t = n - 1)
\end{matrix}\right]
\]
\paragraph*{Rechnen mit Übergangsmatrizen} \hspace*{0pt} \\ \paragraph*{Rechnen mit Übergangsmatrizen} \hspace*{0pt} \\
Startverteilung: $q_0 = (q_{0,0}, q_{0,1}, \ldots, q_{0, n -1})$ \\ Startverteilung: $q_0 = (q_{0,0}, q_{0,1}, \ldots, q_{0, n -1})$ \\
...@@ -149,16 +265,39 @@ Der Eintrag in Zeile $i$ und Spalte $j$ von $P^k$, bezeichnet mit $p_{ij}^k = (P ...@@ -149,16 +265,39 @@ Der Eintrag in Zeile $i$ und Spalte $j$ von $P^k$, bezeichnet mit $p_{ij}^k = (P
\subsubsection{Transientenanalyse} \subsubsection{Transientenanalyse}
\paragraph*{Definition:} \textbf{Übergangszeit (hitting time)} \\
Zufallsvariable $T_{ij} = \min \{ n \geq 1 \, | \, X_n = j, \text{wenn} X_0 = i \}$ \\
(falls der Zustand $j$ nie erreicht wird, so setzt $T_{ij} = \infty$)
\\
$h_{ij} = E[T_{ij}]$ ist die erwartete \textbf{Übergangszeit} von $i$ nach $j$.
\\
$f_{ij} = P(T_{ij} < \infty)$ ist die \textbf{Ankunfswahrscheinlichkeit} von $i$ nach $j$. \paragraph*{Definition:}
\\
\textbf{Sojourn Time} \\
$T_i$ ist die Zeit,die der Prozess im Zustand i bleibt.\\
$T_i$ ist geometrisch verteilt:\\
\eqbox{\Pr[T_i = k] = p_{i,i}^{k-1} \cdot (1- p_{i,i})}\\
\eqbox{\mathbb{E}[T_i] = \frac{1}{p_{i,i}}}\\
\textbf{Übergangszeit (Hitting Time):} \\
Seien $i$ und $j$ zwei Zust"ande. Die \textbf{hitting time} $T_{i,j}$ ist die Zufallsvariable, welche die Anzahl Schritte von Zustand i bis zu j z"ahlt. Zbsp. $T_{i,j}$ ist die kleinste Zahl $t\geq 1$ f"ur $X_t=j$ unter der Voraussetzung $X_0= i$. \vspace{0.2cm}\\
\textbf{Expected hitting time}: \textit{Erwartungswert Anzahl Schritte von $i$ nach $j$.}\\
\eqbox{h_{i,j} =\mathbb{E}[T_{i,j}]= 1 + \sum_{k\neq j} p_{i,k}h_{k,j}} \vspace{0.2cm}\\
\textbf{Arrival probability}: \textit{Wahrscheinlichkeit, dass wir im Zustand j jemals von i enden.}\\
\eqbox{f_{i,j} = \Pr[T_{i,j} < \infty]= p_{i,j} + \sum_{k \neq j} p_{i,k} f_{k,j}}\vspace{0.2cm}\\
\textbf{Commute Time}: \textit{Anzahl Schritte von $i$ nach $j$ und zur"uck.}\\
\eqbox{c_{i,j} = h_{i,j}+h_{j,i}}\\
%
% \textbf{Übergangszeit (hitting time)} \\
%
%
% Zufallsvariable $T_{ij} = \min \{ n \geq 1 \, | \, X_n = j, \text{wenn} X_0 = i \}$ \\
% (falls der Zustand $j$ nie erreicht wird, so setzt $T_{ij} = \infty$)
% \\
%
% $h_{ij} = E[T_{ij}]$ ist die erwartete \textbf{Übergangszeit} von $i$ nach $j$.
% \\
%
% $f_{ij} = P(T_{ij} < \infty)$ ist die \textbf{Ankunfswahrscheinlichkeit} von $i$ nach $j$.
% \\
\begin{ftext} \begin{ftext}
\textbf{Lemma}. Für die \textbf{erwarteten Übergangszeiten} gilt für alle $i,j \in S$ \textbf{Lemma}. Für die \textbf{erwarteten Übergangszeiten} gilt für alle $i,j \in S$
...@@ -192,14 +331,11 @@ Es kann auch nicht eindeutige stationäre Verteilungen geben (beispielsweise bei ...@@ -192,14 +331,11 @@ Es kann auch nicht eindeutige stationäre Verteilungen geben (beispielsweise bei
\end{fsatz} \end{fsatz}
\\ \\
\subsubsection*{Aperiodische Markov-Ketten} \subsubsection*{Aperiodische Markov-Ketten}Die \textbf{Periode} vom Zustand $j\in S$ ist das grösste $\xi \in \mathbb{N}$ für das gilt:
Die \textbf{Periode} eines Zustands $j \in S$ ist die grösste Zahl $\xi \in \mathbb{N}$, so dass gilt \[ \lbrace n \in \mathbb{N} \vert p_{j,j}^{(n)} >0 \rbrace \subseteq \lbrace i \cdot \xi \vert i \in \mathbb{N} \rbrace \]
\[ Ein Zustand mit Periode $\xi = 1$ (ggT) wird \textbf{aperiodisch} genannt. Die Markov Kette ist \textbf{aperiodisch}, falls alle Zust"ande dies sind.\\
\{ n \in \mathbb{N}_0 \, | \, p_{jj}^{(n)} > 0 \} \subseteq \{ i \cdot \xi \, | \, i \in \mathbb{N}_0 \}
\] Startet man in einem Zustand mit Periode $\xi (i) >1$, so kann das System h"ochstens zu den Zeitpunkten $n \xi(i), n\in \mathbb{N}$ zur"uckkehren.
Ein Zustand mit einer Periode $\xi = 1$ heisst \textbf{aperiodisch}. \\
Eine Markov-Kette heisst aperiodisch, wenn alle Zustände aperiodisch sind.
\\
\paragraph*{Nützliche Testbedingung:} Zustand $j$ ist aperiodisch, falls eine der beiden folgenden Bedingungen gilt \paragraph*{Nützliche Testbedingung:} Zustand $j$ ist aperiodisch, falls eine der beiden folgenden Bedingungen gilt
\begin{itemize} \begin{itemize}
...@@ -207,6 +343,26 @@ Eine Markov-Kette heisst aperiodisch, wenn alle Zustände aperiodisch sind. ...@@ -207,6 +343,26 @@ Eine Markov-Kette heisst aperiodisch, wenn alle Zustände aperiodisch sind.
\item $\exists n, m \in \mathbb{N}: p_{jj}^{(m)}, p_{jj}^{(n)} > 0$ und $\text{ggt}(m, n) = 1$ \item $\exists n, m \in \mathbb{N}: p_{jj}^{(m)}, p_{jj}^{(n)} > 0$ und $\text{ggt}(m, n) = 1$
\end{itemize} \end{itemize}
\begin{itemize}
\item Irreduzible Markov Kette $\Leftrightarrow$ Alle Zust"ande haben gleiche Periode
\item Eine Markov-Kette, die in der Übertragungsmatrix (transition matrix) keine 0 als Eintrag enthält, ist aperiodisch.
\item Ein Zustand $j$ mit $p_{j,j} >0$ ist trivialerweise aperiodisch.
\item Falls $p_{j,j} = 0$ gilt, kann der Zustand $j$ wie folgt auf Aperiodizit"at getestet werden:
\\ Abb: $j$ liegt in zwei Zyklen der L"ange $k$ und $l$ und sind teilerfremd ($\text{ggT} (j,k) = 1$).
\includegraphics[width=0.6\columnwidth]{./fig/MarkovChain/period.pdf}
\end{itemize}
\textbf{Ergodic Markov Chains}: Falls eine endliche Markov Kette irreduzibel und aperiodisch ist, dann wird sie \textbf{ergodisch} genannt.\\
Falls die Markov Kette ergodisch ist gilt:
\[ \lim\limits_{t \to \infty} q_t = \pi \]
wobei $\pi$ eine eindeutige station"are Verteilung der Kette ist.\\
\subsubsection*{Ergodische Markov-Ketten} \subsubsection*{Ergodische Markov-Ketten}
Irreduzible, aperiodische Markov-Ketten heissen \textbf{ergodisch}. Irreduzible, aperiodische Markov-Ketten heissen \textbf{ergodisch}.
...@@ -628,8 +784,3 @@ Es gilt $P(a < X \leq b) = F_X(b) - F_X(a)$ ...@@ -628,8 +784,3 @@ Es gilt $P(a < X \leq b) = F_X(b) - F_X(a)$
\item Die Lösung dieses linearen Gleichungssystems ergibt direkt die gesamten Ankunftsraten $\lambda_j$. \item Die Lösung dieses linearen Gleichungssystems ergibt direkt die gesamten Ankunftsraten $\lambda_j$.
\end{itemize} \end{itemize}
\end{ftext} \end{ftext}
Markdown is supported
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment