Wahrscheinlichkeitserzeugende Funktion

Eine wahrscheinlichkeitserzeugende Funktion, auch kurz erzeugende Funktion^[1] oder Erzeugendenfunktion^[2] genannt, ist in der Wahrscheinlichkeitstheorie eine spezielle reelle Funktion. Jeder diskreten Wahrscheinlichkeitsverteilung auf den natürlichen Zahlen und jeder Zufallsvariable mit Werten in den natürlichen Zahlen kann eine wahrscheinlichkeitserzeugende Funktion zugeordnet werden. Umgekehrt kann auch aus jeder wahrscheinlichkeitserzeugenden Funktion die Wahrscheinlichkeitsverteilung oder die Verteilung der Zufallsvariable eindeutig rekonstruiert werden.

Aufgrund dieser eindeutigen Zuordnung ermöglichen es wahrscheinlichkeitserzeugende Funktionen, gewisse Eigenschaften der Verteilungen und Operationen von Zufallsvariablen auf Eigenschaften und Operationen von Funktionen zu übertragen. So existiert beispielsweise eine Beziehung zwischen den Ableitungen der wahrscheinlichkeitserzeugenden Funktion und dem Erwartungswert, der Varianz und weiteren Momenten der Zufallsvariable. Ebenso entspricht der Addition von stochastisch unabhängigen Zufallsvariablen oder der Faltung der Wahrscheinlichkeitsverteilungen der Multiplikation der entsprechenden wahrscheinlichkeitserzeugenden Funktionen. Diese Vereinfachung wichtiger Operationen ermöglicht dann beispielsweise die Untersuchung von komplexen stochastischen Objekten wie dem Bienaymé-Galton-Watson-Prozess.

Die wahrscheinlichkeitserzeugende Funktion lässt sich auf zwei Arten angeben: einerseits mittels einer Wahrscheinlichkeitsverteilung, andererseits mittels der Verteilung einer Zufallsvariablen. Beide Arten sind äquivalent in dem Sinn, dass jede Wahrscheinlichkeitsverteilung als Verteilung einer Zufallsvariablen aufgefasst werden kann und jede Verteilung einer Zufallsvariable wieder eine Wahrscheinlichkeitsverteilung ist. Bei beiden Definitionen ist ${\displaystyle 0^{0}:=1}$ gesetzt. Mit ${\displaystyle \mathbb {N} _{0}}$ sei die Menge der natürlichen Zahlen inklusive der 0 bezeichnet.

Ist ${\displaystyle P}$ eine Wahrscheinlichkeitsverteilung auf ${\displaystyle (\mathbb {N} _{0},{\mathcal {P}}(\mathbb {N} _{0}))}$ mit Wahrscheinlichkeitsfunktion ${\displaystyle f_{P}(k)=P(\{k\})}$, so heißt die Funktion

${\displaystyle m_{P}\colon [0,1]\to [0,1]}$

definiert durch

${\displaystyle m_{P}(t)=\sum _{k=0}^{\infty }f_{P}(k)t^{k}}$

die wahrscheinlichkeitserzeugende Funktion von ${\displaystyle P}$ beziehungsweise von ${\displaystyle f_{P}}$.^[3]

Für eine Zufallsvariable ${\displaystyle X}$ mit Werten in ${\displaystyle \mathbb {N} _{0}}$ ist die wahrscheinlichkeitserzeugende Funktion

${\displaystyle m_{X}\colon [0,1]\to [0,1]}$

von ${\displaystyle X}$ beziehungsweise von ${\displaystyle P_{X}}$ definiert als

${\displaystyle m_{X}(t):=m_{P\circ X^{-1}}(t)=\sum _{k=0}^{\infty }t^{k}P[X=k]}$.^[4]

Somit ist die wahrscheinlichkeitserzeugende Funktion einer Zufallsvariable genau die wahrscheinlichkeitserzeugende Funktion ihrer Verteilung. Alternativ lässt sich die wahrscheinlichkeitserzeugende Funktion einer Zufallsvariable auch über den Erwartungswert definieren als

${\displaystyle m_{X}(t):=\operatorname {E} \left[t^{X}\right]}$.^[4]

Gegeben sei eine Bernoulli-verteilte Zufallsvariable ${\displaystyle X}$, also ${\displaystyle X\sim \operatorname {Ber} (p)}$. Dann ist ${\displaystyle P(X=0)=1-p}$ und ${\displaystyle P(X=1)=p}$. Rein formell fasst man ${\displaystyle X}$ als Zufallsvariable mit Werten in ganz ${\displaystyle \mathbb {N} _{0}}$ auf und setzt dann ${\displaystyle P(X=n)=0}$ für ${\displaystyle n\geq 2}$. Dann ist

${\displaystyle m_{X}(t)=\sum _{k=0}^{\infty }t^{k}P[X=k]=1-p+pt}$

Ist die Zufallsvariable ${\displaystyle Y}$ binomialverteilt mit Parametern ${\displaystyle n}$ und ${\displaystyle p}$, also ${\displaystyle Y\sim \operatorname {Bin} _{n,p}}$, so ist für ${\displaystyle k\leq n}$

${\displaystyle P(X=k)={\binom {n}{k}}p^{k}(1-p)^{n-k}}$

und ${\displaystyle P(X=k)=0}$ für ${\displaystyle k>n}$. Die wahrscheinlichkeitserzeugende Funktion ist dann

${\displaystyle m_{X}(t)=\sum _{k=0}^{n}{\binom {n}{k}}(pt)^{k}(1-p)^{n-k}=(pt+1-p)^{n}}$.

Dies folgt mittels des binomischen Lehrsatzes.

Die wahrscheinlichkeitserzeugende Funktion ist eine Potenzreihe und hat einen Konvergenzradius von mindestens 1, sie konvergiert also für alle ${\displaystyle t\in [0,1]}$. Dies folgt daraus, dass alle Koeffizienten der Potenzreihe positiv sind und sich zu 1 aufsummieren. Daraus folgt dann ${\displaystyle \sum _{k=0}^{\infty }\left|t^{k}P[X=k]\right|\leq 1}$ für ${\displaystyle t\in [-1,1]}$. Damit erben die wahrscheinlichkeitserzeugenden Funktionen auf dem untersuchten Intervall ${\displaystyle [0,1]}$ alle Eigenschaften der Potenzreihen: Sie sind stetig und auf dem Intervall ${\displaystyle [0,1)}$ unendlich oft differenzierbar.

Da jedes der Monome ${\displaystyle x^{k}}$ konvex und monoton wachsend ist und diese Eigenschaften abgeschlossen bezüglich konischen Kombinationen sind, ist auch die wahrscheinlichkeitserzeugende Funktion konvex und monoton wachsend.

Die wahrscheinlichkeitserzeugende Funktion bestimmt die Verteilung von ${\displaystyle X}$ eindeutig:

Sind ${\displaystyle X}$ und ${\displaystyle Y}$ ${\displaystyle \mathbb {N} _{0}}$-wertige Zufallsvariable mit ${\displaystyle m_{X}(t)=m_{Y}(t)}$ für alle ${\displaystyle t\in [0,c]}$ mit einem ${\displaystyle c>0}$, dann folgt ${\displaystyle P[X=k]=P[Y=k]}$ für alle ${\displaystyle k\in \mathbb {N} _{0}}$.

Es gilt dann nämlich nach der Taylor-Formel für alle ${\displaystyle k\in \mathbb {N} _{0}}$

${\displaystyle P[X=k]={\dfrac {m_{X}^{(k)}(0)}{k!}}={\dfrac {m_{Y}^{(k)}(0)}{k!}}=P[Y=k]}$.

Dieser Zusammenhang zeigt, dass ${\displaystyle m_{X}}$ die Wahrscheinlichkeiten ${\displaystyle P[X=k]}$ „erzeugt“ und die Wahrscheinlichkeitsfunktion aus der wahrscheinlichkeitserzeugenden Funktion rekonstruiert werden kann.

Sind ${\displaystyle X}$ und ${\displaystyle Y}$ unabhängige ${\displaystyle \mathbb {N} _{0}}$-wertige Zufallsvariablen, so gilt für die wahrscheinlichkeitserzeugende Funktion von ${\displaystyle X+Y}$

${\displaystyle m_{X+Y}(t)=\operatorname {E} (t^{X+Y})=\operatorname {E} (t^{X}\cdot t^{Y})=\operatorname {E} (t^{X})\cdot \operatorname {E} (t^{Y})=m_{X}(t)\cdot m_{Y}(t)}$,

denn mit ${\displaystyle X}$ und ${\displaystyle Y}$ sind auch ${\displaystyle t^{X}}$ und ${\displaystyle t^{Y}}$ unabhängig. Das lässt sich direkt auf endliche Summen unabhängiger Zufallsvariabler verallgemeinern: Sind ${\displaystyle X_{1},\ldots ,X_{n}}$ unabhängige ${\displaystyle \mathbb {N} _{0}}$-wertige Zufallsvariablen, dann gilt für ${\displaystyle S_{n}=\sum _{i=1}^{n}X_{i}}$

${\displaystyle m_{S_{n}}(t)=\prod _{i=1}^{n}m_{X_{i}}(t)}$.

Daraus folgt dann direkt für die wahrscheinlichkeitserzeugende Funktion der Faltung ${\displaystyle P*Q}$ der Wahrscheinlichkeitsmaße ${\displaystyle P,Q}$

${\displaystyle m_{P*Q}(t)=m_{P}(t)m_{Q}(t)}$.

Beispiel

Seien ${\displaystyle X_{1},X_{2}}$ unabhängige, Bernoulli-verteilte Zufallsvariablen zum selben Parameter ${\displaystyle p}$. Dann ist die Summe der Zufallsvariablen bekanntermaßen binomialverteilt zu den Parametern ${\displaystyle 2}$ und ${\displaystyle p}$, also ${\displaystyle X_{1}+X_{2}\sim \operatorname {Bin} _{2,p}}$. Mit den oben im Abschnitt Elementare Beispiele hergeleiteten wahrscheinlichkeitserzeugenden Funktionen für die Bernoulli-Verteilung und die Binomialverteilung folgt

${\displaystyle m_{X_{1}}(t)\cdot m_{X2}(t)=(1-p+pt)^{2}=m_{\operatorname {Bin} _{2,p}}(t)=m_{X_{1}+X_{2}}(t)}$.

Für eine ${\displaystyle \mathbb {N} _{0}}$-wertige Zufallsvariable ${\displaystyle X}$ und ${\displaystyle k\in \mathbb {N} _{0}}$ ist

${\displaystyle \operatorname {E} \left[{\binom {X}{k}}\right]={\dfrac {\lim _{t\uparrow 1}m_{X}^{(k)}(t)}{k!}}}$

beziehungsweise

${\displaystyle \operatorname {E} \left[X(X-1)\dots (X-k+1)\right]=\lim _{t\uparrow 1}m_{X}^{(k)}(t)}$.

Dabei sind beide Seiten der beiden Gleichungen genau dann endlich, wenn ${\displaystyle \operatorname {E} \left[X^{k}\right]}$ endlich ist.

Damit lassen sich insbesondere der Erwartungswert und die Varianz einer ${\displaystyle \mathbb {N} _{0}}$-wertigen Zufallsvariablen aus ihrer wahrscheinlichkeitserzeugenden Funktion ermitteln:

${\displaystyle \operatorname {E} \left[X\right]=\lim _{t\uparrow 1}m_{X}'(t)}$,

${\displaystyle \operatorname {Var} \left[X\right]=\operatorname {E} \left[X(X-1)\right]+\operatorname {E} \left[X\right]-\operatorname {E} \left[X\right]^{2}=\lim _{t\uparrow 1}\left(m_{X}''(t)+m_{X}'(t)-m_{X}'(t)^{2}\right)}$.

Die Betrachtung des linksseitigen Grenzwertes ist hier notwendig, da die Differenzierbarkeit von Potenzreihen auf dem Rande des Konvergenzradius nicht notwendigerweise gegeben ist.

Beispiel

Sei ${\displaystyle X}$ eine binomialverteilte Zufallsvariable, also ${\displaystyle X\sim \operatorname {Bin} _{n,p}}$. Dann ist

${\displaystyle m_{X}(t)=(pt+1-p)^{n},\quad m'_{X}(t)=np(pt+1-p)^{n-1}{\text{ und }}m''_{X}(t)=n(n-1)p^{2}(pt+1-p)^{n-2}}$

Beide Ableitungen sind Polynome und können daher problemlos für ${\displaystyle t=1}$ ausgewertet werden, der linksseitige Grenzwert braucht also nicht betrachtet werden. Es ist

${\displaystyle m'_{X}(1)=np{\text{ und }}m''_{X}(1)=n(n-1)p^{2}}$.

Damit folgt mit den obigen Ergebnissen

${\displaystyle \operatorname {E} (X)=m'_{X}(1)=np,\quad \operatorname {Var} (X)=m_{X}''(1)+m_{X}'(1)-m_{X}'(1)^{2}=np(1-p)}$.

Lineare Transformationen der Zufallsvariable wirken wie folgt auf die wahrscheinlichkeitserzeugende Funktion:

${\displaystyle m_{aX+b}(t)=t^{b}m_{X}(t^{a})}$.

Beispiel

Ist ${\displaystyle X}$ eine Bernoulli-verteilte Zufallsvariable, also ${\displaystyle X\sim \operatorname {Ber} (p)}$, so ist für ${\displaystyle a,b\in \mathbb {N} }$ die Zufallsvariable ${\displaystyle Y=aX+b}$ zweipunktverteilt auf ${\displaystyle \{b,a+b\}}$. Die wahrscheinlichkeitserzeugende Funktion ist dann

${\displaystyle m_{Y}(t)=m_{aX+b}(t)=t^{b}m_{X}(t^{a})=t^{b}\cdot (1-p+pt^{a})=(1-p)t^{b}+pt^{a+b}}$.

Die punktweise Konvergenz der wahrscheinlichkeitserzeugenden Funktion lässt sich direkt mit der Konvergenz in Verteilung in Beziehung setzen:

Sind ${\displaystyle X,X_{1},X_{2},X_{3},\dots }$ Zufallsvariablen mit zugehörigen wahrscheinlichkeitserzeugenden Funktionen ${\displaystyle m,m_{1},m_{2},m_{3},\dots }$, so konvergieren die ${\displaystyle X_{n}}$ genau dann in Verteilung gegen ${\displaystyle X}$, wenn die wahrscheinlichkeitserzeugenden Funktionen ${\displaystyle m_{n}}$ für alle ${\displaystyle t\in [0,\varepsilon )}$ mit einem ${\displaystyle \varepsilon \in (0,1)}$ punktweise gegen ${\displaystyle m}$ konvergieren.^[5]

Die Aussage gilt ebenso für die wahrscheinlichkeitserzeugenden Funktionen von Wahrscheinlichkeitsverteilungen und die schwache Konvergenz.

Mittels wahrscheinlichkeitserzeugender Funktionen lassen sich leicht Summen über eine zufällige Anzahl von Summanden berechnen. Sind ${\displaystyle (X_{i})_{i\in \mathbb {N} }}$ unabhängig identisch verteilte Zufallsvariablen mit Werten in ${\displaystyle \mathbb {N} _{0}}$ und ${\displaystyle T}$ eine weitere, von allen ${\displaystyle X_{i}}$ unabhängige Zufallsvariable mit demselben Wertebereich. Dann hat die Zufallsvariable

${\displaystyle Z=\sum _{i=1}^{T}X_{i}}$

die wahrscheinlichkeitserzeugende Funktion

${\displaystyle m_{Z}(t)=m_{T}(m_{X_{1}}(t))}$.

Diese Eigenschaft macht man sich zum Beispiel bei der Analyse des Galton-Watson-Prozesses zunutze. Nach den obigen Regeln für die Berechnung des Erwartungswertes gilt dann mit der Kettenregel

${\displaystyle \operatorname {E} (Z)=\operatorname {E} (T)\cdot \operatorname {E} (X_{1})}$,

was der Formel von Wald entspricht.

Für die Varianz gilt dann

${\displaystyle \operatorname {Var} (Z)=\operatorname {Var} (T)\operatorname {E} (X_{1})^{2}+\operatorname {E} (T)\operatorname {Var} (X_{1})}$.

Dies ist genau die Blackwell-Girshick-Gleichung. Auch sie folgt mittels der obigen Regeln zur Bestimmung der Varianz und der Produktregel.

Ist ${\displaystyle X=(X_{1},\dots ,X_{k})}$ ein ${\displaystyle k}$-dimensionaler Zufallsvektor mit Werten in ${\displaystyle \mathbb {N} _{0}^{k}}$, so ist die wahrscheinlichkeitserzeugende Funktion von ${\displaystyle X}$ definiert als

${\displaystyle m_{X}(t):=m_{X}(t_{1},\dots ,t_{k})=\operatorname {E} \left(\prod _{i=1}^{k}t_{i}^{X_{i}}\right)=\sum _{x_{1},\ldots ,x_{k}=0}^{\infty }f_{P}(x_{1},\ldots ,x_{k})t_{1}^{x_{1}}\dots t_{k}^{x_{k}}}$

mit ${\displaystyle f_{P}(x_{1},\ldots ,x_{k})=P(X_{1}=x_{1},\dotsc ,X_{k}=x_{k})}$.

Analog zum eindimensionalen Fall gilt

${\displaystyle \operatorname {E} (X_{i})={\frac {\partial m_{X}}{\partial t_{i}}}(1,\dots ,1)\quad \forall i\in \{1,\dots ,k\}}$

sowie

${\displaystyle \operatorname {Var} (X_{i})={\frac {\partial ^{2}m_{X}}{{\partial t_{i}}^{2}}}(1,\dots ,1)+{\frac {\partial m_{X}}{\partial t_{i}}}(1,\dots ,1)\left(1-{\frac {\partial m_{X}}{\partial t_{i}}}(1,\dots ,1)\right)\quad \forall i\in \{1,\dots ,k\}}$

und

${\displaystyle \operatorname {Cov} (X_{i},X_{j})={\frac {\partial ^{2}m_{X}}{\partial t_{i}\partial t_{j}}}(1,\dots ,1)-{\frac {\partial m_{X}}{\partial t_{i}}}(1,\dots ,1)\cdot {\frac {\partial m_{X}}{\partial t_{j}}}(1,\dots ,1)\quad \forall i,j\in \{1,\dots ,k\}}$

In der Tabelle sind einige wahrscheinlichkeitserzeugende Funktionen von gängigen diskreten Verteilungen aufgeführt. Wahrscheinlichkeitserzeugende Funktionen von Wahrscheinlichkeitsverteilungen, die hier nicht aufgeführt sind, stehen in dem jeweiligen Artikel der Wahrscheinlichkeitsfunktion.

Verteilung	Wahrscheinlichkeitserzeugende Funktion ${\displaystyle m_{X}(t)}$
Bernoulli-Verteilung	${\displaystyle m_{X}(t)=1-p+pt}$
Zweipunktverteilung	${\displaystyle m_{X}(t)=(1-p)t^{a}+pt^{b}}$
Binomialverteilung ${\displaystyle B(n,p)}$	${\displaystyle m_{X}(t)=(1-p+pt)^{n}}$
Geometrische Verteilung ${\displaystyle G(p)}$	${\displaystyle m_{X}(t)={\frac {p}{1-(1-p)t}}}$
Negative Binomialverteilung ${\displaystyle NB(r,p)}$	${\displaystyle m_{X}(t)=\left({\frac {p}{1-(1-p)t}}\right)^{r}}$
Diskrete Gleichverteilung auf ${\displaystyle \{1,\dotsc ,n\}}$	${\displaystyle m_{X}(t)=\sum _{k=1}^{n}{\frac {1}{n}}t^{k}={\frac {t^{n+1}-t}{n(t-1)}}}$
Logarithmische Verteilung	${\displaystyle m_{X}(t)={\frac {\ln(1-pt)}{\ln(1-p)}}}$
Poisson-Verteilung ${\displaystyle P_{\lambda }}$	${\displaystyle m_{X}(t)=\mathrm {e} ^{\lambda (t-1)}}$
Verallgemeinerte Binomialverteilung ${\displaystyle GB(p)}$	${\displaystyle m_{X}(t)=\prod \limits _{j=1}^{n}(1-{p_{j}}+{p_{j}}{t})}$
Multivariate Verteilungen
Multinomialverteilung	${\displaystyle m_{X}(t)={\biggl (}\sum _{i=1}^{k}p_{i}t_{i}{\biggr )}^{n}}$

Insbesondere ist die wahrscheinlichkeitserzeugende Funktion der Binomialverteilung gleich dem n-fachen Produkt der wahrscheinlichkeitserzeugenden Funktion der Bernoulli-Verteilung, da die Binomialverteilung genau die Summe von unabhängigen Bernoulli-Verteilungen ist. Dasselbe gilt für die geometrische Verteilung und die negative Binomialverteilung.

Die wahrscheinlichkeitserzeugende Funktion einer Zufallsvariable ${\displaystyle X}$ mit Wahrscheinlichkeitsfunktion ${\displaystyle p}$ ist ein Spezialfall einer erzeugenden Funktion mit ${\displaystyle a_{i}=p\left({i}\right)}$ für ${\displaystyle i\in \mathbb {N} _{0}}$. Außer der wahrscheinlichkeitserzeugenden Funktion gibt es noch drei weitere erzeugende Funktionen in der Stochastik, die aber nicht nur für diskrete Verteilungen definiert werden. Die momenterzeugende Funktion ist definiert als ${\displaystyle M_{X}\left(t\right):=\operatorname {E} \left(e^{tX}\right)}$. Demnach gilt ${\displaystyle m_{X}\left(e^{t}\right)=M_{X}\left(t\right)}$ Die charakteristische Funktion ist definiert als ${\displaystyle \varphi _{X}\left(t\right):=\operatorname {E} \left(e^{itX}\right)}$. Demnach gilt ${\displaystyle m_{X}\left(e^{it}\right)=\varphi _{X}\left(t\right)}$.

Außerdem gibt es noch die kumulantenerzeugende Funktion als Logarithmus der momenterzeugenden Funktion. Aus ihr wird der Begriff der Kumulante abgeleitet.

• Klaus D. Schmidt: Maß und Wahrscheinlichkeit. Springer, Berlin Heidelberg 2009, ISBN 978-3-540-89729-3, S. 370 ff.
• Achim Klenke: Wahrscheinlichkeitstheorie. 3. Auflage. Springer-Verlag, Berlin Heidelberg 2013, ISBN 978-3-642-36017-6. 
• Ulrich Krengel: Einführung in die Wahrscheinlichkeitstheorie und Statistik. Für Studium, Berufspraxis und Lehramt. 8. Auflage. Vieweg, Wiesbaden 2005, ISBN 3-8348-0063-5. 
• Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, ISBN 978-3-11-021526-7. 
• Christian Hesse: Angewandte Wahrscheinlichkeitstheorie. 1. Auflage. Vieweg, Wiesbaden 2003, ISBN 3-528-03183-2. 

1. ↑ Ehrhard Behrends: Elementare Stochastik. Ein Lernbuch – von Studierenden mitentwickelt. Springer Spektrum, Wiesbaden 2013, ISBN 978-3-8348-1939-0, S. 108, doi:10.1007/978-3-8348-2331-1. 
2. ↑ Achim Klenke: Wahrscheinlichkeitstheorie. 3. Auflage. Springer-Verlag, Berlin Heidelberg 2013, ISBN 978-3-642-36017-6, S. 79, doi:10.1007/978-3-642-36018-3. 
3. ↑ Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, ISBN 978-3-11-021526-7, S. 111, doi:10.1515/9783110215274. 
4. ↑ ^{a b} Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, ISBN 978-3-11-021526-7, S. 114, doi:10.1515/9783110215274. 
5. ↑ Achim Klenke: Wahrscheinlichkeitstheorie. 3. Auflage. Springer-Verlag, Berlin Heidelberg 2013, ISBN 978-3-642-36017-6, S. 83, doi:10.1007/978-3-642-36018-3.