Bayessche Statistik

Im Gegensatz zu der klassischen frequentistischen Interpretation, welche die Wahrscheinlichkeit eines Ereignisses als den Grenzwert seiner relativen Häufigkeit nach sehr vielen Versuchen versteht,^[1] wird in der Bayesschen Statistik das Vorwissen in Form einer A-priori-Wahrscheinlichkeitsverteilung (kurz Prior) festgehalten. Neue Daten werden dann verwendet, um diese Verteilung zu aktualisieren und eine A-posteriori-Wahrscheinlichkeitsverteilung zu erstellen, die unsere neue, verbesserte Einschätzung der Wahrscheinlichkeit des Ereignisses darstellt.^[2]

Klassische und bayessche Statistik führen oft zu den gleichen Ergebnissen,^[3] jedoch setzt der bayessche Wahrscheinlichkeitsbegriff keine unendlich oft wiederholbaren Zufallsexperimente voraus (z. B. bei kleiner Datengrundlage), benötigt dafür aber eine plausible Festlegung der A-priori-Wahrscheinlichkeit für die Nullhypothese.^[4] Eine geringe Datenmenge führt dabei zu einer breiten Wahrscheinlichkeitsverteilung, die nicht stark lokalisiert ist.

Die Verwendung des Satzes von Bayes führt zu einer charakteristischen Struktur bayesscher Verfahren. Ein Modell ${\displaystyle {\mathcal {M}}}$  soll mit einem Datensatz ${\displaystyle {\mathcal {D}}}$  untersucht werden. Die Ausgangsfragestellung ist, wie die Wahrscheinlichkeiten für die Modellparameter ${\displaystyle {\mathcal {M}}}$  verteilt sind, sofern die Daten ${\displaystyle {\mathcal {D}}}$  und Vorwissen ${\displaystyle {\mathcal {I}}}$  gegeben sind. Es soll also ein Ausdruck für ${\displaystyle \Pr({\mathcal {M}}\mid {\mathcal {D}},{\mathcal {I}})}$  gefunden werden.

${\displaystyle \Pr({\mathcal {M}}\mid {\mathcal {D}},{\mathcal {I}})={\frac {\Pr({\mathcal {D}}\mid {\mathcal {M}},{\mathcal {I}})\Pr({\mathcal {M}}\mid {\mathcal {I}})}{\Pr({\mathcal {D}}\mid {\mathcal {I}})}}}$ 

Die einzelnen Wahrscheinlichkeiten haben eine feste Bezeichnung.

• ${\displaystyle \Pr({\mathcal {M}}\mid {\mathcal {I}})}$  A-priori-Wahrscheinlichkeit, also die Wahrscheinlichkeitsverteilung für ${\displaystyle {\mathcal {M}}}$  gegeben das Vorwissen ${\displaystyle {\mathcal {I}}}$  (ohne die Messdaten ${\displaystyle {\mathcal {D}}}$  aus dem Versuch einzubeziehen)
• ${\displaystyle \Pr({\mathcal {M}}\mid {\mathcal {D}},{\mathcal {I}})}$  A-posteriori-Wahrscheinlichkeit, die Wahrscheinlichkeitsverteilung für ${\displaystyle {\mathcal {M}}}$  gegeben das Vorwissen ${\displaystyle {\mathcal {I}}}$  und die Messdaten ${\displaystyle {\mathcal {D}}}$ 
• ${\displaystyle \Pr({\mathcal {D}}\mid {\mathcal {M}},{\mathcal {I}})}$  Likelihood, auch inverse Wahrscheinlichkeit oder „Plausibilität“, die Wahrscheinlichkeitsverteilung für die Messdaten ${\displaystyle {\mathcal {D}}}$ , wenn der Modellparameter ${\displaystyle {\mathcal {M}}}$  und das Vorwissen ${\displaystyle {\mathcal {I}}}$  gegeben sind.
• ${\displaystyle \Pr({\mathcal {D}}\mid {\mathcal {I}})}$  Evidenz, kann als Normierungsfaktor bestimmt werden.

Der Satz von Bayes führt direkt auf einen wichtigen Aspekt der bayesschen Statistik: Mit dem Parameter ${\displaystyle {\mathcal {I}}}$  geht Vorwissen über den Ausgang des Experiments als Prior in die Auswertung mit ein. Nach dem Experiment wird aus Vorwissen und Messdaten eine Posteriorverteilung berechnet, die neue Erkenntnisse enthält. Für folgende Experimente wird dann der Posterior des ersten Experimentes als neuer Prior verwendet, der ein erweitertes Vorwissen hat, also ${\displaystyle {\mathcal {I}}'=\{{\mathcal {I}},{\mathcal {D}}\}}$ .

Die folgende Abbildung zeigt links einen Prior mit Vorwissen: ${\displaystyle \mu }$  ist um 0,5 verteilt, jedoch ist die Verteilung sehr breit. Mit binomialverteilten Messdaten (Mitte) wird nun die Verteilung um ${\displaystyle \mu }$  genauer bestimmt, sodass eine schmalere, spitzere Verteilung als Posterior (rechts) abgeleitet werden kann. Bei weiteren Beobachtungen kann dieser Posterior wieder als Prior dienen. Entsprechen die Messdaten den bisherigen Erwartungen kann die Breite der Wahrscheinlichkeitsdichtefunktion weiter abnehmen, bei vom Vorwissen abweichenden Messdaten würde die Varianz der Verteilung wieder größer werden und der Erwartungswert würde sich gegebenenfalls verschieben.

Der bayessche Wahrscheinlichkeitsbegriff definiert Wahrscheinlichkeiten als „Grad vernünftiger Erwartung“^[5], also als Maß für die Glaubwürdigkeit einer Aussage, der von 0 (falsch, unglaubwürdig) bis 1 (glaubwürdig, wahr) reicht. Diese Interpretation von Wahrscheinlichkeiten und Statistik unterscheidet sich fundamental von der Betrachtung in der konventionellen Statistik, in der unendlich oft wiederholbare Zufallsexperimente unter dem Gesichtspunkt betrachtet werden, ob eine Hypothese wahr oder falsch ist.

Bayessche Wahrscheinlichkeiten ${\displaystyle P(A)}$  beziehen sich auf eine Aussage ${\displaystyle A}$ . In der klassischen Logik können Aussagen entweder wahr (oft mit Wert 1 wiedergegeben) oder falsch (Wert 0) sein. Der bayessche Wahrscheinlichkeitsbegriff erlaubt nun Zwischenstufen zwischen den Extremen, eine Wahrscheinlichkeit von 0,25 gibt beispielsweise wieder, dass eine Tendenz besteht, dass die Aussage falsch sein könnte, aber keine Gewissheit besteht. Zudem ist es möglich, ähnlich der klassischen Aussagenlogik, aus elementaren Wahrscheinlichkeiten und Aussagen komplexere Wahrscheinlichkeiten zu bestimmen. Damit ermöglicht die bayessche Statistik Schlussfolgerungen und die Behandlung von komplexen Fragestellungen.

• gemeinsame Wahrscheinlichkeiten ${\displaystyle P(A,B)}$ , also: Wie wahrscheinlich ist es, dass sowohl ${\displaystyle A}$  als auch ${\displaystyle B}$  wahr ist? Wie wahrscheinlich ist es beispielsweise über den gesamten Wetterzeitraum, dass gleichzeitig die Sonne scheint (${\displaystyle A}$ ) und Regen fällt (${\displaystyle B}$ ).

• bedingte Wahrscheinlichkeiten ${\displaystyle P(A\mid B)}$ , also: Wie wahrscheinlich ist es, dass ${\displaystyle A}$  wahr ist, wenn gegeben ist, dass ${\displaystyle B}$  wahr ist. Wie wahrscheinlich ist es beispielsweise über den Zeitraum des Regens (${\displaystyle B}$ ), dass gleichzeitig auch die Sonne scheint (${\displaystyle A}$ ).

Der Münzwurf ist ein klassisches Beispiel der Wahrscheinlichkeitsrechnung und eignet sich sehr gut, um die Eigenschaften der bayesschen Statistik zu erläutern. Betrachtet wird, ob beim Wurf einer Münze „Kopf“ (1) oder Nicht-Kopf (0, also „Zahl“) eintrifft. Typischerweise wird im Alltag oft angenommen, dass bei einem Münzwurf eine 50%ige Wahrscheinlichkeit besteht, eine bestimmte Seite oben auf zu finden: ${\displaystyle p(K)=0{,}5}$ . Diese Annahme ist jedoch für eine Münze, die große Unebenheiten aufweist oder vielleicht sogar manipuliert ist, nicht sinnvoll. Die Wahrscheinlichkeit von 50 % wird deshalb im Folgenden nicht als gegeben angenommen, sondern durch den variablen Parameter ${\displaystyle \mu }$  ersetzt.

Mit dem bayesschen Ansatz kann untersucht werden, wie wahrscheinlich beliebige Werte für ${\displaystyle \mu }$  sind, also wie ausgewogen die Münze ist. Mathematisch entspricht dies der Suche nach einer Wahrscheinlichkeitsverteilung für ${\displaystyle \mu }$ , wobei Beobachtungen (Anzahl von Kopfwürfen ${\displaystyle m}$  und Zahlwürfen ${\displaystyle N-m}$  in einem Experiment mit ${\displaystyle N}$  Münzwürfen) berücksichtigt werden sollen: ${\displaystyle \Pr(\mu |m,N)}$ . Mit dem bayesschen Satz lässt sich diese Wahrscheinlichkeitsfunktion durch Likelihood und A-priori-Verteilung ausdrücken:

${\displaystyle {\underset {\text{Posterior}}{\underbrace {\Pr(\mu \mid m,N)} }}\propto {\underset {\text{Likelihood}}{\underbrace {\Pr(m\mid \mu ,N)} }}{\underset {\text{Prior}}{\underbrace {\Pr(\mu )} }}}$ 

Die Likelihood ist hier eine Wahrscheinlichkeitsverteilung über die Anzahl der Kopfwürfe bei einer gegebenen Balance der Münze ${\displaystyle \mu }$  und einer gegebenen Anzahl an Würfen insgesamt ${\displaystyle N}$ . Diese Wahrscheinlichkeitsverteilung ist bekannt als Binomialverteilung

${\displaystyle \Pr(m\mid \mu ,N)=\mathrm {Binom} (m\mid \mu ,N)={\binom {N}{m}}\mu ^{m}(1-\mu )^{N-m}}$ .

Im Gegensatz zur A-posteriori-Verteilung ist ${\displaystyle \mu }$  in der Likelihood-Verteilung nur ein Parameter, der die Form der Verteilung bestimmt.

Zur Bestimmung der A-posteriori-Verteilung fehlt nun noch die A-priori–Verteilung. Auch hier muss – wie bei der Likelihood – eine geeignete Verteilungsfunktion für das Problem gefunden werden. Bei einer Binomialverteilung als Likelihood eignet sich eine Betaverteilung als A-priori-Verteilung (wegen der Binomial-Terme ${\displaystyle \mu ^{\alpha -1}(1-\mu )^{\beta -1}}$ ).

${\displaystyle \Pr(\mu )=\mathrm {Beta} (\mu \mid \alpha ,\beta )={\frac {1}{B(\alpha ,\beta )}}\mu ^{\alpha -1}(1-\mu )^{\beta -1}}$ .

Die Parameter ${\displaystyle \alpha ,\beta }$  der Betaverteilung werden am Ende der Herleitung des Posteriors anschaulich verständlich werden. Zusammenfassen des Produktes aus Likelihood-Verteilung und Beta-Prior zusammen liefert als Ergebnis eine (neue) Betaverteilung als Posterior.

${\displaystyle \Pr(\mu \mid m,N,\alpha ,\beta )=\mathrm {Beta} (\mu \mid \alpha +m,\beta +(N-m))}$ 

Somit ergibt sich aus dem bayesschen Ansatz, dass die A-posteriori-Verteilung des Parameters ${\displaystyle \mu }$  als Beta-Verteilung ausgedrückt werden kann, deren Parameter sich direkt aus den Parametern der A-priori–Verteilung und den gewonnenen Messdaten (Anzahl der Kopf-Würfe) gewinnen lässt. Diese A-posteriori-Verteilung kann wieder als Prior für ein Update der Wahrscheinlichkeitsverteilung verwendet werden, wenn etwa durch weitere Münzwürfe mehr Daten zur Verfügung stehen. In der folgenden Abbildung werden die Posteriorverteilungen für simulierte Münzwurf-Daten für jeden Münzwurf neu geplottet. Aus der Grafik geht hervor, wie sich die Posterior-Verteilung dem Simulationsparameter µ=0,35 (repräsentiert durch den grünen Punkt) mit steigender Anzahl der Würfe immer weiter annähert. Interessant ist hier insbesondere das Verhalten des Erwartungswerts der Posterior-Verteilung (blauer Punkt), da der Erwartungswert der Beta-Verteilung nicht notwendigerweise dem höchsten Punkt der Betaverteilung entspricht.

Die Wahrscheinlichkeitsverteilung über ${\displaystyle \mu }$  erlaubt – ganz im bayesschen Sinne – neben der Angabe des wahrscheinlichsten Wertes für ${\displaystyle \mu }$  auch eine Angabe der Genauigkeit von ${\displaystyle \mu }$  angesichts der gegebenen Daten.

Die Wahl der A-priori-Verteilung ist keineswegs beliebig. Im oberen Fall wurde eine A-priori-Verteilung – der konjugierte Prior – gewählt, welche mathematisch praktisch ist. Die Verteilung ${\displaystyle \mathrm {Beta} (\mu \mid \alpha =1,\beta =1)}$  ist eine Verteilung, bei der jedes ${\displaystyle \mu }$  gleich wahrscheinlich ist. Diese Betaverteilung entspricht also dem Fall, dass kein nennenswertes Vorwissen über ${\displaystyle \mu }$  vorliegt. Nach wenigen Beobachtungen kann aus dem gleichförmigen Prior schon eine Wahrscheinlichkeitsverteilung werden, die die Lage von ${\displaystyle \mu }$  wesentlich genauer beschreibt, etwa ${\displaystyle \mathrm {Beta} (\mu \mid \alpha =11,\beta =12)}$ .

Der Prior kann auch „Expertenwissen“ enthalten. Etwa kann bei einer Münze davon ausgegangen werden, dass ${\displaystyle \mu }$  in der Nähe von 50 % liegt, Werte in den Randbereichen (um 100 % und 0 %) dagegen unwahrscheinlich sind. Mit diesem Wissen lässt sich die Wahl eines Priors mit dem Erwartungswert 0,5 rechtfertigen. Diese Wahl wäre in einem anderen Fall, etwa der Verteilung von roten und schwarzen Kugeln in einer Urne vielleicht nicht angebracht, etwa wenn nicht bekannt ist, wie das Mischverhältnis ist oder ob sich überhaupt beide Farben in der Urne befinden.

Der Jeffreys’ Prior ist ein sogenannter nicht-informativer Prior (bzw. viel eher ein Verfahren, um einen nicht-informativen Prior zu bestimmen). Der Grundgedanke für den Jeffreys Prior ist, dass ein Verfahren zur Prior-Wahl, was ohne Vorkenntnis von Daten stattfindet, nicht von der Parametrisierung abhängen sollte. Für einen Bernoulli-Prozess ist der Jeffreys Prior ${\displaystyle \mathrm {Beta} (\mu \mid \alpha ={\tfrac {1}{2}},\beta ={\tfrac {1}{2}})}$ .

Auch andere Prior-Verteilungen sind denkbar und können angesetzt werden. Teilweise wird dann jedoch die Bestimmung der Posteriorverteilung schwierig und sie kann oft nur numerisch bewältigt werden.

Konjugierte Prioren existieren für alle Mitglieder der Exponentialfamilie.

Die meisten nicht-bayesschen Verfahren unterscheiden sich in zwei Punkten von bayesschen Verfahren. Zum einen räumen nicht-bayessche Verfahren dem Satz von Bayes keinen zentralen Stellenwert ein (verwenden ihn oft nicht), zum anderen bauen sie oft auf einem anderen Wahrscheinlichkeitsbegriff auf: dem frequentistischen Wahrscheinlichkeitsbegriff. In der frequentistischen Interpretation von Wahrscheinlichkeiten sind Wahrscheinlichkeiten Häufigkeitsverhältnisse unendlich oft wiederholbarer Experimente.

Je nach eingesetztem Verfahren wird keine Wahrscheinlichkeitsverteilung bestimmt, sondern lediglich Erwartungswerte und allenfalls Konfidenzintervalle. Diese Einschränkungen führen jedoch oft zu numerisch einfachen Rechenverfahren in frequentistischen bzw. Ad-hoc-Verfahren. Um ihre Ergebnisse zu validieren, stellen nicht-bayessche Verfahren umfangreiche Techniken zur Validierung zur Verfügung.

Der Maximum-Likelihood-Ansatz ist ein nicht-bayessches Standardverfahren der Statistik. Anders als in der bayesschen Statistik wird nicht der Satz von Bayes angewendet, um eine Posteriorverteilung des Modellparameters zu bestimmen, vielmehr wird der Modellparameter so variiert, dass die Likelihood-Funktion maximal wird.

Da im frequentistischen Bild nur die beobachteten Ereignisse ${\displaystyle {\mathcal {D}}}$  Zufallsvariablen sind, wird beim Maximum-Likelihood-Ansatz die Likelihood nicht als Wahrscheinlichkeitsverteilung der Daten gegen den Modellparameter ${\displaystyle {\mathcal {M}}}$  aufgefasst, sondern als Funktion ${\displaystyle L:{\mathcal {M}}\mapsto \Pr({\mathcal {D}}\mid {\mathcal {M}})}$  . Das Ergebnis einer Maximum-Likelihood-Schätzung ist ein Schätzer ${\displaystyle {\mathcal {M}}_{ML}}$ , der am ehesten mit dem Erwartungswert der Posteriorverteilung beim bayesschen Ansatz vergleichbar ist.

Die Maximum-Likelihood-Methode steht nicht komplett im Widerspruch zur bayesschen Statistik. Mit der Kullback-Leibler-Divergenz kann gezeigt werden, dass Maximum-Likelihood-Methoden näherungsweise Modellparameter schätzen, die der tatsächlichen Verteilung entsprechen.

Genauigkeit der Schätzung der Saturnmasse als Bruchteil der Sonnenmasse

Bouvard (1814)	3512,0
NASA (2004)	3499,1
Abweichung: ${\displaystyle {\tfrac {3512{,}0-3499{,}1}{3499{,}1}}=0{,}0037<0{,}01}$

Laplace hat den Satz von Bayes erneut abgeleitet und verwendet, um die Masse des Saturn und anderer Planeten einzugrenzen.

• A: Die Masse des Saturn liegt in einem bestimmten Intervall
• B: Daten von Observatorien über gegenseitige Störungen von Jupiter und Saturn
• C: Die Masse des Saturn darf nicht so klein sein, dass er seine Ringe verliert, und nicht so groß, dass er das Sonnensystem zerstört.

Die Abweichung vom korrekten Wert betrug tatsächlich nur etwa 0,37 Prozent, also deutlich weniger als ein Hundertstel.

• Bayesianische Erkenntnistheorie

• Christopher M. Bishop: Pattern Recognition And Machine Learning. 2. Auflage. Springer, New York 2006, ISBN 0-387-31073-8. 
• Leonhard Held: Methoden der statistischen Inferenz. Likelihood und Bayes. Spektrum Akademischer Verlag, Heidelberg 2008, ISBN 978-3-8274-1939-2. 
• Rudolf Koch: Einführung in die Bayes-Statistik. Springer, Berlin/Heidelberg 2000, ISBN 3-540-66670-2. 
• Peter M. Lee: Bayesian Statistics. An Introduction. 4. Auflage. Wiley, New York 2012, ISBN 978-1-118-33257-3. 
• David J.C. MacKay: Information Theory, Inference and Learning Algorithms. Cambridge University Press, Cambridge 2003, ISBN 0-521-64298-1. 
• Dieter Wickmann: Bayes-Statistik. Einsicht gewinnen und entscheiden bei Unsicherheit (= Mathematische Texte Band 4). Bibliographisches Institut Wissenschaftsverlag, Mannheim/Wien/Zürich 1991, ISBN 3-411-14671-0. 

1. ↑ Andrew Gelman, John B. Carlin, Hal S. Stern, David B. Dunson, Aki Vehtari, Donald B. Rubin: Bayesian data analysis (= Texts in statistical science series). Third edition Auflage. CRC Press, Taylor and Francis Group, Boca Raton London New York 2014, ISBN 978-1-4398-4095-5. 
2. ↑ Karl-Rudolf Koch: Einführung in die Bayes-Statistik. Springer-Verlag, 2013, ISBN 978-3-642-56970-8 (eingeschränkte Vorschau in der Google-Buchsuche). 
3. ↑ Christopher M. Bishop: Pattern Recognition And Machine Learning. 2. Auflage. Springer, New York 2006, ISBN 978-0-387-31073-2.
4. ↑ Heinz Holling, Günther Gediga: Statistik - Wahrscheinlichkeitstheorie und Schätzverfahren (= Bachelorstudium Psychologie). Hogrefe, Göttingen Bern Wien 2013, ISBN 978-3-8017-2135-0. 
5. ↑ R. T. Cox: Probability, Frequency and Reasonable Expectation. In: American Journal of Physics. Band 14, Nr. 1, 1946, S. 1–13, doi:10.1119/1.1990764. 
6. ↑ Pierre-Simon Laplace: Essai philosophique sur les probabilités. Dover 1840, Seite 91–134, digitale Volltext-Ausgabe bei Wikisource (französisch).