28. August 2018 | News | Interview

Fertilitätsprognosen: Spielt die Methode überhaupt eine Rolle?

Fünf Fragen an Christina Bohk-Ewald zu ihrer neuen Studie, in der sie in einer Evaluationsstudie analysiert, wie genau verschiedene Methoden  die endgültige Kinderzahl eines Jahrgangs-vorausberechnen.

Prognosen zu dieser sogenannten „vollendeten Fertilität“ berechnen voraus, wie viele Kinder Frauen eines bestimmten Geburtsjahrgangs durchschnittlich zur Welt gebracht haben werden, wenn sie ihr gebärfähiges Alter hinter sich haben. Dieser Zeitpunkt wird meistens auf das Alter von 50 Jahren festgelegt.

Die Vorhersagen beantworten beispielsweise die Frage, wie hoch die endgültige Kinderzahl von Frauen sein wird, die heute das 30. Lebensalter erreicht haben. Solche Prognosen sind zum einen relevant für die Politik, um planen und gestalten zu können. Sie helfen aber auch, genauer zu verstehen, wie sich die Geburtenraten wahrscheinlich entwickeln werden.

In ihrer Studie, die jetzt in der Zeitschrift PNAS erschienen ist, zeigt Christina Bohk-Ewald zusammen mit Peng Li und Mikko Myrskylä, dass die Methode, mit der solche Projektionen berechnet werden, zumindest in der Gruppe der Top-Performer keine große Rolle spielt, wenn es um die Genauigkeit der Ergebnisse geht und um die Abschätzung von Unsicherheiten.

Die Forscher nahmen 20 Berechnungs-Methoden für die Prognose der -zusammengefassten Geburtenziffer unter die Lupe, und insgesamt 162 Varianten davon. Mit jeder dieser Methoden wird versucht, die endgültige durchschnittliche Kinderzahl von Frauen, die zum Zeitpunkt der Vorausberechnung noch nicht das Ende des reproduktiven Alters erreicht haben, zu vervollständigen.

Die Forscher verglichen die Ergebnisse der einzelnen Projektionsmethoden anhand von Fertilitätsdaten der gesamten Human Fertility Database; diese enthält Daten zu 1.096 Geburtsjahrgängen aus 29 Ländern. Zudem verwendeten sie die weltweit repräsentativen UN Daten der World Population Prospects (8.241 Geburtsjahrgänge aus  201 Ländern).

Das Ergebnis: Es gibt lediglich 4 Methoden, die den naiven Freeze-Rates-Ansatz, der die gegenwärtigen altersspezifischen Fertilitätsraten einfach konstant in die Zukunft fortschreibt,durchweg übertreffen. Und die Prognoseunsicherheit wird bis auf von zwei Methoden stark unterschätzt.

1. Wenn fast keine Methode wesentlich besser ist als der Freeze-Rates-Ansatz,  warum sollten Forscher sich dann überhaupt darüber Gedanken machen, welche Methode sie verwenden und nicht einfach nur Freeze-Rates nehmen?

Christina Bohk-Ewald:

Tatsächlich schneiden nur 4 von 10 Methoden durchweg besser ab als die naive Freeze-Rates-Methode. Aber einige der Top-Performer unter den Methoden berechnen die Kohortenfertilität um bis zu 40 % genauer als Freeze-Rates!

Die zentrale Aussage unserer Untersuchung ist: Obwohl die Komplexität der Methode nicht zwangsläufigdie Prognosegenauigkeit erhöht, ist es dennoch so, dass einfache extrapolative oder auch komplexe Bayes'sche Ansätze Freeze-Rates übertreffen können.

Interessanterweise stellen wir beim Vergleich der Top-Performer fest, dass die komplexen Bayes'schen Ansätze einfache Extrapolationsmethoden nicht durchgängig übertreffen, obwohl sie sehr aufwändig sind, was Verfügbarkeit hochwertiger Daten, den Einsatz statistischer Methoden und die Rechenleistung angeht.

2. Was macht diese vier Top Performer besser als Freeze-Rates?

Die Gruppe der Top-Performer besteht aus zwei einfachen Extrapolationsmethoden und zwei komplexen Bayes'schen Ansätzen. Je nachdem, wie wir die Qualität der Prognosen messen (und welche Metrik wir verwenden), könnte jede dieser Methoden auf Platz eins unserer Rangliste liegen.

Methodologisch zum Durchbruch verhilft diesen Top-Performern, dass sie Daten zur vergangenen Geburtenentwicklung im jeweiligen Land berücksichtigen und zudem Erfahrungswerte vieler anderer Länder in die Berechnungen einfließen lassen.   

3. Ist es überhaupt noch sinnvoll, die Prognose-Methoden weiterzuentwickeln? Was könnte man methodologisch optimieren, damit die Ergebnisse wirklich nochmal sichtbar besser werden?

Obwohl die besten Methoden die Kohortenfertilität bereits sehr genau prognostizieren, deckt unsere Studie Fälle und Situationen auf, die selbst für die Top-Performer unter den Methoden eine Herausforderung sind.

Alle bis auf zwei der acht Methoden, die Konfidenzintervalle mitliefern, unterschätzen die Prognoseunsicherheit. Das heißt, ihre Projektionsintervalle sind oft zu eng und bilden folglich die Unsicherheit nur unzureichend ab.

Sehr schwer tun sich die Prognosemethoden – und das ist nicht weiter verwunderlich –, wenn die Geburtenentwicklung vom bisherigen Trend oder den Erfahrungswerten anderer Länder abweicht. So machen zum Beispiel selbst die besten Methoden bei Prognosen für Ostdeutschland relativ große Fehler, denn nach der Wiedervereinigung veränderte sich dort der langfristige Trend in der Geburtenentwicklung drastisch: Die Geburtenzahlen fielen auf ein noch nie da gewesenes Niveau.

Ich glaube, dass wir es schaffen können, die Quantifizierung der Prognoseunsicherheit in den Griff zu bekommen. Und auch die Vorausberechnung starker Geburtenrückgänge. Allerdings bin ich auch davon überzeugt dass die Prognose abrupter Veränderungen in Langzeittrends als der Heilige Gral im Bereich aller Vorausberechnungen verstanden werden kann und daher wahrscheinlich nicht allzubald zu lösen sein wird.

Auf der Agenda der zu lösenden Fragen bei der Prognose von Kohortenfertilität steht also konkret, die Prognoseunsicherheit genau zu quantifizieren und starke, rückläufige Entwicklungen der Geburtenraten exakt vorauszuberechnen. Beides sollte bei der Entwicklung neuer Ansätze angegangen werden.

4. Haben Sie vor, diese ungeklärten Fragen der Prognose der Kohortenfertilität anzupacken?

Ja! Unsere Studie motiviert uns, eine neue Methode zu entwickeln, die diese offenen Fragen behandelt. Und sie zeigt auch bereits auf, welche methodologischen Komponenten in einer neuen Formel nützlich sein könnten.

So könnten wir beispielsweise neben der vergangenen Fertilitätsentwicklung derjenigen Länder, die in der Human Fertility Database und der World Population Prospects Datenbank enthalten sind, noch eine dritte und einzigartige Datenquelle heranziehen: die Prognosefehler, die wir in unserer Validierungsstudie ermittelt haben.

Das könnte sehr hilfreich sein, denn unsere Studie zeigt, in welcher Situation welche Art von Methode kleine oder große Prognosefehler erzeugt, und für welches Geburtenniveau und welche Entwicklungen der Geburtenziffern sie besonders geeignet ist.

Die Zukunft wird zeigen, ob wir diese einzigartige Validierungsdatenquelle für Fertilitätsprognosen sinnvoll nutzen können.

5. Wissen die Forscher eigentlich wie gut – oder schlecht – die Qualität der Prognoseverfahren ist, die sie einsetzen oder neu entwickeln?

Das sollten sie! Unsere Studie zeigt ja gerade, wie wichtig es ist, die Leistung von Prognosemethoden zur Fertilität im Hinblick auf Prognosegenauigkeit und Unsicherheitsschätzungen sorgfältig zu validieren. Dies ist eine Kernaufgabe, die oft vernachlässigt wird.

Da sich die Prognosegenauigkeit nicht automatisch erhöht hat, obwohl im Laufe der Zeit immer neue Methoden veröffentlicht wurden, empfehlen wir Forschern als Standardverfahren, zu überprüfen, ob ihre neu vorgeschlagenen Methoden zumindest Freeze-Rates oder einfache Extrapolationsmethoden an Genauigkeit übertreffen.

Um solch ein Benchmarking zu erleichtern, stellen wir auf GitHub R-Funktionen zur Verfügung (mit dem Code sowohl für die Prognosemethoden als auch für das Validierungsverfahren). Sie sind unter folgendem Link verfügbar:  https://github.com/fertility-forecasting/validate-forecast-methods

Lesen Sie hier die vollständige PNAS-Studie:
Forecast accuracy hardly improves with method complexity when completing cohort fertility
Christina Bohk-Ewald, Peng Li, and Mikko Myrskylä