Eine Zeitreise mit heutigen Regeln
Eine Strategie benötigt Regeln: Welche Anlagen werden gekauft? Wann wird umgeschichtet? Wie werden Kosten berücksichtigt? Ein Backtest wendet diese Regeln auf vergangene Daten an und berechnet daraus eine hypothetische Entwicklung. Diese Kurve ist das Ergebnis eines Modells. Niemand muss das Portfolio damals tatsächlich gehalten haben.
Das Verfahren kann Zusammenhänge sichtbar machen. Beispielsweise lässt sich untersuchen, wie unterschiedliche Aktienquoten in bestimmten historischen Phasen reagiert hätten. Die Aussage hängt jedoch von den Daten und den Modellentscheidungen ab. Eine Kurve ohne Erläuterung dieser Grundlagen ist schwer zu beurteilen.
Drei Arten von Ergebnissen unterscheiden
| Darstellung | Was liegt vor? | Wichtige Rückfrage |
|---|---|---|
| Live-Ergebnis | Wertentwicklung einer tatsächlich umgesetzten Anlage | Welches Depot, welche Kosten, welche Zahlungsströme? |
| Musterportfolio | Fortlaufend dokumentiertes Beispielportfolio | Wird es real gehandelt oder nur rechnerisch geführt? |
| Backtest | Nachträgliche Anwendung von Regeln auf ältere Daten | Wann wurden die Regeln festgelegt und wie oft verändert? |
Beginnt ein Diagramm lange vor dem Start eines Anbieters, ist diese Unterscheidung besonders wichtig. Eine Historie des verwendeten Index ist zudem nicht automatisch die Historie des später angebotenen Portfolios. Indexkosten, Verwaltungskosten und praktische Umsetzung können auseinanderfallen.
Wenn die Vergangenheit zu gut passt
Wer sehr viele Varianten testet, kann zufällig eine besonders erfolgreiche finden. Ändert man Gewichtungen, Beobachtungszeiträume und Handelssignale immer weiter, passt das Ergebnis womöglich zu Besonderheiten des alten Datensatzes, die sich künftig nicht wiederholen. Dieses Problem heißt Überanpassung.
Die wissenschaftliche Arbeit The Probability of Backtest Overfitting von Bailey, Borwein, López de Prado und Zhu untersucht genau dieses Auswahlproblem und entwickelt einen Ansatz zur Abschätzung der Überanpassungswahrscheinlichkeit. Die Studie ist eine methodische Grundlage; sie bewertet keinen konkreten österreichischen Robo-Advisor und beweist nicht, dass jede Rückrechnung unbrauchbar wäre.
Ein Gedankenexperiment zur Auswahl erfolgreicher Modelle
Stellen Sie sich 100 Varianten eines Portfolios vor. Einige unterscheiden sich nur leicht, etwa beim Umschichtungstermin. Wird anschließend ausschließlich die beste Kurve veröffentlicht, sehen Leser weder die verworfenen Varianten noch den Umfang der Suche. Eine einzelne überzeugende Kurve kann so einen stabilen Zusammenhang suggerieren, obwohl ein Auswahlprozess dahintersteht.
Das Gedankenexperiment enthält keine behauptete Erfolgswahrscheinlichkeit. Es zeigt, warum die Frage „Wie viele Varianten wurden geprüft?“ zur Beurteilung gehört. Auch ein Test auf ursprünglich ungenutzten Daten verliert an Unabhängigkeit, wenn die Strategie nach jedem Blick auf dieses Ergebnis erneut angepasst wird.
Typische Schwachstellen
- Vorausschaufehler: Der Test verwendet Informationen, die am simulierten Handelstag noch nicht bekannt waren.
- Überlebenseffekt: Gescheiterte oder geschlossene Anlagen fehlen im Datensatz.
- Unrealistische Ausführung: Ein modellierter Handelspreis war praktisch nicht erreichbar.
- Fehlende Kosten: Gebühren, Spreads oder andere Belastungen werden weggelassen.
- Günstiger Zeitraum: Start und Ende begünstigen die gewählte Strategie.
- Nachträgliche Regeln: Entscheidungen werden mit Kenntnis späterer Entwicklungen optimiert.
Diese Punkte sind Prüfungsfragen, keine Unterstellung gegen einen Anbieter. Eine solide Dokumentation erklärt, wie sie behandelt wurden. Die amerikanische Aufsichtsorganisation FINRA betont bei indexbasierten Strategien, dass Rückrechnungen weder die Zukunft vorhersagen noch die frühere praktische Umsetzung perfekt nachbilden.
Was eine nachvollziehbare Darstellung enthalten sollte
Hilfreich sind ein klarer Testzeitraum, die verwendeten Daten, die vollständige Handelslogik und realistische Kostenannahmen. Zusätzlich sollten schwache Phasen sichtbar bleiben. Ein Test über unterschiedliche Marktbedingungen ist informativer als die Auswahl einer kurzen, besonders günstigen Episode.
Ein guter Bericht zeigt auch Empfindlichkeiten: Verändert sich das Ergebnis stark, wenn ein Parameter geringfügig anders gewählt wird? Funktioniert der Ansatz nur mit exakt einem Startdatum? Solche Fragen prüfen, ob ein Resultat robust erscheint. Sie können zukünftige Veränderungen der Märkte trotzdem nicht ausschließen.
Wie Sie Backtests sinnvoll nutzen
Nutzen Sie eine Rückrechnung, um die Logik einer Strategie zu verstehen: Welche Risiken werden eingegangen, wann wird gehandelt und in welchen historischen Situationen war das schwierig? Für die Beurteilung sind Erläuterungen zu Kosten, Daten und Grenzen mindestens so wichtig wie der Endwert.
Eine nachträglich besonders schön ausgewählte Kurve lässt sich ohne Dokumentation nicht zuverlässig von einem sorgfältig entwickelten Ansatz unterscheiden. Transparenz über den Entstehungsprozess ist deshalb ein eigener Qualitätsaspekt.
Fragen Sie bei auffälligen Renditeangaben nach, ob reale Ergebnisse oder Simulationen gezeigt werden. Angebote kritisch vergleichen
Quellen und Vertiefung
- Bailey et al.: The Probability of Backtest Overfitting
- FINRA: Smart Questions About Smart Beta Products
Quellen für diesen Entwurf geprüft am 4. November 2026. Internationale Quellen werden für allgemeine Anlageprinzipien verwendet; ausländische Vorschriften werden nicht auf Österreich übertragen. Modellbeispiele sind als solche gekennzeichnet.