Een goede backtest is niet waardeloos. Het is een van de belangrijkste hulpmiddelen in systematische handel. Het probleem begint wanneer we hem meer laten bewijzen dan hij kan.
Een historische test toont hoe precieze regels zich binnen één data- en uitvoeringsmodel gedroegen. Op zichzelf toont hij niet dat hetzelfde gedrag standhoudt op ongeziene data, andere spreads, vertraagde fills, platformdetails of een marktregime dat nauwelijks in de ontwikkeling voorkwam.
Hoe validatie vooruitgaat
Elke stap beantwoordt een aparte vraag, van de logica achter het idee tot werkelijk gedrag binnen de verwachte grenzen.
- 01MarktlogicaIs er een reden waarom de regel zou bestaan?
- 02Historisch modelHoe gedroegen de regels zich onder vermelde aannames?
- 03StresschecksVeranderen nabije instellingen, kosten of feeds de conclusie?
- 04Ongeziene dataOverleeft het resultaat data die de ontwikkeling niet stuurde?
- 05ForwardobservatieBlijven timing en uitvoering geloofwaardig wanneer data aankomt?
- 06Live monitoringBlijft echt gedrag binnen de bepaalde risico- en werkgrenzen?
Data kan flatteren
Ontbrekende ticks, synthetische historiek, foute symboolinstellingen, gunstige spread of look-ahead kunnen een rapport verbeteren zonder de strategie te verbeteren. Zelfs goede data raakt besmet wanneer parameters na elke blik op dezelfde periode opnieuw worden aangepast.
De oplossing is niet optimalisatie vermijden, maar een logisch parametergebied bepalen, doelgericht kalibreren en onaangeraakte data bewaren voor een onafhankelijke beslissing.
Uitvoering verandert de trade
Live is de gevraagde prijs niet altijd de fillprijs. Spread wordt breder, liquiditeit verandert, orders lopen vertraging op of worden geweigerd, en brokers verschillen in contractinstellingen en feeds. Een kleine edge is bijzonder gevoelig.
Een realistische test gebruikt verdedigbare kosten en begrijpt hoe het platform orders, stops, sessies en ontbrekende data behandelt.
Parameters kunnen fragiel zijn
Eén winstgevende set overtuigt minder dan een stabiel gebied waarin nabije instellingen redelijk werken. Als een kleine wijziging de curve doet instorten, kan de test een historisch toeval hebben gevonden.
Gevoeligheidschecks, verschoven data, andere feeds en stressaannames tonen of het idee ademruimte heeft.
Markten veranderen
Een geldige strategie kan toch een zwak seizoen ingaan. Trend, volatiliteit, liquiditeit, correlatie en deelnemersgedrag veranderen. Geen historisch venster bevat elke toekomstige combinatie.
Daarom zijn portefeuillerol en monitoring belangrijk. Beoordeel een systeem tegenover het gedrag waarvoor het gebouwd werd, niet tegenover de eis dat het elke maand wint.
Een sterkere validatieketen
Onze voorkeursvolgorde is: logisch marktidee, lange historische test, zorgvuldige kalibratie, gevoeligheids- en stresschecks, onaangeraakte out-of-sampledata, forwardobservatie en daarna live monitoring met bepaald risico.
Geen enkele keten garandeert winst, maar ze maakt bewijs eerlijker en legt zwaktes vroeger bloot.
- Scheid ontwikkeldata van finale validatiedata.
- Gebruik realistische spread, commissie, slippage en orderbeperkingen.
- Controleer nabije parameters en alternatieve feeds.
- Vergelijk historische verwachtingen met forward- en livegedrag.
- Bepaal risico en stopvoorwaarden vóór deployment.
Vragen die je misschien hebt
Betekent dit dat backtests onbetrouwbaar zijn?
Nee. Een goed ontworpen backtest is essentieel bewijs. Hij wordt onbetrouwbaar wanneer data, aannames of interpretatie niet bij de vraag passen.
Is out-of-sampletesting voldoende?
Geen enkele fase volstaat alleen. Out-of-sample, forward en live testen verschillende zwaktes.
