過去の結果が役立つのは、アイデアを検証可能にするからです。その価値は、問い、前提、それを支えるデータの質によって決まります。
意思決定ルールから始める
リターン曲線を見る前に、システムが何を目指すのかを説明します。どのような市場の挙動が、そのルールの根拠なのでしょうか。どのような証拠が、その説明に疑問を投げかけるのでしょうか。明確な仮説があれば、一貫したプロセスと、たまたま一つのサンプルに適合した設定を区別しやすくなります。
実験を理解できる形にする
対象期間、商品ユニバース、データ処理、コストの前提が結果を形作ります。これらの条件をシステムのバージョンとともに記録すると、結果を比較しやすくなります。一つの代表的な数値だけでは、その文脈を伝えられません。
挙動が変わる場面を調べる
異なる期間は、異なる弱点を示すことがあります。トレンド相場、長引く持ち合い、急激な局面転換は、同じルールに大きく異なる要求を課す可能性があります。目的は、当初のアイデアを支持しない部分も含め、そうした違いを理解することです。
限界を次の段階へ引き継ぐ
過去データのテストでは、実運用の執行を細部まで再現できません。ただし、何を観測し、どの前提を問い直し、想定と実際の挙動をどう比較するかという、次の実験の指針にはなります。それが、エンジニアリングに向けたより確かな出発点となります。
バックテストの有用な成果は、システムが機能しなくなる理由も含め、その理解が深まることです。
CMA TECHNOLOGIES研究・リスクに関する注記