【Protra,Python】出力結果を分析する その3「統計的に評価する」

引き続き、Protraの出力をPythonで分析していきます。

その1では、Protraの出力をPythonで取り込みました。
その2では、取り込んだデータをグラフ表示しました。

今回は、取り込んだデータを統計的に解析していきます。

その2のまとめ

その2で、最終的に得られたデータフレームは以下の通りです。

引き続き、こちらのデータフレームを使用していきます。

信頼区間の表示

はじめに、全取引データの P/L を時系列で表示します。

※下図は線の太さを変更しています。

P/Lについて、平均値の信頼区間を表示させます。

95%の信頼区間とは、「母集団の平均から95%信頼区間を求める作業を100回やったとき、95回はその区間の中に母平均が含まれる」を意味します。

・・・わかりづらいですね。

例を挙げてみます。

100万個のデータの平均値を求めることは難しいです。そこで100個のデータだけを用いて平均値を求めてみましょう。当然 100万個の平均値とはズレが生じるでしょう。

「同様に100個のデータを用いて平均値を求める操作を100回行った際に、100回のうち95回は母平均を含む範囲」が信頼区間の意味です。

よく「得られたデータが95%の確率で、その区間内に含まれる」と誤解されるので注意です。

定義はややこしいですが、計算はそれほど難しくありません。

標本平均 ± t × 標本標準偏差 / √標本の数
t は t分布の統計量です。
 
 
データフレームに信頼区間値を追加していきます。

時系列データに対し、時系列順に信頼区間を計算しています。

詳しく見ていきます。


時系列順に信頼区間を計算するため、その時点での平均値と標準偏差を求めています。


t を計算し、信頼区間の下限と上限を計算しています。


データフレームに、計算した信頼区間値を入れています。

後のグラフ表示用に、累積P/Lも同様にデータフレームに追加しています。

得られたデータフレームがこちら。

グラフに表示します。

小さくて見えないので、表示範囲を変えます。

信頼区間を99%に変えると、制約が厳しくなる分 区間が広くなります(下図)。

時系列を経るに従って、精度が高くなり信頼区間の幅が小さくなっていくことがわかります。

ここで、信頼区間の下限が0以上になっていることに着目します。

このストラテジを長期的に運営すると平均P/Lはプラスになる、つまり損をする可能性がかなり低いことを意味します。(将来のプラスを保証する という意味ではありません。)

ストラテジの実力を統計的に評価できました。

さて、x軸の4500付近を見ると信頼区間がガクンと下がっています。どうやら この辺りで市場の状況が変わり、ストラテジが通用しづらくなったようです。

続いて、このようなストラテジの変調を評価する方法を見ていきます。

ストラテジの変調を発見する

先程データフレームに追加した累積P/Lを表示します。

上でも述べたように、4500付近でガクンと下がっていますね。

直近の勝率

直近の勝率をグラフに表示しましょう。

20トレードごとに、過去20トレードの勝率を計算してデータフレームに追加しています。

得られたデータフレームはこんな感じになりました。

グラフに表示します。

※上:20トレード毎、下:100トレード毎の勝率

上のコードでは 20トレード(n+20)ごとに勝率を計算しました。n ~ n+19回目のトレードでは、直前の(n+20)の勝率を保持していました。

今度は、毎トレードごとに過去20トレードの勝率を計算するコードを書いてみます。

配列要素に、過去20トレードの勝敗を記録しています。

print(win_cnt) の出力は以下のようになっています。1が勝ち,0が負け トレードを意味しており、過去20トレードの勝数がわかります。

同様にグラフにしてみましょう。

※上:20トレード毎、下:100トレード毎の勝率

100トレードごとのグラフを見ると 違いがわかりやすいですね。こちらの形式の方が、トレード毎に変調を確認できて便利でしょうか。

さて前の記事で、このデータの通算勝率は約65%と述べました。しかし時系列を追っていくと勝率に変動があることがわかります。

勝率が下がると 累積P/Lも下がり、勝率が上がると 累積P/Lの傾きも上がります。

勝率によって、ストラテジの市場状況への対応能力を簡易的に見ることができました。

直近の勝率が通算勝率より下がってきたら、ストラテジの優先順位を下げたり、投資金額を抑えても良いかもしれません。

t検定

t検定を使用してみましょう。t検定では、以下を評価します。

直近n回のトレードの P/L平均値が、これまでの通算 P/L平均値から変化したか を統計的に評価

さっそくコードを書いてみます。

scipyライブラリを使用しています(26-28行目)。公式ページによる説明はこちら

過去nトレードと、それまでの全トレードで分散は等しくないと想定されるため、equal_var は False として、ウェルチのt検定で計算しています。

データフレームはこんな感じになりました。

グラフ化してみましょう。

※上:20トレード毎、下:100トレード毎の p値

勝率と同じように、毎トレード 計算するコードも書いてみました。

グラフはこうなりました。

※上:20トレード毎、下:100トレード毎の p値

グラフを見ると、累積P/Lの傾きが変化する点で p値が小さくなることがわかります。

例えば p値が0.05(5%)より小さくなると、「過去nトレードと、これまでの通算のP/L平均値が、有意水準5%で統計的有意差がある」ことを意味します。

これまでのトレードと比較し、損益の水準が変わってきていることになります。

特に連続してp値が小さい状態が続くと、市場の状況が変わった可能性が高いので警戒すべきでしょう。

まとめ

protraの出力を統計的に評価してみました。

通算成績では見逃してしまう、時系列に沿ったストラテジの様子を確認できました。

すべての状況に通用するストラテジは残念ながら存在しません。

市場の状況を意識し ストラテジの鮮度を常に確認することで、損失を最小限に抑え、利益を最大限 獲得できるでしょう。

…まあ 大抵 損失を被ってから、変調に気付くんですけどね ^q^