競馬予想システムの開発ブログ

新年、明けましておめでとうございます。

年末まで仕事に時間を奪われて結局、競馬AIの開発進捗は進まず。

�@新規AI環境の構築

　特徴量テーブルの改修とグループ分け

　着率算出のために、出走馬2値分類予測器の作成と検証。

�ATransformersとAttentionの学習

　馬券購入の判断をDeepラーニングでやってみたい。

　前からAttention機構には興味があったので、まずはTransformersとAttentionの勉強とコードいじりから始める。

世の中、競馬AIの開発ブログ記事は沢山あるわけで、中には自称回収率100%超えたというものもあるが、ほぼすべての記事では単にバックテストで回収率100%超えたという話であって実戦では全く役に立たない。また間違った特徴量やバックテストでの回収率100%超えは容易に達成できるので、共通して散見される間違いであろう点を簡単にまとめてみた。

　・最終オッズや最終人気を当該レースの特徴量としてしまっている。

　　→最終オッズや最終人気は投票締切以前には分からないので当該レースの特徴量に含めてしまうことはリーク。

　　　最終人気オッズを当該レースの特徴量としている記事は即座に無視することをお勧めする。

　・前走履歴データに当該レースを含めてしまっている。

　　→すでに結果が分かってしまっているので的中率回収率が爆上げするのは当然だ。

　・成績や勝率・タイム等を集計した特徴量を当該レース以降を含む最新のもので計算してしまっている。

　　→常に当該レースより前のデータのみで集計する必要がある。

　・JRA-VANの今回の脚質という項目を特徴量にいれてしまうとリークしてしまう。(単に自分の経験)

　　→レース後に入ってくる項目のため、前走までの履歴にしか使えない。

　　スクレイピングの場合に脚質情報がどうなのかは不明。もしレース終了後に書き換えているのであればリークするだろう。

　・過去結果を含む特徴量を使った最新モデルで過去レースのバックテストをおこなってしまっている。

　　→既に結果が分かってるので丸暗記してるだけ。バックテストの意味ない。

　　※過去レースを予測する場合、それ以前の特徴量のみで生成したモデルを使用しないといけない。

　・確定配当を使った予測回収率を用いて購入シミュレーションをおこなってしまっている。

　　→予測回収率による購入判断がある場合は、締切前の時系列での配当で予測回収率を計算する必要がある。

　　※何気にこのハードルが高い。単勝複勝枠連馬連などは時系列データ提供があるので良いが、他の券種では存在しないので蓄積には時間が必要である。

　　※自分の場合は、AI開発とは関係なくたまたま2017年から全券種の配当データを蓄積していたので助かった。　

　バックテストは大なり小なりオーバーフィッティングしているものである。

・実戦やフォワードテストがうまくいかないとすぐにころころとモデルを更新する。

　→モデルを変えてしまうと実戦やフォワードテストの統計データがすべてリセットされるわけだがどうなんだろう？

　　馬券をうまく買うためには、モデル精度やバックテスト結果より実戦での統計データのほうが重要。

　　バックテスト結果や過去のシミュレーション結果なんて気休めか自己満足にしかならない。

　　もっと言えば

　　単勝回収率100%を超えるモデルがベターなのは間違いないが、それ以下ならば

　　単勝回収率80%のモデルより

　　単勝回収率50%のモデルのほうがうまく馬券が買えるであろう（笑

相当今更なんだが、LamdaRankで予測した結果値はデフォルト設定ではラベル毎に指数関数的なゲインが付いていることを知った（汗

着順予測だと、恣意的に調整するのも有りかもしれないが

まぁ普通に2値分類から勝率だすほうが良さそうではある。

ここ2週間ほど、開催別の購入数・配分の最適化に血道を上げているのであるが、ここに至ってようやくほぼ完全に理解した。

過去のシミュレーションにおいてフィルターやAIを駆使することで回収率を上げたり、何らかのルールを用いてレースを絞ることで回収率を上げたりする行為は、単に結果が分かっている事象の確率の下振れを避けて、上振れだけを掬い取っているだけという事。

未来の実戦では、下振れも上振れも常に発生しているのだが、そのどちらかだけを選り分けることはできず、結局のところ下振れも否応なく買わされるのである。

このため、ほとんどの場合、シミュレーションより実戦のほうが回収率が低くなってしまうのだろう。

もちろん、結果に影響のあるファクターであれば多少は回収率に影響を与える事はできるし、出走頭数など明確に馬券結果に影響を与える条件で戦術を変えたりすることは有効であるが、たとえフィルターをどのラインに引いたとしても、必ずその境界線外の特異点が発生してしまう。

例えば、1回100円払って1が出ると600円貰えるサイコロがあるとしよう。

1日1回だけ振って2年か3年の間、振り続けることで収束したフォワード結果を得たとする。

次に該当日の天気や気温、あるいは自分の体重などサイコロの結果と関係ないファクターを使ったロジックやAI(オーバーフィットで丸暗記してるとか)を開発したとする。

これらを駆使して、フォワード結果から1が出なかった日を排除することで、ついに過去のシミュレーション結果では回収率120%を叩き出したとする。

これって単なる偶然や過去データの偏りであって、この条件で明日からサイコロ振ったり振らなかったりしても回収率120%は無理だよね？いくら頑張っても回収率100%になるよね？

というお話。

競馬の出走頭数は、サイコロの場合の面数にあたり、明確に結果(配当)に影響を与えるので、これを分類して投資金額を変えたりするのは当然あり。

上記を踏まえると、

確率の下振れは避けられないという事を予め前提にして、シミュレーション結果で試行回数を減らさずとも下振れに耐えられるような高回収率を出せているところを買っていくしかない。

だいたい回収率で5%~10%くらいの下げは考慮しておくほうが良いだろう。

まだ試行回数が1年分ほどしかないので、的中率がそれなりに高くないと信頼できないので的中率についても充分考慮する必要がある。

レース前予測結果が2年〜3年分あればそれなりに信頼に足る精度になるはずだが、蓄積には時間が必要だ。

というわけで今週は上記を踏まえて最適化をおこなっているわけであるが、数値等も肌感覚でだいぶ分かってきているせいか、此のところ高い回収率の成績で安定もしている。

今週はさすがに調子が良すぎたので上振れ分がかなりあると思われるが・・・全開催の調整が済んでこの調子を保っていければ完全に離陸できる日も近いのかもしれない。

昨シーズンでは、購入シミュレーションの結果による推定期待値を重視して実戦に励んだ結果

シミュレーション通りに行く開催もあれば、まったく達しない開催もあり（達しない方が多い）

この矛盾に終始悩まされ続けたわけである。

色々理由はあると思うが

そもそも期待値というのは

なわけで、しょせんどちらも打率でいうと3割程度しかなくむしろハズレの方が大きい。

期待値となると誤差の2階建てをしてるわけで、その誤差は相乗的に大きいものになるはずである。

このためシミュレーション条件でカリカリチューンをおこなってシミュレーション結果の期待値を上げたとしても

実際には誤差が非常に大きいので、なかなかシミュレーション通りにならないという事だと思う。

もちろん現在の予測方式が1着予測でないために推定勝率が不正確であるという事も一因ではある。

対策としては

�@推定勝率の精度を上げる

�A実オッズより精度の高い推定オッズを予測する。

なども考えられるが、いくら頑張ったとしても、しょせん勝率3割を大きく越えることは困難なはずなので相乗誤差が大きい事自体は変わらない。

という訳でこれらの対策方式は徒労に終わると判断しアッサリ放棄することにした。

で、この誤差問題を解決するため、1か月間仕事をサボってあれやこれや模索して見た結果

推定勝率や推定期待値、オッズなどを重視するよりも

開催別・券種別に購入点数を最適値あたりに調整するほうが、実際の結果（的中率・回収率）をコントロールし易い事に気が付いた。

もちろん初期フィルターの原点はシミュレーション結果に基づいているが、こちらはアバウトに捉えておくだけにして

もちろん回収率が全く達しないものでは買いすぎてしまうことや、もともと回収率の高いものでは逆に買わなすぎてしまうことも割とあるので実戦で微調整していく必要はある。ある程度、調整にも慣れてきたので、東京・阪神・新潟・福島などの開催に合わせて少しづつ調整していくことにする。

未達の開催-券種については、購入ロジック側で買わないか、投資配分を下げることで対応する。

というわけで、シーズン2の優先順位を少し変えることにした。

これAI制作している人と会話するときに、目的変数が違うと精度という言葉の定義対象そのものが違ってたりするので話が噛み合わないのである。