2021年01月08日

AIトレーニング環境について

今週、グラボの価格とか色々調べた結果
高級グラボに換装したところで母艦デスクトップの負荷が100%になるのも困るし
手元で本格的にレースデータのトレーニングさせるのはやめることにした。
ビットコ相場のせいかグラボ高いしね。

しかし物体検出もやりたいしエッジ開発と学習済みモデルの検証&予想出力用に取りあえず
jetson xavier agxを1台だけ調達予定。どこみても在庫ないけど・・・

機械学習のトレーニングそのものは
Google Colab Proを使うことにする。

24時間制限あるけど、GPUが結構たかもんだし
Pythonパッケージ一覧みるとpsycopg2も入ってるし
恐らくルータに穴あけてやれば外部DB接続できると思うので

@DB接続し、学習履歴テーブルから前回保存したモデルデータファイル名を取得
AGoogleDriveからモデルデータというかclassificationのシリアラズされたデータが有ればロード
B学習履歴テーブルから前回処理した対象レース日と処理済み最終レースCDを取得
CB以降のレースで学習データ取得
Dfit 
Epickleで学習済みモデルデータをGoogleDriveへ保存
FDBの学習履歴テーブルに対象レース日とモデルデータファイル名と処理済みレースCDを保存
G起動から23時間くらいで取りあえずループ抜けて終了
H学習済みモデルデータをダウンロードしてjetson xavier agxで直近2年分くらいのデータで検証と購入シミュレーション集計

という感じの処理でいいような気がする。
Dのfit所はレース毎にやんのか複数まとめてやんのか良くわからんけど。

といいつつ
暫くは母艦で簡易トレーニングをあれこれやってみるだけなんだけど。




posted by 平場長 at 15:54| Comment(0) | 開発めも | このブログの読者になる | 更新情報をチェックする

2021年01月05日

1月5日(火)中央競馬システム予想-金杯ほか

自作の競馬予想システムが買い指示を出したレースを公開しています。 
(新馬戦と障害は除く)

平日なので後半を少しやる予定。
中京金杯ってのはかなり語呂がなじめないと思ったら・・・
レース名は「スポーツニッポン京都金杯」だった(汗

中山金杯は混戦
◎Lシークレットラン 
○Nダーリントンホール
▲Bココロノトウダイ
△Aテリトーリアル
×Hヒシイグアス
×Pバイオスパーク 
×Mヴァンケドミンゴ
☆Oウインイクシード

京都金杯(中京)
◎Iシュリ
○Cピースワンパラディ
▲Gレッドガラン 
△@ケイアイノーテック
×Oトリプルエース
☆Kラセット
☆Bロードマイウェイ
☆Jボンセルヴィーソ
×Nサトノアーサー 

直前レースの候補馬や指数を見たい方は
はるかさんのTwitter
からどうぞ

-------------------------

■全レースサマリー
[2021/01/05 11:04]
レース指数能力
上位


中山1R 09:55
ダ1200m 8/16頭
I-M-B-K-O
[三複]14%/2%/1.9k
[単勝]54%/4%/1.2k
[馬単]40%/2%/5.4k
[104%]
7
11p
3頭
外6人
KMI
DOB
K67
15.7
M66
8.9
I58
1.8
D58
5.3
中京1R 10:10
ダ1800m 6/11頭
E-G-D-F-B
[三複]141%/30%/1.4k
[単勝]75%/46%/0.2k
[馬単]177%/46%/1.2k
[103%]
19
15p
3頭
外1人
GEB
FDI
G65
1.7
E59
7.3
G65
1.7
B58
5.4
中山2R 10:25
ダ1800m 9/16頭
O-C-F-B-J
[三複]51%/5%/2.8k
[単勝]93%/17%/0.5k
[馬単]70%/8%/2.6k
[113%]
39.1
17p
両5頭
中3人
GJB
EH@
G71
4.7
J59
17.6
C54
2.4
@54
2.8
中京2R 10:40
ダ1200m 12/16頭
F-O-G-E-A
[三複]89%/10%/2.5k
[単勝]87%/21%/0.4k
[馬単]117%/10%/3.3k
[101%]
21
6p
3頭
中1人
FEG
OLK
F61
2.8
E57
14.9
F61
2.8
G56
4.5
●△中京3R 11:10
ダ1900m 10/14頭
[三複]195%/25%/2.3k
[単勝]132%/75%/0.2k
[馬単]113%/50%/0.7k
[111%]
29
15p
1頭
中1人
D@J
HCG
D66
1.1
@59
13.2
D66
1.1
K50
10.4
●△中山4R 11:25
ダ1800m 6/15頭
[三複]45%/11%/1.2k
[単勝]69%/44%/0.2k
[馬単]16%/11%/0.4k
[119%]
165
21p
両6頭
中1人
EFJ
BGM
E72
1.9
F69
13.6
E72
1.9
C39
5.4
中京4R 11:40
ダ1800m 5/11頭
[三複]91%/3%/7.4k
[単勝]38%/11%/0.3k
[馬単]15%/3%/1.2k
[122%]
119
18p
2頭
外1人
JFE
GHC
J67
2.5
F61
11.9
J67
2.5
D49
2.9
中山5R 12:15
芝2000m 9/16頭
[三複]143%/17%/2.5k
[単勝]85%/23%/0.4k
[馬単]155%/15%/3.1k
[103%]
42.1
7p
3頭
内3人
CMA
E@J
C63
*9.2
M59
*27.2
B53
2.7
@58
3.6
中山6R 12:45
芝2000m 7/11頭
[三複]31%/3%/2.8k
[単勝]68%/14%/0.5k
[馬単]23%/3%/2.0k
[111%]
78
7p
1頭
中1人
D@J
FAI
D60
4.0
@59
17.4
D60
4.0
F57
4.5
中京6R 13:01
芝2000m 6/8頭
[三複]84%/19%/1.3k
[単勝]61%/16%/0.4k
[馬単]68%/9%/2.1k
[101%]
26
13p
1頭
外4人
FGD
EAC
F63
*7.1
G56
*6.7
E51
2.7
A50
4.0
中山7R 13:15
ダ1800m 9/16頭
[単勝]137%/10%/1.3k
[馬単]71%/3%/6.0k
[119%]
13p
混10頭
外5人
NCB
H@A
N66
*13.2
C65
*19.6
B62
3.6
I52
3.6
中京7R 13:30
ダ1200m 7/16頭
[129%]
18p
3頭
外1人
LHA
GCK
L70
3.2
H67
20.0
L70
3.2
F48
5.8
中山8R 13:50
ダ1200m 8/16頭
[三複]86%/4%/5.7k
[単勝]74%/17%/0.4k
[馬単]68%/5%/3.6k
[112%]
49.9
8p
混10頭
外4人
OMC
HFA
O62
*7.7
M61
*25.0
N48
*6.5
F60
*7.2
中京8R 14:00
ダ1900m 8/16頭
[三複]19%/4%/1.4k
[単勝]73%/14%/0.5k
[馬単]35%/4%/2.6k
[105%]
104
16p
両4頭
外4人
JEH
NFA
J68
*7.6
E66
*4.7
D50
3.9
E66
4.7
中山9R 14:25
ダ1800m 10/16頭
[三複]51%/5%/2.8k
[単勝]93%/17%/0.5k
[馬単]70%/8%/2.6k
[113%]
324
10p
混10頭
外1人
KAM
JHD
K64
3.8
A62
13.4
K64
3.8
@50
4.9
中京9R 14:35
ダ1400m 7/16頭
[三複]113%/5%/6.7k
[単勝]67%/15%/0.4k
[馬単]57%/6%/2.7k
[107%]
69
17p
B6頭
外1人
JAM
EOG
J69
4.3
A66
7.1
J69
4.3
E54
5.5
中山10R 15:01
芝1600m 7/12頭
[三複]87%/25%/1.0k
[単勝]40%/12%/0.3k
[馬単]8%/3%/0.8k
[100%]
40
6p
単4頭
中3人
DCF
B@G
D61
4.3
C59
3.5
C59
3.5
G55
3.9
中山11R 15:35
芝2000m 10/17頭
[単勝]763%/7%/9.9k
[馬単]362%/5%/21.2k
[115%]
12p
B6頭
外10人
NLB
APO
N65
*20.5
L61
*13.8
H49
3.7
J45
4.5
中京11R 15:45
芝1600m 9/16頭
[三複]58%/17%/1.0k
[単勝]75%/16%/0.5k
[馬単]49%/5%/2.8k
[102%]
24
12p
B9頭
内2人
CI@
GKB
C65
4.0
I65
2.4
I65
2.4
C65
4.0
中山12R 16:10
芝1800m 8/13頭
[三複]16%/4%/1.2k
[単勝]92%/20%/0.4k
[馬単]105%/9%/3.3k
[111%]
55
9p
単8頭
外3人
LHI
CGK
L62
*6.0
H60
*14.5
C58
3.2
F42
4.9
中京12R 16:20
芝1400m 6/15頭
[三複]37%/3%/3.3k
[単勝]80%/15%/0.5k
[馬単]143%/5%/8.5k
[111%]
93
17p
両4頭
中3人
FEL
INC
F67
*8.1
E64
*18.2
L62
2.6
H47
5.9

posted by 平場長 at 11:26| Comment(0) | レース予想[中央競馬] | このブログの読者になる | 更新情報をチェックする

2021年01月04日

明けまして

おめでとうございます。

正月の間にAI関連の初心者本と関連サイト/論文を幾つか流し読みして、概ね開発方針が決まったのでそろそろ開発に着手する。
AIと呼ばれているフレームワーク類に関しては全くの初心者なので完全にゼロからのスタートで勉強しながら暇な時間に実装したい。

開発に当たって幾つか疑問及び懸念点を調査チェック。

@機械学習による順位予想
 欠損値の扱いとかラベル・カテゴリカルのところが楽そうだったのでLightGBM/LambdaRankを使う。
 お金払ってクラウド借りるのも面倒なので取りあえずローカルPCでGPU/CUDA使いたい。
  →CmakeでGPU版LightGBMをビルドできる模様
 初心者本だと入力はCSVデータの例が多いが、うちの競馬データは全部PostgreSQLに入ってる。
  →PandasにPsycopg2のコネクションを渡せばSQLで特徴量データを検索できるのでOK
  →Dataframe#toSqlはそもそもPandasのデフォがSqlLiteベースなのでsqlalchemy#create_engineでコネクションを作って渡すとPostgres用SQLになる模様
 欠損値の扱い
  まだ良くわからないけど補完せずPandasのNullable integer data type?
 モデルの区分け
  まず中央だけど、中央が出来たら地方は南関・帯広・南関帯広以外の地方に分けようと思う。
  あとは中央の芝・ダートくらい。

ANNか機械学習による配当予想と荒れ指数的なものの予想
 まだぼんやりしてるので開発方針はないけど、これで荒場の特徴量を作って@に入れたい。
 これでNN/DLの勉強をしてみたい気もする。
 モデルの区分け
  地方は競馬場によって傾向がかなり違うし、これは競馬場別にするほうが良さそうな気がする。

B購入シミュレータ
 これは多分@Aの予測結果を使ったルールベースになると思うけどこっちのが面倒くさい気もする。
 @Aの予想から買い目を作って実際の配当と比較して結果を集計していく。

ざっくり流し読みしてみた感じ、やっぱりAIと呼ばれてるけど全然インテリジェンスを感じない(汗
ほとんどどれも回帰分類とパターン認識。
そもそも特徴量データ作ったり調整したり損失関数作ったりしてるの人間じゃん。
ライブラリ使ってるだけでAIそのものを作ってるわけでもないし・・・
という訳で競馬AIの開発ではなく、AI(と呼ばれている)ライブラリを使って回収率が高いパターンを認識させるという方が近いね。
Excelでマクロ組んでもExcel作ったとは言わんだろうし。

今はAutoMLってのもあるみたいだし、そっちが発展したらそもそもデータサイエンティストとかいらなくなるでしょこれ・・・。
少なくともDLとかブースティングのプログラムそのものをAIが生成しないとインテリジェンスとは言えない気がする。

あとは普通の競馬特徴量だと、他の競馬AI開発者と大して違いがない予測結果になると思うので
もし結果が正しかったとしてもあっという間に市場が効率化されるだろうし、なるべく独自の特徴量を多めに入れていきたい。
が、アンチ血統派なので血統データは入れない。

有名どころの競馬AIとかだと過去データやら横にならべて万単位の列だと思うけど、
PCリソースも限られてるし結果を早くみたいので当面はこれまでの指数やら算出パラメータを中心にして次元を極小にしてみる。
まずは各特徴量の相関のテストだな。


posted by 平場長 at 11:27| Comment(0) | 開発めも | このブログの読者になる | 更新情報をチェックする

2020年12月29日

12月29日(火)地方競馬システム予想-東京大賞典ほか

自作の競馬予想システムが買い指示を出したレースを公開しています。 
(新馬戦と障害は除く)

関係ないけどふと思いついて走査式ピコレーザー買ってきてもらった。
年明けビームスプリッタ買って干渉縞を作りたい。
数学の素養全くないので分からないけど、干渉縞ってフーリエ変換だと思うのだが
この干渉縞キャプチャ画像を逆フーリエ変換とか出来るのか実験。
そもそもピコレーザで干渉縞が出来るのかすら不明だが。

競馬はいよいよ年末の締めくくり。

東京大賞典のシステム予想
システムは穴狙い・・・
◎Hウェスタールンド
○Iハナズレジェンド
▲Dダノンファラオ 
△Fオメガパフューム
★@テーオーケインズ
☆Bモジアナフレイバー
☆Gノンコノユメ
×Mカジノフォンテン

直前レースの候補馬や指数を見たい方は
はるかさんのTwitter
からどうぞ
-----------------

■大井レースサマリー
[2020/12/29 12:00]
レース指数能力
上位


●▲大井1R 10:20
ダ1200m 5/15頭
@-J-D-C-I
[三複]110%/17%/1.9k
[単勝]81%/54%/0.1k
[馬単]100%/31%/1.0k
[107%]
5.0
27p
2頭
内1人
DIK
MF@
D76
1.3
I68
5.7
D76
1.3
I68
5.7
大井2R 10:50
ダ1600m 8/12頭
G-E-H-D-C
[三複]69%/5%/3.8k
[単勝]71%/15%/0.5k
[馬単]47%/5%/2.4k
[115%]
54
8p
B5頭
中2人
DGC
EHF
D61
3.9
G59
2.8
G59
2.8
D61
3.9
大井3R 11:20
ダ1200m 7/12頭
A-I-J-F-@
[三複]82%/24%/1.0k
[単勝]79%/55%/0.1k
[馬単]67%/29%/0.7k
[102%]
244
9p
2頭
外1人
JFC
GA@
J62
1.6
F57
13.5
J62
1.6
A55
3.5
大井4R 11:50
ダ1600m 10/14頭
[三複]70%/2%/7.9k
[単勝]142%/9%/1.5k
[馬単]56%/2%/6.4k
[136%]
211
6p
混10頭
外5人
IDC
FBM
I60
*15.0
D59
*84.2
B55
2.0
C59
2.4
大井5R 12:25
ダ1200m 8/14頭
[三複]57%/6%/2.6k
[単勝]38%/4%/0.8k
[馬単]53%/3%/4.6k
[105%]
11
11p
両4頭
外6人
KCH
LDB
K64
15.9
C62
3.0
L61
2.6
C62
3.0
大井6R 13:00
ダ1600m 10/14頭
[三複]93%/15%/1.8k
[単勝]65%/18%/0.3k
[馬単]66%/12%/1.6k
[100%]
71
3p
両9頭
内4人
@DA
LMJ
@57
*8.8
D56
*18.8
M55
3.4
L55
3.5
大井7R 13:35
ダ1200m 9/14頭
[三複]77%/11%/2.1k
[単勝]83%/20%/0.4k
[馬単]81%/11%/2.1k
[105%]
52
8p
混7頭
外2人
JDM
HGB
J62
4.5
D60
15.3
H58
4.5
J62
4.5
大井8R 14:15
ダ1600m 8/14頭
[三複]27%/5%/1.4k
[単勝]71%/46%/0.2k
[馬単]99%/23%/1.3k
[114%]
75
6p
混11頭
外2人
IJG
LDK
I62
1.8
J60
15.0
@33
0.0
I62
1.8
大井9R 14:55
ダ1800m 11/16頭
[三複]27%/2%/2.7k
[単勝]71%/19%/0.4k
[馬単]111%/8%/3.7k
[116%]
19.5
5p
B9頭
内2人
BFE
MNH
B61
4.7
F60
14.8
I29
3.5
B61
4.7
☆★大井10R 15:40
ダ2000m 12/16頭
[三複]326%/33%/2.9k
[単勝]236%/16%/1.4k
[105%]
10.0
9p
両6頭
中4人
IH@
ADC
I63
*18.4
H62
*6.5
F50
1.5
H62
6.5
大井11R 16:20
ダ1200m 8/16頭
[三複]93%/7%/3.7k
[単勝]81%/19%/0.4k
[馬単]78%/8%/2.8k
[105%]
272
8p
両6頭
外3人
MKE
O@N
M64
*7.8
K63
*22.7
F54
2.7
E60
5.2
大井12R 17:00
ダ1400m 8/12頭
[三複]35%/3%/2.9k
[単勝]65%/14%/0.5k
[馬単]46%/5%/2.4k
[113%]
56
8p
単6頭
中1人
E@K
DIC
E63
3.1
@59
10.6
E63
3.1
F35
4.2




posted by 平場長 at 12:16| Comment(0) | レ−ス予想[地方競馬] | このブログの読者になる | 更新情報をチェックする

2020年12月27日

12月27日(日)中央競馬システム予想-有馬記念ほか

自作の競馬予想システムが買い指示を出したレースを公開しています。 
(新馬戦と障害は除く)

今日は中央競馬最終日なので朝から参戦。
金額も少し増やしてみる。

有馬記念のシステム予想はこちら
◎Hクロノジェネシス
○Lフィエールマン
▲Iカレンブーケドール
△Fラッキーライラック
×Kオーソリティ
×Dワールドプレミア 
★Jモズベッロ
×Eキセキ
×Cラヴズインリーユー

直前レースの候補馬や指数を見たい方は
はるかさんのTwitter
からどうぞ
----------------------
結局、途中落ち込んだのでそれほどは金額を上げられなかったけど
来年は50万くらいでスタートしてみようかと思う。

年末年始はAI投資関連の書籍でも沢山買って読書三昧だな。
脳内で学習モデルの仮実装。

cap20201227.png
----------------------
■全レースサマリー
[2020/12/27 11:01]
レース指数能力
上位


中山1R 09:35
ダ1200m 8/16頭
H-O-G-B-M
[三複]67%/4%/4.4k
[単勝]68%/15%/0.4k
[馬単]56%/5%/3.2k
[110%]
26
18p
B5頭
内2人
BMG
D@F
B70
3.3
M66
15.6
G61
2.7
B70
3.3
中山2R 10:05
ダ1800m 10/16頭
K-E-I-F-A
[三複]221%/0%/69.0k
[単勝]103%/2%/3.6k
[馬単]216%/0%/67.5k
[112%]
39
11p
1頭
中9人
HEN
JOK
H63
23.4
E62
3.1
E62
3.1
J60
5.0
阪神2R 10:20
芝1200m 7/16頭
F-A-B-D-H
[三複]31%/2%/4.4k
[単勝]76%/14%/0.5k
[馬単]28%/2%/4.0k
[107%]
75
19p
3頭
中1人
FGN
EKH
F74
2.9
G63
61.9
F74
2.9
N56
4.3
中山3R 10:35
芝1600m 10/16頭
@-B-I-O-M
[109%]
13
13p
B4頭
内6人
BJA
@CI
B66
14.4
J64
4.5
@55
2.0
J64
4.5
阪神3R 10:50
ダ1800m 7/10頭
[三複]127%/25%/1.5k
[単勝]71%/47%/0.2k
[馬単]90%/19%/1.4k
[103%]
82
10p
3頭
中1人
EGF
HB@
E62
1.8
G60
4.1
E62
1.8
G60
4.1
▲☆阪神4R 11:20
芝2000m 7/16頭
[三複]134%/3%/10.5k
[単勝]190%/11%/1.7k
[馬単]282%/7%/11.0k
[121%]
404
13p
3頭
中7人
IMJ
LEA
I66
*15.4
M64
*94.4
A53
3.2
L62
4.4
△☆中山6R 12:25
ダ1200m 8/16頭
[三複]28%/2%/3.4k
[単勝]87%/5%/1.8k
[馬単]168%/3%/13.5k
[111%]
217
10p
3頭
内6人
@AC
FOD
@65
12.3
A62
17.8
L48
3.8
D55
4.2
△☆中山7R 12:55
ダ1800m 7/16頭
[三複]44%/3%/3.8k
[単勝]86%/16%/0.5k
[馬単]69%/6%/3.4k
[117%]
385
17p
3頭
外2人
JFL
HE@
J71
5.2
F63
14.8
K49
2.4
J71
5.2
阪神7R 13:10
芝1800m 4/5頭
[三複]32%/4%/2.0k
[単勝]33%/7%/0.4k
[馬単]14%/1%/2.2k
[111%]
11
7p
3頭
外4人
CBA
D@
C60
4.9
B53
5.0
D50
2.8
@31
3.4
中山8R 13:25
芝2500m 10/16頭
[141%]
13p
2頭
外14人
JEB
CKA
J66
38.3
E61
21.0
C57
3.5
O29
4.3
阪神8R 13:45
ダ1800m 6/15頭
[三複]92%/6%/4.3k
[単勝]70%/16%/0.4k
[馬単]48%/4%/3.3k
[106%]
32
20p
3頭
中3人
IKH
AFE
I71
5.6
K66
23.3
A56
3.6
H62
4.9
△☆中山9R 14:00
ダ1800m 7/16頭
[単勝]21%/1%/1.6k
[119%]
5p
両6頭
外8人
MDI
FNK
M64
21.8
D62
11.0
E52
3.8
N59
4.7
阪神9R 14:20
芝1600m 6/13頭
[三複]84%/26%/1.0k
[単勝]78%/23%/0.3k
[馬単]73%/18%/1.2k
[101%]
22
20p
B6頭
外4人
HFE
A@I
H70
*9.2
F63
*2.1
F63
2.1
A57
7.1
▲☆中山10R 14:35
ダ1200m 8/16頭
[三複]181%/4%/11.2k
[単勝]116%/20%/0.6k
[馬単]118%/8%/4.2k
[118%]
130
19p
両4頭
中5人
FDI
KEB
F73
*8.3
D61
*7.3
K58
*5.1
B54
*6.7
▲☆阪神10R 15:01
ダ1800m 8/16頭
[三複]234%/4%/15.5k
[単勝]139%/10%/1.3k
[馬単]100%/3%/9.9k
[114%]
488
12p
B8頭
外10人
LMK
NFE
L65
*17.6
M63
*6.7
E53
3.9
M63
6.7
阪神11R 15:51
ダ1400m 8/16頭
[三複]64%/12%/1.6k
[単勝]100%/22%/0.4k
[馬単]88%/13%/2.0k
[102%]
101
11p
混11頭
外1人
KOC
HAJ
K64
3.9
O61
7.9
K64
3.9
A57
7.3
中山12R 16:05
芝1200m 8/16頭
[三複]13%/2%/2.0k
[単勝]52%/12%/0.4k
[馬単]60%/8%/2.2k
[115%]
8.0
12p
B5頭
内3人
B@M
FDO
B65
7.2
@64
16.4
A46
4.9
K53
6.7
阪神12R 16:25
芝1400m 8/14頭
[118%]
13p
1頭
内2人
@EB
GLK
@65
4.4
E63
7.1
F34
0.0
@65
4.4

posted by 平場長 at 11:09| Comment(0) | レース予想[中央競馬] | このブログの読者になる | 更新情報をチェックする