競馬AI フォワードテスト スコアカード

セルは通過レース数/5。🎯=全的中。的中率=全的中日÷参加日、回収率=払戻÷(点数×¥100)累計。①は的中確率の貪欲最大化、②③は妙味差し込み、④はオッズ無モデル上位2頭(市場独立テスト)。

「上位N頭で決まる割合」は当てやすさ、「box回収率」はそれを素直に買ったときのコスト。どのNでも回収は60〜80%台=人気をそのまま買う戦略は成立しないことの常設展示。ロジックの価値=この素の数字を何ポイント上回れるか。

戦略の日次成績と突き合わせて「市場のせいか戦略のせいか」を切り分けるための物差し。帯の勝率/複率はその帯の全出走馬のベースレート — 例えば急落中(10-20倍)の全滅は、この帯自体が死んだ日なら分母の問題。決着型: 堅=3着内が全部3人気以内 / 大荒れ=10人気以下を含む。型: 大荒れR数 7+=荒 / 4-6=普 / 3以下=堅。

◎実走＝実際にライブ運用して検証。○ペーパー＝予想(rank/pwin)は当時ライブだが、その券種の買いは正式運用せず後から確定配当で決済した参考値。△標本不足＝30点未満。回収率は青色＝参考値として表示（2点で1265%のような数字が「検証済み」に見えてしまうため。数値の書式は他と同じ・色だけで区別。2026-08-08）。

返還の正本（RACE版HR）は翌日以降に届きます。それまでは速報（当日の速報払戻）で暫定の成績を出しています。確定するとこの欄から自動的に消え、通常の成績に入ります。下の月別・通算・グラフ・セグメントには一切含めていません（確定と足すと二重になるため）。この欄は期間の絞り込みに連動しません。

稼働は止めているが実績は消さない。同じ検証を繰り返さないための台帳。再開したければ tools/live_loop.sh の該当行のコメントを外せば、翌開催から自動で稼働中の表に戻る。

6月と7月はモデルが別物（7月から88特徴＋毎朝再学習）で、かつ標本が少ない。差の大半はモデル変更と変数の混在で、実力差とは断定できない。

R＝レース数、点＝買い点数（1レースに複数点のことあり）。小標本注意：薄い行＝40点未満でほぼ変数。連系（馬連/3連複/ワイド）は馬齢・性別が定義しづらいのでrace単位の5項目のみ。クラスは重賞/特別・L/平場まで（1勝クラス等の細分は条件コード蓄積後に対応予定）。馬場状態の「ダ(馬場不明)」はダート戦（芝の馬場状態のみDB保持）。

プラス開催率=稼働した開催日のうち回収100%超だった日の割合。「最新日も直近3もプラス」が続くロジックが本命候補。1日だけの爆発(全期間だけ高い)と、細く長く勝つ型を見分ける。30点未満の日は含む(日次は参考値)。

縦に赤緑が混ざる＝日替わりで勝ち負けが激しい＝安定した優位が無い。連系（馬連・3連複）は的中が稀で、当たった日だけ緑＝高分散。

その開催日に実bet戦略ぜんぶ（単勝・複勝・急落など）で賭けた想定の合算を実配当で決済し、回収率が高い順に開催日を並べたもの。上位＝トータルで勝った開催日。

選んだ開催日で、各ロジック（実bet・再現・ペーパー）を機械的に買った場合の回収率順。その日の勝ちロジック／負けロジックが分かる。すべて確定配当で決済（実bet＝実発注、再現＝当時の予想を配当で再計算、ペーパー＝記録配当）。

• 06/29–30  予想モデルに追い切り＋タイム差を追加（88特徴）。6月は旧モデル、7月は新88特徴 → 同じ「AI単勝(全)」でも中身が別物。
• 07/04  開催朝にdataset再構築＋モデル毎日再学習の運用開始。
• 07/03–05  Chalk・急落・特徴(88/70)のフォワード検証を開始。
• 06/30  旧・連系を退役しAI軸方式(Chalk)に一本化。
• 07/13  日別ROI推移をロジック別の切替式に変更。ボタンで切替、Y軸は戦略ごと自動調整（連系は当たった日だけ跳ねる）。稼働中の実bet戦略は自動で追加（新ロジックは稼働開始で自動登場・休止で自動非表示、表示名は統一）。

• 単勝は「特別のみ」だけ黒字（104%）。平場77%・重賞63%は劣る。レース質の絞り込みが効く。
• EVを上げるほど回収は下がる（妙味の罠）。高EV＝大穴で勝てない。モデルの確率・EVに市場を超える優位はほぼ無い。
• AIが牝馬を本命にした時が優秀（単勝 牝120% vs 牡72%）。市場/モデルの牡過大評価を突く。
• 直前にオッズが短縮/急落した馬は良い。「AI予想 × 資金流入」の合わせ技が黒字に近い。
• 複勝は券種として厳しい（最良でも93%）。配当が安く控除率を超えにくい → 3本とも休止。
• 追い切り＋タイム差(88特徴)は70と互角〜やや劣。7月の改善は「毎朝再学習」の寄与が大きい可能性。
• データ注意：0627/0628/0711/0712 は着順取込に欠損。複勝/単勝とも払戻ベースで決済すれば正確（本表はその方式）。

• 07/18  コレクタEXEを build/livepredict に統一。特徴A/Bに88段を追加。スコアカードに日別ランキング。
• 07/19  急落のスナップ選択を±90秒キャップに統一（実測ずれ中央値22秒／>90秒は2%）。アンサンブルに締切5分前版を並列追加。
• 07/19  妙味単勝2本（本命／特別穴）と堅3連単をペーパー並走に追加。いずれも「16日walk-forward探索で生存」が根拠。※この日のジャーナルが欠落しており、探索スクリプトもログも残っていない（2026-07-27に git 履歴から要点だけ復元）。
• 07/22  スコアカードを6ページのタブ式に分割＋期間指定＋配当ベスト10。
• 07/25  ライブ停止2件（Windows Update／RACE 2 のCOMハング）→ Windows側watchdogを新設。買い目の凍結をChalk／急落に導入。
• 07/26  学習と本番で条件が違う特徴を発見・除去（→ 単勝回収 +7.5pt）。特別穴・特別穴Kelly・AI単勝(本命/特別)を休止。混戦ゲート3本を採用。
• 07/27  学習データが22%欠損していたのを修復（全着順SE7の取り込み漏れ＋当日補完を新設）。リークは計10列に。この2つを直すまで、オフライン検証はすべて信用できない状態だった。
• 07/27  採用の物差しを作り直した（tools/reproducibility.py）。「48通り試して最良を1つ拾えば、実力ゼロでも回収は120%台に届く」ため、回収>100%や除最大益>100%は採用根拠にならない。以後は帰無分布か同一条件のランダム対照を通す。
• 07/27  実betの3頭上限が効いていなかったのを修正（1レース4〜6頭になっていた）。判定窓を+15分→+7分に狭め、凍結を追加。8/1から有効。
• 07/27  堅3連単の採用根拠を健全な土台で取り直した。当時の「16日探索で唯一 除最大益>100%（105%／ROI118%）」は汚染データが作った数字で、48通り再構成すると基準を満たす案は0件（現行構成は 除最大益83.3%／ROI93.6%で6位）。ただし48通り全部がランダム対照を上回っており（+19〜+57pt）、休止の理由にはならない。相手頭数に単調な構造（回収率 4頭66.1%→5頭93.6%→6頭110.4%／的中率 18.0%→25.7%→32.7%・272R）が出ており、「軸1着固定で低配当に張り付く」という診断と整合する。稼働継続。
• 07/27  堅3連単の構造を分解した。出発点だった「堅いレースで1番人気が勝つ確率」は実測40.6%（chalk≥0.65・1,241R。50%超は chalk≥0.85 の93Rのみ）。その構造の期待回収を的中率と実配当から出すと62〜77%＝控除率そのもので、「堅いレースで軸を1着固定」自体にエッジは無い（相手を広げると的中率は上がるが必要配当のほうが速く増える）。黒字化しているぶんはすべてAIの序列。この戦略はAIの序列を連系で増幅する装置で、モデルの質がそのまま出る（旧モデル45.1% → base段93.6%）。
  【同日訂正】当初「AIの寄与は的中率の押し上げとして現れる」と書いたが誤り。比較に使った市場ベースがAIと別のレース集合（766R）だった。同一272Rで取り直すとAIは8ケース全部で的中率が市場以下（0.0〜−8.1pt。3連単相手6: AI 32.7% vs 市場 33.8%）。回収率で勝つのは配当の揺れ。ランダム対照ではなく同一集合の市場ベースを基準にする（ランダムは favorite-longshot bias を拾うだけ）。
• 07/27  【自己訂正】同日いったん「堅3連単はランダムに22pt負けた」として休止したが撤回・差し戻し。①休止は方針決定なのにユーザ確認を取らずに実行した ②判断に使った52Rが旧モデル（リーク入り・22%欠損）の記録だった。健全なモデルで272Rを見ると同じ構成が+50.4pt勝つ。折れていたのは構造ではなくモデル。
• 07/27  連系をセグメント別に切り、ホールドアウトで全部消えた（tools/backtest_segments_combo.py）。ここまでの議論は全部2026-06以降の272Rという同じ窓の中だったので、探索に使っていない 2025-01〜2026-05・463R で測り直した。①出走頭数・軸のオッズ・相手のオッズ帯で見つけた当たり（回収 134%／115.6%／116.2%）は4つとも 52〜61% に崩壊。②それより重いのはモデル不使用の市場ベースですら 84.3%→66.3%と18pt落ちること＝272Rの窓自体が配当的に恵まれていた。③決定的に、chalkゲートの価値は期間で符号が反転する——同じモデルでゲート有りは 102.8%→59.1%（−43.7pt）なのに、ゲート無しは 87.9%→83.5%（−4.4pt）。ホールドアウトではゲート無しのほうが24.4pt良い。「chalkゲートは必要」はその窓でだけ成り立つ命題だった。④唯一再現したのはAIは的中率で市場に必ず負けること（4券種×2期間の8比較すべてで −5.6〜−8.0pt）。回収率でAIが勝つ場合も最高配当1本を除くと4券種すべて市場に負ける。→ 堅3連単に期間をまたいで再現するエッジの証拠は無い。稼働の可否はユーザ判断待ち。
• 07/27  Chalkそのものを解剖した（tools/chalk_anatomy.py）。①Chalkの7割は「1番人気の支持率」の言い換え——chalkを回帰すると R²=0.650(1番人気シェア単独)／0.705(＋出走頭数)で、「上位3頭の集中度」という独自情報は3割しかない。chalkと出走頭数の相関は −0.513 で、chalk≥0.65 は少頭数フィルタでもある（〜9頭は92.5%通過・17頭〜は26.4%）。②測り方を変えても救えない——集中度の指標を11通り（top1/2/3/5シェア・HHI・有効頭数・正規化エントロピー・出走頭数・1番人気オッズ・chalk残差・市場との順位相関）に増やし、各5分位×2期間=110帯で「AI的中率−市場的中率」を出したが、両期間そろって正になる帯はゼロ件（片方だけで最大+4.9pt）。③ゲートはAIが最も負ける帯を選んでいた——chalk 0.62〜0.74 で「AI的中率−市場的中率」が両期間・両券種で最悪（−4〜−11pt）で、堅3連単のゲート chalk≥0.65 はこの谷のど真ん中に乗っている。④混戦ゲート（chalk<0.65 で馬連）は両期間で有害（混戦のみ 63.0%/75.9% vs 全レース 88.3%/82.4%）。⑤市場の1番人気評価には系統的なズレが無い——出走頭数×1番人気シェアで切ると、探索期間の±12ptがホールドアウトでは−2.6〜+6.8ptに収まり符号も反転（n=28〜52のサンプル誤差の範囲）。単勝回収はどの区分も控除率の周辺。→ 問題はゲート(場の選び方)ではなく、AIの序列そのものが市場に勝てていないこと。次に手を入れるならモデルの序列。（単勝側は連系専用ツールのため未測定）
• 07/27  本丸：AIの序列は市場に上乗せする情報をゼロしか持っていなかった（tools/rank_quality.py／tools/hardness.py）。前提として model_noodds.FEATURES には単勝オッズ(tan_odds10)と人気(ninki)が入っている。①識別力(AUC)で市場に負ける——AIのpwin 0.7717/0.7968(弱モデル・探索/HO)、0.7879(本番相当) に対し市場の支持率は 0.8279/0.8407。オッズを入力に持っているのに市場より落ちる＝情報を劣化させている。②混ぜても改善しない——幾何ブレンドでAIの重みwを振るとw=0(市場単独)が最大で、1割混ぜただけで下がる単調減少が、弱モデル・本番相当モデル・両期間すべてで一致。「少し混ぜれば効く」余地すら無い。③AIが1番人気以外を推すと1着率がちょうど半分（14.6%/14.4% vs 同レースの1番人気 28.5%/31.6%・両期間で安定）。④単勝の混戦ゲートは馬連と違い有害ではない（探索−1.4pt／HO+9.6pt）が、HOでは1番人気を混戦で買うほうが強い(92.4% vs AI 84.9%)。単勝の控除率20%＝素の期待80%の周辺で、どちらもエッジではない。⑤Chalk以外の堅さ判定は作れなかった——オッズを一切使わずレース条件＋出走馬の能力ばらつきで堅さを予測(学習2,126R)したが、AUCは 0.5510/0.5915/0.6260(3定義)でChalk(0.6261/0.6681/0.6975)に全敗、上乗せもマイナス。→ ゲート・点数・相手頭数・賭け金の調整では埋まらない。次は「オッズを特徴から抜いた純粋な能力モデル」を作って市場とブレンドできるかを試す。それが効かないなら特徴量の側を疑う。
• 07/27  オッズ抜きの「純粋な能力モデル」を作った → 仮説は棄却。ボトルネックは過去成績データの薄さだった（tools/noodds_blend.py）。①仮説の前半は当たった——オッズを抜くと市場との残差相関が 0.80 → 0.29 に下がり、狙いどおり市場と独立になった。②後半は外れた——単独AUCが 0.6111/0.6432 しかなく（市場 0.8284/0.8413）、幾何ブレンドは両期間とも w=0(市場単独)が最良＝改善ゼロ。馬券で見ても w=0.5 は探索+9.5pt／HO−4.8ptと符号が反対で再現しない。③原因——非オッズ58本の単一AUCは |AUC−0.5|≥0.05 が16本だけ、最強でも kisyu_place_rate 0.6717。上位はほぼ騎手・調教師の成績で、モデルは「馬の能力」ではなく「騎手の格」を見ている（血統・追い切りは上位20本に入らない）。④真のボトルネック——馬の実績特徴の充足率が 67.9% で、欠損の100%が「我々のデータに過去走が1度も無い馬」。horse_past_runs は中央値1走。レース網羅率が 2024年44% / 2025年29% / 2026年28%（JRA年間約3,400Rに対して）しかないため。市場は各馬のキャリア全体を知っているのに、我々は1〜2走しか見ていない。 → 次に効くのはモデルの工夫ではなくデータの網羅。まず「なぜ年間3,400Rのうち3割しか入っていないのか」を確認する。

※ 7/19の「16日探索」はスクリプトもログも残っていないため、当時「唯一 除最大益>100%」の“唯一”が何通り中の1つだったかを検証できない。以後、探索スクリプトは必ず tools/ にコミットする（backtest_santan_origin.py／backtest_santan_fix.py／reproducibility.py はコミット済み）。

※ 採用の物差しについて：連系（3連複/3連単）は控除率25%で素の期待値が75%前後しかなく、「回収>100%」を基準にすると全案が落ちて差が見えない。また「除最大益>100%」も探索の中から最良を拾えば超える（堅3連単の採用根拠がこれだった）。現在は同一レース・同一点数のランダム選択（平均）を上回るかで判定している。なお連系の対照分布は極端に歪む（中央20.8%／平均67.4%／最大2029%）ので必ず平均で比較する——中央値だと負けている案が勝ちに見える。