探索では上位だったネットワークが、独立した学習後には振るわないことがあります。各世代の評価が次に残す候補を決める進化的探索では、この誤差は高くつきます。順位が歪んでいれば、探索を続けるほど誤った方向へ進む可能性があります。EvoNAS は、共有超ネットワークの学習、候補の評価、精度と計算コストの選択を一つの課題として扱います。
評価の信頼性が探索を支える
全候補を個別に学習すれば、計算費用は膨大になります。重みの共有はこの負担を軽くしますが、候補同士の学習も結びつけます。共有パラメータから最も恩恵を受ける構造が、単独で学習したときにも最良とは限りません。選択が次世代の構成を変える以上、評価の歪みは探索全体に影響します。
超ネットワークは候補間でパラメータを共有します。しかし、継承した重みでの性能が、各構造の潜在能力を正しく示すとは限りません。2026年3月20日提出の論文は、VSS–ViT ハイブリッド超ネットワークと、空間・周波数領域で表現を整合させる CA-DDKD を提案しています。PST は大きな構成から小さな構成へと学習を広げます。
建物を認識することと、その輪郭を正確に捉えることは別の能力です。深度推定や分割では、細い手すりや壁の角、前景と背景の境界も重要になります。CA-DDKD は離散コサイン変換の制約を使って、こうした細かな幾何情報の保持を助けます。特徴の位置を見る空間領域と、輪郭や質感の変化を見る周波数領域が補い合います。
学習戦略も探索手法の一部です。共有表現が改善されて初めて、候補を比較する根拠が良くなります。候補数を増やすだけでは不確かな順位は修復できません。
制約に合わせて候補を選ぶ
例えば深度推定では、遅延上限を満たすために精度との折り合いをつける場合があります。多目的探索は、その条件で比較できる候補群を提供します。DMMPE は GPU リソースプールと非同期スケジューリングで複数モデルを評価します。実際の判断には対象のハードウェア、データセット、測定方法が必要です。
候補の評価には、比較可能なハードウェアと実行条件が必要です。探索設定は何を有望と見なすかを決め、再学習は選ばれた構造が実際に何を学べるかを示します。この二つを結びつけることが、EvoNAS の順位問題を調べる出発点になります。
実験を始める前に
手順は ImageNet-1k での事前学習、対象データでの PST 微調整、進化的探索、選択したサブネットワークの再学習の4段階です。KITTI と NYU Depth v2 の深度推定、COCO の検出、ADE20K の分割が案内されています。一つのデータセットでデータパス、学習設定、探索目的、再学習設定を通して確認すると、探索スコアと最終モデルの関係を追えます。
README では必要な事前学習済み超ネットワークの配布が引き続き準備中です。開始前に重みの入手状況を確認し、Mamba SSM wheel を記載された Python、CUDA、PyTorch 環境に合わせてください。