対象はJDLAの「ディープラーニングの応用」Q11〜Q13です。公式正解は Q11＝A：スケーリング則、Q12＝A：量子化、Q13＝B：ゼロショット学習。公式問題文を横に置いて、各用語が解く課題を比べてください。
Q11：モデル・データ・計算量と性能の関係
スケーリング則は、モデルの規模、学習データ量、計算量を変えたとき、損失や性能がどう変わるかを経験的な関係として捉える考え方です。初期の研究では、一定の条件下で規模の増加に伴う損失の変化をべき乗則で整理しました。試験では「何を大きくしたときの性能変化を扱うか」を押さえます。
ただし、規模を増やせばどの課題でも無制限に良くなる、という保証ではありません。データの質、学習目標、評価方法、計算資源の配分も結果を左右します。特定の実験で観測された関係と、あらゆるモデルへの普遍法則を区別します。
Q12：重みの表現を軽くする
量子化は、モデルの重みや活性値の数値表現を低い精度へ変換する技術です。たとえば32ビット浮動小数点の重みを8ビット整数で表せば、重み一つあたりの記憶量は原理上4分の1です。実際のモデル全体の容量や処理速度は、追加情報、ハードウェア、演算方法によって変わります。精度低下の測定も必要です。
枝刈りは重要度の低い重みや結合を削る方法、蒸留は大きなモデルの出力などを手本に小さなモデルを学習する方法です。どれも軽量化に使われますが、「値を少ないビットで表す」という手掛かりは量子化を指します。
Q13：対象クラスの訓練例がなくても判定する
ゼロショット学習は、対象のクラスについて直接の訓練例を与えず、説明文や他クラスから得た表現などを利用して判定する考え方です。「学習が一切不要」という意味ではありません。事前学習やクラスの意味情報を利用して、未見の対象へ知識を移します。
少数の例を与える少数ショット学習、十分な対象例で再学習する教師あり学習と区別します。新しいカテゴリに直接のラベル付き画像がゼロでも、カテゴリ名や説明を使って画像との対応を判断する構成はゼロショットの例です。性能は事前学習との関係や評価条件に依存します。
自分で確かめる
練習：スマートフォン上のモデルを小さくしたくて、重みの数はそのままに各値のビット数を減らします。これは何ですか。また、訓練時に見せていない動物の画像を、その名前や説明だけを手掛かりに分類する設定は何ですか。
解答：前者は量子化、後者はゼロショット学習です。実用化の前には精度、遅延、電力を実機で測ります。
覚える一行：スケーリング則は規模と性能の関係、量子化は数値のビット数、ゼロショットは対象クラスの訓練例の有無です。
参照：JDLA公式問題と解答、スケーリング則の原著論文、現行シラバス。