自己教師あり学習とは何か、その仕組みと活用

データにラベルを付けるコストを大幅に削減しながら、大規模モデルの事前学習を可能にする手法として、自己教師あり学習（Self-Supervised Learning、SSL）が近年の深層学習の中心に据えられています。

定義と基本的な考え方

自己教師あり学習とは、外部から人手で付与されたラベルに依存せず、データ自体が持つ構造から教師信号を自動生成してモデルを訓練する機械学習の枠組みです。

通常の教師あり学習では「この画像は猫」「この文のセンチメントは正」といったラベルを人間が用意しますが、SSLではデータの一部を隠したり、順序を変えたりして「穴埋め問題」を自動的に作ります。モデルはその問題を解くことで、ラベルなしデータから汎用的な表現を獲得します。

教師なし学習と混同されやすいですが、教師なし学習がクラスタリングや次元削減のようにデータの構造自体を目的とするのに対し、SSLは自動生成した擬似ラベルで教師あり学習と同等の枠組みを構成する点が異なります。

代表的なプレテキストタスク

教師信号を作るために設ける「事前タスク（プレテキストタスク）」がSSLの核心です。ドメインごとに代表的なものを挙げます。

ドメイン	プレテキストタスク	概要
テキスト	マスク言語モデリング（MLM）	文中のトークンを隠し、元の単語を予測させる
テキスト	次文予測（NSP）	二文が文書内で隣接するかを判定させる
画像	パッチ再構成	画像の一部を隠して元のピクセル値を復元させる
画像	対照学習	同一画像の異なる拡張表現を「近い」と学習させる
音声	波形のマスク予測	音声の一区間を隠し、潜在表現を予測させる

BERTはMLMとNSPで事前学習し、GPTは次トークン予測だけで言語モデルを構築しています。どちらもSSLの典型例です¹。

登場の背景

ラベル付きデータが機械学習のボトルネックになると認識され始めたのは2010年代中盤ごろです。ImageNetのような大規模データセットを整備するには膨大な人件費がかかる上、医療画像や法律文書など専門ドメインでは専門家によるアノテーションが不可欠で、スケールに限界がありました。

インターネット上に存在する非構造化テキスト・画像・動画の量はラベル付きデータの比ではありません。SSLはこの未ラベルの大規模データをそのまま学習リソースとして活用することを可能にし、2018年のBERT登場を境に自然言語処理の事前学習パラダイムとして定着しました。

実際の利用シナリオ

例えばある医療スタートアップが胸部X線の異常検知モデルを構築したいとします。放射線科医によるラベル付き症例は数百件しか確保できない状況でも、SSLを使えばラベルなしのX線画像数万枚でまず表現学習を行い、その後少量の正解ラベルでファインチューニングするという流れが取れます。これがSSLが「少量ラベルでも高精度」と言われる理由の実体です。

ファインチューニング段階で必要なラベル数はタスク・ドメインによって大きく異なります。SSLの事前学習があれば十分というわけではなく、ファインチューニング用データの質と量は依然として性能に影響します。

現在の位置づけと次に押さえるべき点

GPT-4・LLaMA・Vision Transformerなど現在主流の大規模モデルは、ほぼ例外なくSSLによる事前学習を経ています。生成AIの台頭によってSSLは研究上の手法から産業インフラへと移行した段階にあります。

次に理解を深めるなら「対照学習（Contrastive Learning）」が有力な起点です。SimCLRやMoCo、DINOといった手法はSSLの中でも画像ドメインで広く応用されており、プレテキストタスクの設計思想を具体的なコードとセットで追えます。

Footnotes

1. BERTはGoogleが2018年に発表。MLMによる双方向の文脈理解が特徴。GPTシリーズはOpenAIが開発し、単方向の次トークン予測で大規模言語生成を実現している。 ↩