人工知能の一種である深層学習は、複雑で膨大なデータに対して柔軟な学習が可能です。ヒトの神経細胞であるニューロンの仕組みを模擬した数理モデル『ニューラルネットワーク』と最適化アルゴリズム『誤差逆伝播』を合わせることで、従来では困難だった処理を実現しました。
これまでに、数多くの派生系が研究・開発されており、各モデルを適切に使い分けることが重要だと考えます。そこで、本記事では深層学習の代表的なモデルと特徴を紹介します。
おばけ深層学習だけでも、種類が多いな
概要だけでも理解してみよう！
モデル一覧
MLP
多層パーセプトロン（MLP: multilayer perceptron）は、少なくとも3層以上で構成される順伝播型ニューラルネットワークです。最も基本的な深層学習モデルですが、画像認識や自然言語処理等のタスクにおいて、高精度ではありません。
一般的なモデルにも共通しますが、過学習（訓練データのみに過剰適合する状態）を避けるための手法として、正則化, ドロップアウト, 交差検証, アンサンブル学習, 早期終了などを組み合わせて精度を高めます。
CNN
畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）は、主に画像認識で活躍するモデルです。入力である画像に対して、カーネルと呼ばれるフィルターを掛け、局所的な特徴を捉える仕組みを持ちます。
数学的に畳み込みとは、関数を並行移動して足し合わせる二項演算です。線や丸といった特徴量を抽出できる構造であることから、パターンの繰り返しが現れやすい画像では有効です。
RNN
回帰型ニューラルネットワーク（RNN: Recurrent Neural Network）は、自然言語処理で活躍するモデルです。特徴的なのが、値の伝播が自己で繰り返される点であり、位置関係を含まない時系列データに対して効果的です。
例えば、大規模言語モデルに代表されるTransformer構造や長・短期記憶（LSTM: Long Short Term Memory）などが有名です。
GAN
敵対的生成ネットワーク（GAN: Generative Adversarial Nets）は、生成モデルの中でもユニークなアイデアをもとにして開発されたアルゴリズムです。人工知能の権威であるYann LeCun氏が「ここ10年間で最も興味深いアイデアである」と発言したほどでした。仕組みとしては、生成器（G: Generator）と識別器（D: Discriminator）という2つのニューラルネットワークが敵対的に学習することが基本となっています。
偽札を作る人を思い浮かべてみましょう。警察が偽札を見分ける技術を高めると、それに対応するために偽札を作る技術も高める必要があります。すると、さらに警察は識別技術を向上させ、それに対応するために偽造技術の向上が期待されます。この繰り返しにより、悪い人は非常に精巧な偽札を作れるようになるでしょう。
このようにしてGANは2つのネットワークによる敵対的な学習により、画像などを高精度に作成することが可能となります。ただし、学習が不安定な点やコストが膨大であることが欠点です。
コメント