ショートカット接続

- ResNet登場の背景2015年以前、画像認識の分野では畳み込みニューラルネットワーク（CNN）が大きな成果を上げていました。CNNは、画像から特徴を抽出する層を深く重ねることで、より複雑なパターンを学習することができると考えられていました。しかし、層を深くすればするほど性能が向上する、というわけではありませんでした。深い層になると、勾配消失と呼ばれる問題が発生し、学習がうまく進まなくなることが知られていたのです。勾配消失は、誤差逆伝播法と呼ばれる学習アルゴリズムの過程で発生します。誤差逆伝播法は、出力層で発生した誤差を、ネットワークの各層に逆向きに伝播させていくことで、パラメータを更新していくアルゴリズムです。しかし、層が深くなると、この誤差情報が伝播する過程で減衰してしまい、入力層に近い層まで十分な誤差情報が届かなくなってしまいます。その結果、パラメータが適切に更新されず、学習が停滞してしまうのです。ResNetが登場する以前にも、この勾配消失問題を解決するために、活性化関数の変更や重みの初期値の工夫など、様々な取り組みが行われてきました。しかし、これらの手法では、層を深くすればするほど効果が薄くなってしまうため、根本的な解決策とは言えませんでした。そこで、新たなネットワーク構造の開発が求められていたのです。そして、2015年に登場したのが、勾配消失問題を解決する画期的なネットワーク構造であるResNetだったのです。