ジェフリー・ヒントン教授 トロント大学 エンジニアリングフェロー Google Brain、最近、 フォワードフォワード アルゴリズム (FF) の代わりに、ネットワークを介してデータの XNUMX つのフォワード パスを使用するニューラル ネットワークをトレーニングするための手法です。 誤差逆伝播法、モデルの重みを更新します。

Hinton のアルゴリズムに対する動機は、標準的なバックプロパゲーション トレーニングの欠点のいくつかに対処することです。このバックプロパゲーション トレーニングでは、トレーニング中に導関数を計算し、活性化値を保存するためにフォワード パスでの計算に関する完全な知識が必要です。 ヒントンの洞察は、入力データの XNUMX つのフォワード パスを使用することでした。 正の そして、1 負—最適化する反対の目的関数があります。 Hinton は、FF でトレーニングされたネットワークが、バックプロパゲーションを使用してトレーニングされたものと同様に、コンピューター ビジョン (CV) タスクを実行できることを示しました。 ヒントンによれば、

Forward-Forward アルゴリズム (FF) は、バックプロパゲーションに匹敵する速度ですが、順方向計算の正確な詳細が不明な場合に使用できるという利点があります。 また、ニューラル アクティビティを保存したり、誤差導関数を伝播するために停止したりすることなく、ニューラル ネットワークを介してシーケンシャル データをパイプライン処理しながら学習できるという利点もあります。フォワードフォワード アルゴリズムがバックプロパゲーションよりも優れている可能性のある XNUMX つの領域は、モデルとして示されています。強化学習に頼らずに非常に低電力のアナログハードウェアを利用する方法として。

人工ニューラル ネットワーク (ANN) は、 脳の数学モデル、これらのネットワークをトレーニングするために使用される標準的なバックプロパゲーション アルゴリズムは、既知の生物学的プロセスに基づいていません。 生物学的に信じられないことに加えて、バックプロパゲーションには、上記の計算上の欠点もあります。 ヒントンは、バックプロパゲーションなしで強化学習 (RL) を使用して ANN をトレーニングできることを指摘していますが、この手法は「数百万または数十億のパラメーターを含む大規模なネットワークの場合、スケーリングが不十分です」。 2021年、InfoQはバックプロパゲーションに代わる生物学的にもっともらしい方法を取り上げました。 発散ゼロの推論学習 逆伝播の結果を正確に再現できる (Z-IL)。

ヒントンの FF アルゴリズムは、バックプロパゲーション トレーニングの前方後方パスを、「互いに同じように動作する」XNUMX つの前方パスに置き換えます。 最初のフォワード パスは、トレーニング セットからの正のデータで動作し、ネットワークの重みが調整されて、この入力がレイヤーの値を増加させます。 最良の 価値。 XNUMX 番目のフォワード パスでは、データセットから取得されていない、生成された負の例がネットワークに与えられます。 ネットワークの重みは、この入力がレイヤーの良さを低下させるように調整されます。

Hinton は FF を使用して、複数のニューラル ネットワークをトレーニングし、CV タスクを実行しました。 MNIST および シファー データセット。 ネットワークは比較的小さく、100 つまたは XNUMX つの隠れ畳み込み層を含み、XNUMX エポック未満でトレーニングされました。 テスト データセットで評価すると、FF でトレーニングされたネットワークは、バックプロパゲーションを使用してトレーニングされたネットワークよりも「わずかに悪い」だけでした。

Nebuly の CTO である Diego Fiori は、ヒントンの FF アルゴリズムを実装し、 彼の結果について話し合った Twitterで：

Hinton の論文では、2 つの異なる Forward-Forward アルゴリズムが提案されており、これを Base および Recurrent と呼びました。 その名前にもかかわらず、Base が実際に最もパフォーマンスの高いアルゴリズムである理由を見てみましょう....Base FF アルゴリズムは、従来のバックプロップよりもはるかにメモリ効率が高く、深いネットワークで最大 45% のメモリを節約できます。