MAI、社内開発の3兆パラメータ級事前学習基盤モデルを発表
Mustafa Suleyman氏は、MAIが社内で完全に開発した最先端の3兆パラメータ級事前学習基盤モデルを持つことを発表。ポストトレーニングの結果は近日公開予定で、詳細は技術ブログに記載。
事前学習
「事前学習」タグが付いたAI Pulseの更新一覧です。
2 件のシグナル実データゼロの事前学習、自己対局で可能か
Stanford AI Labが問う：実データを使わない事前学習はどうなるか。ランダム初期化のモデルが自己対局だけで全学習データの生成を学べるか、という研究。