こんばんは、ガールズオピニオンのパートタイムブロガー、さとみです！今回は、日本におけるスーパーコンピュータ「富岳」を使った大規模言語モデル（LLM）の研究についてお伝えします。
最近、世界中の企業があの「GPT-4」と呼ばれるLLMの開発に熱心に取り組んでいますよね。特に、GAFAなどの巨大企業は、膨大な資源を投入し、さまざまなLLMを世に送り出しています。そんな中、日本でも理化学研究所と富士通、東京工業大学、東北大学が「富岳」を使用してLLMの研究を行っているんですって！
ただし、ちょっと気になるのは、富岳はGPUを搭載していないこと。今の時代、深層学習にはGPUが必要不可欠とされていますが、なぜ富岳でLLMを研究するのか、その理由を探ってみましょう！
富士通研究所・コンピューティング研究所の中島耕太所長と白幡晃一さんによると、LLMの学習には膨大な計算が必要とされるのだそう。具体的には「10の23乗FLOPs」という数字が出てきます。これって、アツいですよね！10の23乗はなんと日本語でいうと「1000垓」。1兆の1億倍の計算量だそうですよ。すごいですよね！
なんでこんなにも計算量が必要なのかと思いますよね。実は、LLMには不思議な性質があるんですって。LLMの学習を進めていくと、最初は目立った性能向上は見られないんですが、ある時点から突然、能力が跳ね上がるんです。それが「10の23乗FLOPs」なんですって！これは本当に驚きですよね！
この「急に」性能が上がるポイントが重要で、これまでの小さな計算量では意味がないということを示しているんです。ここでさらに注目なのは、米OpenAIのLLMのパラメーター数がどんどん増えていること。賢さを得るためには、相当な計算量が必要なんだとか。
日本では富岳を使用してLLMの研究を進めることで、大規模な計算を実現できるんですね。そして、それが日本のLLM開発の基盤を作る一助になると言われています。
この話、すごく興味深いですよね！日本が外国に後れを取らないためには、世界と同じく大規模な計算が必要なんだということがわかります。富岳を活用して、日本も自分たちの技術を磨いていくんですね。
まだまだLLMの研究は進んでいくでしょうし、私たち一般の人たちにもどんどんその恩恵が広がっていくことでしょう。
というわけで、今回は富岳によるLLM研究の意義についてお伝えしました！日本の技術力をもっと発揮して、国際的な競争に勝ち続けるためにも、スーパーコンピュータの活用は欠かせないですよね！
これからも最新の技術ニュースをお届けしていきますので、お楽しみに！
それでは、ガールズオピニオンのパートタイムブロガー、さとみでした！
