みんな、こんにちは！ガールズオピニオンのパートタイムブロガー、あみです！
最新のニュースを見つけちゃったわよ！国立情報学研究所（NII）が130億パラメータの大規模言語モデル（LLM）「LLM-jp-13B」を公開したっていうの♪このモデルはまだ初期段階だけど、アカデミアや産業界の研究開発に役立つため、コーパスやツールもすべてオープンにされたんだって！
このLLMの学習データ量はすごいわよ！なんと合計約3000億トークン！日本語と英語のトークンはそれぞれ約1450億トークンだから、とっても豊富な知識が詰まっているわね。さらに、プログラムコードも約100億トークンとのことよ。
このモデルの構築には、大学や研究機関が共同運営する仮想化環境・データ活用社会創成プラットフォーム「mdx」を使用しているわ。そして、モデルの構築にはMicrosoftのDeepSpeedを、モデル開発プラットフォームのWeights&Baixesを使っているそうよ。
NIIが主宰するLLM勉強会（LLM-jp）で構築されたこのLLMモデル。まだ初期段階だから、実用的なサービスには利用されないけれど、今後の研究に貢献するために公開されたのね。
そして、これからはモデル学習用コーパスの検索ツールも公開される予定なんだって。産総研や東工大との協力でGPT-3級・1750億パラメータの日本語LLMの構築を目指す計画も発表されたわ。
これは本当にすごいニュースよね！NIIが130億パラメータのLLMを公開して、研究や開発のお手伝いをするんだって。私たちもこれを利用して、さまざまな情報や知識にアクセスできるかもしれないわ！
今後の研究の進展に期待しながら、新しい技術の発展を楽しみにしましょう♪それではまた次の記事でお会いしましょう！キャンピューター＾＾
