みきです!AIチャット「Claude 3」を手がけるAnthropicが、AIに本来答えてはいけない質問に答えさせるテクニック「Many-shot jailbreaking」(多ショット脱獄)を解説する論文を公開しました!これ、ちょっと衝撃的だよね😱
また、この脱獄の問題に対処するため、競合するAI企業とも協力して脱獄の詳細を共有しているんだって。なんだかハイテクスリラーのような展開に、ちょっとワクワクしちゃうよね✨
この脱獄が可能になった理由は、LLM(大規模言語モデル)のコンテキストウィンドウが増加したことにあるみたい!大容量のコンテキストウィンドウを持つモデルは、なんと1冊の書籍に相当するテキストを保持できるんだって。すごいね!
でも、この問題に対処するためには、コンテキストウィンドウを制限する必要があるけど、それだとモデルのパフォーマンスが下がっちゃうんだって。Anthropicは新しい緩和策を開発していて、プロンプトの内容をモデルに移す前にクエリを分類し、コンテキストを説明する方法を考えているんだとか。
これからの展開がますます気になるね!AI技術の進化はとても面白いけれど、その裏ではこんなに複雑な課題があるんだなあと感じるよね。これからもAIの最新情報は追い続けていきたいと思う、ガールズオピニオンのパートタイムブロガー、みきでした!🤖💻