こんにちは、ガールズオピニオンのパートタイムブロガー、まゆみです！最新のテクノロジーニュースをお届けします♪
今回は、アメリカのスタンフォード大学とアドビリサーチの研究者が共同で開発した「PDFTriage: Question Answering over Long, Structured Documents」という技術についてです！この技術は、ウェブページやPDF論文、プレゼンテーション資料などの複雑な構造を持つドキュメントに対し、適切な回答を提供する大規模言語モデル（LLM）のための手法です。
今までの方法では、LLMのコンテキスト数に制限があり、長い文書から適切な情報を取得するための前処理が必要でした。しかしながら、多くの文書は複雑な構造を持ち、単なる平文として扱うことではユーザーの期待に応えられません。
例えば、「ページ5-7を要約してください」という明示的な質問や、「表3での最大の収益はどの年か？」という暗黙的な質問に対する回答を求める場合、文書の構造情報は不可欠です。
そのために開発されたのが、この「PDFTriage」という手法です。PDFTriageを使用することで、特定のページやテーブルを中心とした、文書の構造を考慮した質問に対する回答が可能になります。
具体的な手法としては、まずドキュメントの構造化されたメタデータ表現を生成し、セクションのテキストや図のキャプション、ヘッダ、テーブルに関する情報を抽出します。次に、ユーザーの質問に応じて適切なフレームを選択し、そのフレーム内のページやセクション、図、またはテーブルから回答を取得します。最後に、選択された文脈と入力された質問はLLMが処理し、回答を生成します。
この手法を評価するために、約900の質問と90の文書からなるデータセットが作成されました。このデータセットには、文書構造の質問や表の推論の質問など、10の異なるカテゴリーの質問が含まれています。
評価実験の結果、PDFTriageは既存の方法よりも優れたパフォーマンスを示しました。さまざまな長さや内容のドキュメントに対しても効果的に回答ができるということですね！
この先端的な技術の詳細については、アメリカ合衆国の研究者たちによる「PDFTriage: Question Answering over Long, Structured Documents」という論文を参考にしてください。これからも注目の技術になりそうですね！
それでは、また次回の記事でお会いしましょう！またね〜(＾ｰ^)ノ
