社内文書検索にRAGを使うには｜向く資料と導入前のテスト例

「社内の資料をAIに読ませれば、質問に答えてくれるのでは」。そう考えて試しても、古い手順を答える、引用先に肝心の条件がない、担当部署の違う規程を混ぜる、といった問題が出ることがあります。

RAGは、質問に関係する資料を検索し、その内容を材料に回答を作る仕組みです。資料をたくさん入れる前に、答えに使う正本と、答えてはいけない質問を決めることが、社内で使う準備になります。ここでは、担当者が導入可否を判断するための資料整理とテスト例を扱います。

RAGは「資料を探す」と「回答を書く」を組み合わせる

MicrosoftのRAG解説では、組織固有の情報を検索し、LLMの回答の根拠にする考え方が説明されています。一般的な流れを業務の言葉へ置き換えると、次のようになります。

検索で違う資料を拾えば、文章が自然でも答えはずれます。正しい資料を拾っても、例外の条件を読み落とせば正しい回答にはなりません。「検索ができたか」と「その資料から正しく説明できたか」を別々に確認する必要があります。

AIへ一度ファイルを添付して質問する方法と、資料の更新・利用者の権限を管理して継続運用する社内検索では、必要な準備が違います。単発の質問ができたことを、全社へ導入できる証明にしないようにします。

導入する前に、普通の検索で解けるかを見る

RAGが役立つ可能性があるのは、表現が違っていても関連資料を探したい、複数の箇所を読んで短い回答にしたい、といった場面です。一方、原本が少なく、質問も決まっているなら、FAQや文書リンク集の方が管理しやすいことがあります。

表が収まらない場合は、左右に動かして読めます。

「問い合わせが多いからRAG」ではなく、何を探すのに時間がかかっているかを見ます。人にしか判断できない例外申請が大半なら、回答を自動化するより、相談に必要な情報を集める仕組みの方が合うかもしれません。

資料には本文だけでなく、適用範囲を付ける

最初は一つの業務と、内容を確認できる少数の資料から始めます。備品申請なら、手順書、申請書、例外の案内などです。本文と一緒に、次の情報を管理します。

• 文書のID、名前、版番号、正本の保存先。
• 適用開始日と終了日、対象となる部署・拠点。
• 更新責任者と、改定を検索へ反映する方法。
• 誰が閲覧してよい資料か。

ページを細かく分けて検索する場合は、見出し・表・脚注の関係を保ちます。「管理担当が承認する」という文だけを切り出し、「共用備品に限る」という条件が別の断片になると、全備品に当てはめる誤りが起こり得ます。

二つの最新版が矛盾しているなら、AIに選ばせる前に文書の管理者へ戻します。新旧の差分整理には、PDFの新旧比較から対応表を作る方法も使えます。

小さく試すなら、Notta Brainと自作RAGを使い分ける

検索システムを作ることより、手元の資料から答えを探すことが目的なら、Notta Brainのような既存サービスも比較してください。公式案内では、会議や資料を横断して質問する用途が示されています。初期構築の作業を減らし、まず質問と回答が仕事に合うかを試せるのが選ぶ理由です。

一方、部署ごとに細かな閲覧制御が必要なら、使えるファイル形式だけでは決められません。Nottaのファイル分析ヘルプでは、データベースのPDFにファイル個別の権限管理がないことも案内されています。権限要件が合わない場合は、対応する別サービスや自作構成を選びます。

まず全社導入を申し込むのではなく、同じ閲覧範囲の少数資料と、この後のテスト質問で比較してください。必要な回答が得られ、原文確認と運用条件も満たす場合に、有料枠へ進む理由ができます。

正解できる質問だけで試さない

次は、備品申請検索のための架空のテスト表です。期待する動作を人が先に決め、どの文書・箇所が根拠かを書きます。

表が収まらない場合は、左右に動かして読めます。

合格の割合だけでなく、失敗の種類を残します。たとえば「6問中5問正解」でも、残り一問が閲覧範囲外の情報を返したなら、全体の点数で許容しない判定が必要です。通常回答の誤りと、公開してはいけない情報の問題は分けます。

引用が付いていても、内容まで読む

回答が「共用備品は管理担当の承認が必要」と示したら、引用先にその条件が本当にあるかを開いて確認します。文書名が合っているだけでは不十分です。旧版へ飛んでいないか、前後の例外を落としていないかも見ます。

資料にない質問へ「見つかりません」と答えた場合も、正常とは限りません。本当に記載がないのか、検索に失敗したのかを正解表と比べます。利用者にとっては同じ見た目でも、対処は資料追加と検索改善で変わります。

誤答が出たら、質問、取得した箇所、回答を一組で保存します。資料を拾えていなければ検索や文書の切り分け、拾えているのに条件を落としたなら回答の作り方を見直します。すぐにモデルを替えるより原因を絞れます。

権限と更新は、導入後も確認が必要

元ファイルの閲覧権限が、そのまま検索へ引き継がれるとは限りません。Microsoftの文書レベルアクセス制御の説明にも、検索時のフィルターや権限情報を使う複数の方法が示されています。機能によってプレビュー等の提供段階も異なるため、使う製品と構成で確認します。

「見せないで」と指示文へ書くだけで済ませず、検索段階で利用者に許された資料へ絞る設計を担当者と確認してください。資料を削除・改定した後に、古い回答や検索結果が残るかもテストに含めます。

自作するか、既存の資料検索サービスを使うか

少数の業務資料で目的を果たせるなら、すでに契約している環境の検索やFAQで始められます。自作RAGは、検索対象や連携を細かく設計できる反面、更新・権限・評価の管理も必要です。

会議記録や資料を横断して要点を探す用途なら、Notta Brainの機能と料金も比較先です。ただし、個別のサービスが社内の権限設計や必要な検索条件を満たすかは別に確認します。「RAGだから正確」「専用サービスだから管理不要」と一括りにはできません。

導入の最初の成果物を、動くチャット画面だけにしないでください。対象資料一覧と、答える・聞き返す・答えないを判定できるテスト表まで残せれば、次の資料を追加してよいかも判断しやすくなります。