社内文書で生成AIを使う前に：日本語検索・根拠提示・権限の設計

01｜目的を決める

検索支援と自動判断を混同しない

社内文書に生成AIを使うとき、最初に決めたいのは「AIに何を任せるか」です。関連する規程や手順書を見つける検索支援、見つけた文書をもとに回答案を作る支援、そして業務上の判断を確定することは、それぞれ異なる役割です。文書を探す時間を減らしたいのか、内容の要約を助けたいのかを分けて考えると、必要な確認方法も定まります。

たとえば、社内ルールについて回答案を提示する仕組みでも、例外の承認や個別案件への適用まで自動で決めてよいとは限りません。誤りが申請、契約、安全、金銭などに影響する用途では、誰が出力を確認し、誰が最終判断を行うかを先に決めてください。利用者、対象文書、質問の種類を限定することも、検証を具体的にする助けになります。

02｜日本語文書を探す

日本語文書ならではの検索上の論点

日本語の社内資料では、同じものを指す言葉が文書や部署によって異なることがあります。略語、正式名称、旧称、全角・半角、送り仮名の違いに加え、部署内だけで通じる呼び方も検索に影響します。利用者が実際に入力しそうな語を集め、別の表現でも関連資料にたどり着けるかを確かめましょう。

規程や手順書の情報が表、帳票、脚注、添付資料にある場合、本文だけを見たときとは検索結果が変わることがあります。また、改訂前と改訂後の文書が同時に残っていると、古い手順が候補に混ざるおそれがあります。どの文書を正とするか、版や適用日を利用者が判別できるかも確認項目です。

テスト質問は言い換えを含める

一般的な準備例として、ある社内手続きの締切を探す質問を作るなら、正式な制度名で尋ねるもの、部署で使われる略称を含むもの、日常語で言い換えたものを用意します。これにより、単語が一致した場合だけでなく、表現の違いがあっても必要な文書を見つけられるかを確認できます。実際のテストでは、自社で使われている言葉や資料に置き換えてください。

03｜回答の根拠を確かめる

根拠を確認できる回答を評価する

読みやすく自然な文章であることだけでは、回答の正しさは判断できません。回答のどの部分が、どの文書のどの箇所に基づくのかを利用者がたどれるかを評価します。文書名だけでなく、該当箇所や版を確認できると、原文との照合や誤りの発見がしやすくなります。

「回答できたか」だけでなく、「利用者が検証できたか」「間違いに気付ける表示か」を分けて記録します。回答案を業務に使う場合は、確認が必要な箇所や判断できないケースを利用者にどう伝えるかも、画面や手順の設計に含めてください。

04｜権限と更新を考える

文書の権限・更新・機密性を守る

検索の対象にする文書を一括で登録すればよいとは限りません。人事、契約、顧客情報など、閲覧できる人が限られる資料が含まれる場合、元の文書にあるアクセス権を検索結果や回答にも反映できる条件を確認します。利用サービスに送る情報の種類、保存や利用に関する条件、管理責任についても、社内の情報システム・情報管理などの担当者と確認してください。

文書の改訂・削除や、利用者の異動による権限変更が起きたあと、検索対象にも適切に反映される運用が必要です。取り込み時だけでなく、更新を検知する担当、反映を確認する方法、古い情報を見つけた場合の対応まで整理しておきます。

• 閲覧を許可されていない利用者に、文書の内容や要約が回答として現れないか。
• 原文の改訂・削除後に、古い内容が検索や回答に残らないか。
• アクセス権の変更を誰がどの手順で反映し、どう確認するか。
• 機密区分と利用サービスの条件を確認し、対象に含める情報を決めているか。

05｜小さく試して判断する

限定導入の評価項目

初期評価では、対象文書と利用者を絞り、よくある質問だけでなく、言い換えた質問、答えが文書にない質問、複数の文書を照合する質問も含めます。質問ごとに、関連文書を見つけたか、回答と根拠が合っているか、利用者が確認しやすいかを記録します。

誤った回答や権限外情報が疑われるケースは、平均的な使いやすさとは別に扱います。確認にかかった手間や、資料の不足・重複、運用で困った点も記録すると、導入を続けるか、対象や手順を見直すかを話し合う材料になります。評価の基準は実験を始める前に関係者で決め、都合のよい結果だけを後から選ばないようにします。

社内文書検索の構想や、要件・検証範囲の設計を具体的に考える際は、以下の関連ページも参考になります。