Copilot Studioのナレッジ機能を活用して、社員名から所属部署を検索できるAIエージェントを作成してみました。組織図や社員リストなど、さまざまな形式の情報をもとに、AIがどこまで正確に回答できるのかを検証した結果をご紹介します。

目次

• 検証の背景と目的

• 検証対象ファイルと結果

• 精度向上のためのファイル条件

• ナレッジに存在しない社員名への対応

• 質問文の工夫による精度向上

• まとめと今後の展望

検証の背景と目的

社内での問い合わせ対応や人事情報の確認業務では、「○○さんはどこの部署？」というような質問が発生する場合があります。これらの質問に対して、AIが即座に正確な回答を返すことができれば、担当者の負担軽減や業務スピードの向上につながります。

今回は、Copilot Studioのナレッジ機能に社員情報を登録し、異なる形式のファイルを用いて情報抽出の精度を検証しました。

目的は、実運用に耐えうるAI応答の精度を確保するために、最適なファイル形式や設計方針を明らかにすることです。

検証対象ファイルと結果

① 組織図形式（PDF）

• 内容：部署間の関係性を線で示した図形式の組織図

• 結果：AIは図の構造を正確に理解できず、社員名と部署の関係性を誤認するケースが多発。特に、図上の位置関係に依存して誤った部署名を抽出する傾向が見られ、精度は低い。

考察：視覚的な情報に依存する形式は、現時点のCopilotのナレッジ機能では適切に処理できない。OCRを用いた画像認識を併用する場合でも、部署間の線の意味を理解するのは困難である。

② 箇条書き形式（TXT）

• 内容：部署ごとに社員名を箇条書きで記載したテキストファイル

• 結果：構造が明確で、部署と社員の関係性が把握しやすく、AIによる情報抽出の精度が非常に高かった。

考察：テキストベースで構造化されている情報は、Copilotが最も読みやすい形式。部署名と社員名の関係が明示されていることで、誤認のリスクが低く、実用性が高い。

③ 箇条書き形式（PDF）

• 内容：②と同内容をPDF形式に変換したもの

• 結果：テキスト情報が保持されていれば、②と同様に高精度な抽出が可能。PDFであっても、文字情報が埋め込まれていれば問題なく処理できる。

考察：PDF形式でも、スキャン画像ではなくテキストベースであれば、Copilotは正確に情報を抽出できる。社内での共有や保存形式としてPDFが多用されることを考えると、非常に有用な形式である。

④箇条書き型式（Excel）

• 内容：部署ごとに社員名を箇条書きで記載したExcelファイル（.xlsx形式）

• 結果：
  • 構造は明確であるものの、Copilot Studioのナレッジ機能ではExcelファイルを直接ナレッジとして利用できないため、情報抽出が行えなかった。
  • そのままではデータとして認識されず、精度はゼロに近い。
  • TXTやPDF形式に変換することで、ナレッジとして活用可能になる。

考察：Copilot Studioでは、現時点でExcelファイルを直接ナレッジに登録することはできないため、テキストベースの形式（TXTやPDF）への変換が必要。Excelは社内で広く使われているが、ナレッジ活用には一手間かかる点に注意が必要。

精度向上のためのファイル条件

Copilot Studioのナレッジ機能を最大限に活用するためには、以下のような条件を満たすファイル設計が重要です：

• テキストベースであること
  • スキャン画像ではなく、コピー＆ペースト可能な文字情報を含むPDF
  • WordやExcelから直接エクスポートされたPDFが理想的

• 構造が明確であること
  • 見出し（部署名）と本文（社員名）が明確に分かれている
  • 箇条書きや表形式で整理されていると、AIが関係性を把握しやすい

• 一貫したフォーマットであること
  • 名前、役職、部署などの情報が毎回同じ順序・形式で記載されていることで、AIの学習効率と精度が向上

• 日本語の表記ゆれが少ないこと
  • 同じ人名や部署名が複数の表記で書かれていない（例：「営業部」と「営業部門」など）

ナレッジに存在しない社員名への対応

AIが誤って架空の部署名を生成してしまうケースも確認されました。これは、ナレッジに存在しない名前に対して、AIが「それらしい」回答をしようとするためです。

• 対策案
  • ナレッジに存在しない名前の場合は、固定メッセージで返答するように設計
  • Copilot Studioの「フォールバック」機能を活用し、回答不能時の応答を明確に設定

• 理想的な応答例
  • 「申し訳ございません、その名前の方はデータにありません。もう一度名前をご確認ください。」

• 意図不明な質問への対応：
  • 意味が通らない入力（例：「あああ」「？？？」など）に対しては、AIが誤った回答を避けるため、以下のようなガイドメッセージを返すように設計する
  • 理想的な応答例：
    「申し訳ありません、質問の意図が確認できませんでした。以下のような形式でご質問ください：
    例）『○○さんはどこの部署に所属していますか？』」

質問文の工夫による精度向上

AIの応答精度は、質問文の表現によっても大きく左右されます。以下のような表現の違いによって、回答の正確性が変化することが確認されました。

• ◎：「○○さんはどこの部署に所属していますか？」

• ○：「○○さんはどこの部署？」

• △：「○○さん」

推奨：質問文はなるべく明確に、「所属部署を尋ねている」ことが伝わる文にすることで、AIの応答精度が向上します。

まとめと今後の展望

今回の検証を通じて、Copilot Studioを活用した社員情報の検索AIは、適切なナレッジ設計によって高精度な応答が可能であることが確認されました。特に、構造化されたテキスト情報を用いることで、実用レベルの精度が実現できます。

今後は、以下の点をさらに強化することで、より高度な社内AIアシスタントの構築が期待できます：

• ナレッジの自動更新・同期機能の導入

• 表記ゆれの自動補正機能の追加

• 多言語対応によるグローバル展開への対応

• 社員情報以外のナレッジ（業務手順、FAQなど）との統合

Copilot Studioは、企業のナレッジを活用するための強力なプラットフォームとして利用できます。活用しつつ可能性を探り、よりスマートな業務環境の構築を目指していきましょう。