業務のルールや分析のニーズは日々変化していきます。この変化にコンテキストが追いつかなければ、AIチャットの回答も業務の実態から離れていきます。セクション3では、日々の業務の中でコンテキストを育て、AIチャットを組織の変化に追従させていく方法を扱います。
掲載しているAIチャットの回答例は、説明のために作成したサンプルです。実際の回答は、お使いの環境や登録されている内容などによって変わります。
3-1. コンテキストを変化に合わせる
例えば、「所属部門の方針変更により、売上の集計基準日が「出荷日(shipped_date)」から「検収日(accepted_date)」に変わった」というシナリオを考えます。
方針変更後、以前のようにAIチャットに質問してみます。
質問:
先月の売上を集計して
回答例:
承知しました。用語集の「売上」の定義を確認しました。
- 集計テーブル: orders
- 集計対象: amount_ex_tax(税抜金額)の合計
- 集計基準日: shipped_date(出荷日)
…
AIチャットは、以前登録された用語集の「売上」の定義を参照して集計結果を返します。新しいルールでは検収日が基準日になっていますが、用語集に基づいて出荷日基準で集計しており、現在のルールが反映されていません。
原因を切り分けてコンテキストを更新する
回答が期待と異なるときは、コンテキストに何が不足しているのか・どこに誤りがあるのかを確認して、修正します。AIチャットでは、質問に回答するまでにAIが参照した経過が出力されます。
回答例:
まず、関連する用語や既存クエリを検索してから、データベースアセットを探します。
用語
- 売上
商品の販売金額の合計。受注テーブル(orders)のamount_ex_tax(税抜金額)カラムを合計(SUM)して算出する。shipped_date(出荷日)を集計基準日とし...
この過程を確認することで、AIが何を参照してコンテキストを理解しているのかが把握できます。このシナリオの場合、「売上」は用語集に定義があるため、用語集の「売上」の定義を更新します。
- 名前:売上
- 定義:商品の販売金額の合計。受注テーブル(
orders)のamount_ex_tax(税抜金額)カラムを合計(SUM)して算出する。検収日(accepted_date)を集計基準日とし、statusがreturned(返品)とcancelled(キャンセル)のレコードは除外する。
定義の更新後、AIチャットに再度質問して回答を確認します。まだ回答が期待と異なる場合は、再度AIが参照したものを確認し、原因となるものを見つけていきます。「質問する → 回答が期待と異なる場合、参照経過と回答を観察する → コンテキストを更新する → 再度質問する」という流れは、今後AIチャットを使い続ける中で回していく改善サイクルとなります。
2. 日々の利用の中でコンテキストを増やす
新しい分析テーマに取り組むなど、まだコンテキストが登録されていない領域の質問をすると、AIチャットが確認の質問を返してくることがあります。
質問:
アクティブユーザー数を教えて
AIチャットは回答を生成する前に用語集などの登録を確認しますが、回答に必要な情報を判断できない場合はユーザーに質問を返します。
回答例:
まず、関連する用語と既存のクエリを検索します。
「アクティブユーザー数」に関連する用語や既存クエリは見つかりませんでした。もう少し詳しくお聞きするために、いくつか質問させてください。
1. アクティブの定義
「アクティブユーザー」の定義を教えてください。どのような条件でユーザーをアクティブとみなしますか?
- ログインしたユーザー
- 購入・取引したユーザー
- アプリ・サービスを利用したユーザー
確認の質問は、そのテーマのコンテキストがまだ登録されていないというシグナルです。その場では質問に答えていくことで、AIチャットはコンテキストを補って回答します。
もし今後も同様のテーマで質問することがある場合は、用語集などに新しく登録することを検討します。AIチャットに、追加する用語の内容を提案してもらうこともできます。
質問例:
この分析内容を用語集に登録するなら、どんな用語名・説明文がよいか提案して
登録後は同じ内容で再度質問し、AIチャットが確認せずに回答できるかを確認しましょう。
3. チームで取り組む
特定の担当者にメタデータや用語集の管理が一任されると、担当者の負担が大きく、業務の変化に整備が間に合わなくなってしまう可能性があります。登録ルールの整備などは担当者が行いつつ、改善提案や実際の登録作業はチームで取り組むことで、コンテキストを豊かにしていくことができます。
- 部門ごとに分担して登録する:
- 組織のコンテキストは、業務用語・集計ルール・データの背景など多岐にわたります。営業・財務・分析など各部門で、その領域に詳しいメンバーが用語や定義を登録するように分担します。
- 部門ごとにメタデータ編集者のロールを持つメンバーを決めておくと、この分担がスムーズになります。
- 定義が複数ある用語は、違いを用語集に明記する:
- 同じ「売上」でも、営業では受注ベース、財務では会計基準での計上と、部門によって定義が異なることがあります。
- 定義が複数ある用語は、それぞれの定義と使い分けを用語集に明記します(例:「営業売上」と「財務上の売上計上基準」)。これにより、どの部門の質問にもAIチャットが正しく答えられるようになります。
- 利用者の気づきを共有する流れを決めておく:
- 確認の質問といったシグナルに最初に気づくのは、日々AIチャットを使っている利用者です。
- 気づきを放置せずに共有できるよう、共有先(COMETAの管理者や専用のチャットチャンネルなど)を決めて、利用者に周知しておきましょう。
まとめ
コンテキストは一度登録して終わりではなく、変化に合わせて整備が必要です。回答が期待と異なる場合にはAIが参照した経過から原因を特定して修正し、新しい分析テーマから用語やクエリを蓄積する。日々の業務の中でCOMETAを育てていくことができます。
コンテキストを豊かにし続けることで、COMETAは誰が・どんな聞き方で質問しても同じ精度で答える、組織共通のアシスタントになっていきます。チームで知見を積み重ねながら、組織に最適なアシスタントへと育ててください。