カスタマーサポートにおけるLLMを用いたRAGベース対話システムの評価と事業活用に向けた取り組み

• 資料種別: 記事
• タイトル: カスタマーサポートにおけるLLMを用いたRAGベース対話システムの評価と事業活用に向けた取り組み
• 著者標目: 二宮 大空
• 出版年月日等: 2023-12-04
• 出版年（W3CDTF）: 2023-12-04
• タイトル（掲載誌）: 言語・音声理解と対話処理研究会
• 巻号年月日等（掲載誌）: 99 0
• 掲載巻: 99
• 掲載号: 0
• 掲載ページ: 191-192
• 掲載年月日（W3CDTF）: 2023-12-04
• ISSN（掲載誌）: 09185682
• 出版事項（掲載誌）: The Japanese Society for Artificial Intelligence
• 本文の言語コード: ja
• 対象利用者: 一般
• イベントの日付、場所: 言語・音声理解と対話処理研究会
• DOI: 10.11517/jsaislud.99.0_191; https://doi.org/10.11517/jsaislud.99.0_191
• 連携機関・データベース: 国立情報学研究所 : CiNii Research; https://cir.nii.ac.jp/
• 提供元機関・データベース: Japan Link Center; https://japanlinkcenter.org/top

• 要約等: <p>In customer support, the advancement of Large Language Models (LLMs) has led to the development of dialogue systems based on the Retrieval Augmented Generation (RAG) that answer based on frequently asked questions. However, presenting the direct outputs of LLMs to users poses challenges, including issues like hallucination, necessitating thorough pre-validation. In this context, we introduce a method where an LLM-simulated user interacts with the RAG-based dialogue system, and the resulting dialogue data is evaluated using the LLM. Furthermore, we present a demo created for the business implementation of the dialogue system and efforts towards improving the prompts.</p>; <p>カスタマーサポート分野では大規模言語モデル（LLM）の発展により、よくある質問集に基づいて回答するRetrieval Augmented Generation （RAG）をベースとした対話システムの開発がされている。しかし、LLMの生成結果を直接ユーザーに提示することはHallucinationをはじめとした課題があるため、事前に十分な動作検証を実施する必要がある。そこで、ユーザーを模したLLMとRAGベースの対話システムを対話させ、その対話データをLLMを用いて評価する方法について紹介する。さらに、対話システムの事業活用に向けて作成したデモとPromptの改善に向けた取り組みについて紹介する。</p>
• DOI: 10.11517/jsaislud.99.0_191
• オンライン閲覧公開範囲: インターネット公開
• 連携機関・データベース: 科学技術振興機構 : J-STAGE; http://www.jstage.jst.go.jp