カスタマーサポートにおけるLLMを用いたRAGベース対話システムの評価と事業活用に向けた取り組み

• Material Type: 記事
• Title: カスタマーサポートにおけるLLMを用いたRAGベース対話システムの評価と事業活用に向けた取り組み
• Author Heading: 二宮 大空
• Publication Date: 2023-12-04
• Publication Date (W3CDTF): 2023-12-04
• Periodical title: 言語・音声理解と対話処理研究会
• No. or year of volume/issue: 99 0
• Volume: 99
• Issue: 0
• Pages: 191-192
• Publication date of volume/issue (W3CDTF): 2023-12-04
• ISSN (Periodical Title): 09185682
• Publication (Periodical Title): The Japanese Society for Artificial Intelligence
• Text Language Code: ja
• Target Audience: 一般
• Date/Time and Place of an Event: 言語・音声理解と対話処理研究会
• DOI: 10.11517/jsaislud.99.0_191; https://doi.org/10.11517/jsaislud.99.0_191
• Data Provider (Database): 国立情報学研究所 : CiNii Research; https://cir.nii.ac.jp/
• Original Data Provider (Database): Japan Link Center; https://japanlinkcenter.org/top

• Summary, etc.: <p>In customer support, the advancement of Large Language Models (LLMs) has led to the development of dialogue systems based on the Retrieval Augmented Generation (RAG) that answer based on frequently asked questions. However, presenting the direct outputs of LLMs to users poses challenges, including issues like hallucination, necessitating thorough pre-validation. In this context, we introduce a method where an LLM-simulated user interacts with the RAG-based dialogue system, and the resulting dialogue data is evaluated using the LLM. Furthermore, we present a demo created for the business implementation of the dialogue system and efforts towards improving the prompts.</p>; <p>カスタマーサポート分野では大規模言語モデル（LLM）の発展により、よくある質問集に基づいて回答するRetrieval Augmented Generation （RAG）をベースとした対話システムの開発がされている。しかし、LLMの生成結果を直接ユーザーに提示することはHallucinationをはじめとした課題があるため、事前に十分な動作検証を実施する必要がある。そこで、ユーザーを模したLLMとRAGベースの対話システムを対話させ、その対話データをLLMを用いて評価する方法について紹介する。さらに、対話システムの事業活用に向けて作成したデモとPromptの改善に向けた取り組みについて紹介する。</p>
• DOI: 10.11517/jsaislud.99.0_191
• Access Restrictions: インターネット公開
• Data Provider (Database): 科学技術振興機構 : J-STAGE; http://www.jstage.jst.go.jp