少ないデータに対する深層学習

Material type: 文書・図像類

Author: 斎藤, 博昭

Publisher: 慶應義塾大学

Publication date: 2022

Material Format: Digital

Capacity, size, etc.: -

NDC: -

View All

Notes on use

Note (General)：: type:text近年対話ＡＩが話題に上ることが多くなった．そういった対話応答システムを構築する際，モデル作成に大量の学習データが必要になる．英語や中国語と比較すると，データセットとして公開されている日本語の質の高いコーパスは少ない．そのため小さいデータや質の低いデータで十分な性能の対話応答生成を行...

Search by Bookstore

Holdings of Libraries in Japan

This page shows libraries in Japan other than the National Diet Library that hold the material.

List of Cooperating Institutions and Databases

Please contact your local library for information on how to use materials or whether it is possible to request materials from the holding libraries.

other

Keio Associated Repository of Academic resources
Digital
You can check the holdings of institutions and databases with which 学術機関リポジトリデータベース（IRDB）（機関リポジトリ） is linked at the site of 学術機関リポジトリデータベース（IRDB）（機関リポジトリ）.
Keio Associated Repository of Academic resources

Search by Bookstore

Bibliographic Record

You can check the details of this material, its authority (keywords that refer to materials on the same subject, author's name, etc.), etc.

Digital

Material Type: 文書・図像類
Title: 少ないデータに対する深層学習
Author/Editor: 斎藤, 博昭
Author Heading: 斎藤, 博昭
Publication, Distribution, etc.: 慶應義塾大学
Publication Date: 2022
Publication Date (W3CDTF): 2022
Alternative Title: スクナイデータニタイスルシンソウガクシュウ
Sukunai dēta ni taisuru shinsō gakushū
Deep learning with less data
Periodical title: 学事振興資金研究成果実績報告書
Text Language Code: jpn
eng
Target Audience: 一般
Note (General): type:text
近年対話ＡＩが話題に上ることが多くなった．そういった対話応答システムを構築する際，モデル作成に大量の学習データが必要になる．英語や中国語と比較すると，データセットとして公開されている日本語の質の高いコーパスは少ない．そのため小さいデータや質の低いデータで十分な性能の対話応答生成を行うために，今回はTransformerベースのモデルに中国語と英語からの転移学習を利用した．転移学習自体はかなり前から研究されてきた手法であり，無の状態から学習するよりは，たとえ分野が違うモデルであったとしてもその有意性が認められている．今回はそれを1ターンの雑談対話生成というタスクで用い，実験を通して有効性を定量的に求めた．データセットとして3つの日本語コーパスとTwitterから収集したコーパスを利用し，入力文に対しての雑談生成を行った．機械的に計算できる自動評価指標としての，生成対話文の多様性を表すdistinct-1の平均の値は，転移学習なしでは0.368，転移学習モデルの平均は0.412という値となり，転移学習の効果が確認できた．また，人間が主観で評価する，文の繋がり（入力文に対しての出力文の自然さ．入力にどれだけ関連しているか），情報の多さ（出力文から得られる情報の多さ．出力文の面白さ．独自性），人間らしさ（入力文関係なく，出力文単体での文としての自然さ）という3つの項目に関して，対話数が9343文の小さな学習データに対し，転移学習なしのモデルと比較してすべての項目で転移学習ありのモデルが大幅に良いスコアを示した．一方，大きな学習データに対しては，多様性は少し上がったものの他の指標に関しては転移学習をしても生成結果にはそれほど大きな効果は表れなかった． Compared to English and Chinese, there are not many high quality publicly available corpora for Japanese in the task of chat dialog response generation. Therefore, in order to achieve a good enough performance in chat dialog generation with small and low quality data, this study utilized transfer learning from Chinese and English in the Transformer based model. Three Japanese corpora and a corpus collected from Twitter were used as the dataset to generate responses. The average value of the distinct-1 as an automatic evaluation index of the generated results was 0.368 without transfer learning, and 0.412 for the transfer learning model. In terms of human evaluation, the model with transfer learning scored significantly better on all three indices: sentence connection, informativeness, and humanness, compared to the model without transfer learning, for a small training dataset with 9343 sentences of dialogs.
Source: https://koara.lib.keio.ac.jp/xoonips/modules/xoonips/download.php?koara_id=2022000010-20220019
https://koara.lib.keio.ac.jp/xoonips/modules/xoonips/download.php?koara_id=2022000010-20220019
Access Restrictions: 限定公開
Data Provider (Database): 国立情報学研究所 : 学術機関リポジトリデータベース（IRDB）（機関リポジトリ）
https://irdb.nii.ac.jp
Original Data Provider (Database): 慶應義塾大学 : 慶應義塾大学学術情報リポジトリ