並列タイトル等コウバイ ブースティング ノ コウドカ ト オウヨウ ニ カンスル ケンキュウ
Kōbai būsutingu no kōdoka to ōyō ni kansuru kenkyū
A study on the advancement and application of gradient boosting
一般注記type:text
転移学習の一分野に、ドメイン適応と呼ばれるものがある。ドメイン適応とは、予測対象である転移先のデータ（Target Domain）と予測対象でない転移元のデータ（Source Domain）の分布は異なるが、同一のタスクを想定する位置づけのことである。その中でも、サンプル数が少ないラベル付きTarget Domainとサンプル数が多いラベル付きSource Domainを用いて学習を行う教師ありドメイン適応では、TrAdaBoostやTrBaggなどのアンサンブル学習をベースとした手法が提案されている。
本研究では、多重加法的回帰木（Multiple Additive Regression Trees; MART）にニューラルネットのドロップアウトの概念を導入した手法であるDARTをドメイン適応に応用した、新たな手法TrDARTを提案した。TrDARTは既存手法と比べて2つの利点がある。1つ目は、アンサンブル学習の中でも高い予測性能を期待できる勾配ブースティング木を用いることによる予測性能の向上である。2つ目は、Source DomainとTarget Domainの学習を分離させることで、Target Domainに対する学習時間を大幅に短縮できる点である。複数の公開データセットを用いて、提案手法と既存手法を比較した結果、TrDARTは他の手法と比べて安定して高い予測精度を記録した。特に、回帰問題のデータセットに対して優れた予測精度を得ることができた。また、データサイズの大きいデータセットでのTarget Domainに対する学習時間を大幅に削減することができた。これらの結果により、予測性能の向上と学習時間の削減という2つの面での提案手法の有効性が示された。
One of the methods in transfer learning is Domain adaptation. This method assumes that the same task, although the distribution of target domain data and source domain data are different. Particularly, as for supervised domain adaptation, which use a small sample size of labeled target domain and a large sample size of labeled source domain, there are several methods such as TrAdaBoost and TrBagg based on ensemble learning.
In this study, TrDART is proposed, which is regarded as a methods of supervised domain adaptation using ensemble learning similarly existing methods. This method has two algorithms: applying Dropout to an existing tree learned using source domain and applying DART to new trees learned using target domain. TrDART has two advantages over existing methods. The first is to improve prediction performance by using a gradient boosting decision tree. The second is to reduce learning time for the target domain by separating the learning of source domain and target domain.
TrDART obtained high prediction score stably through results of comparing the proposed method with existing methods using multiple open datasets. Particularly, excellent prediction accuracy was obtained for the regression problem datasets. In addition, we succeeded in significantly reducing the training time for target domain in large size datasets. These results show the two effectiveness of our proposed method: improvement of prediction performance and reduction of learning time.
一次資料へのリンクURLhttps://koara.lib.keio.ac.jp/xoonips/modules/xoonips/download.php?koara_id=2020000008-20200107
連携機関・データベース国立情報学研究所 : 学術機関リポジトリデータベース（IRDB）（機関リポジトリ）