エッジ環境における知的情報処理に向けた低消費電力プロセッサアーキテクチャに関する研究

• Material Type: 博士論文
• Title: エッジ環境における知的情報処理に向けた低消費電力プロセッサアーキテクチャに関する研究
• Author/Editor: 肥田, 格
• Author Heading: 肥田, 格
• Publication, Distribution, etc.: Hokkaido University
• Publication Date: 2019-03-25
• Publication Date (W3CDTF): 2019-03-25
• Alternative Title: Low-power processor architectures for intelligent information processing in edge environment
• Contributor: 本村, 真人; 髙橋, 庸夫; 池辺, 将之; 高前田, 伸也
• Degree Grantor: 北海道大学; Hokkaido University
• Date Granted: 2019-03-25
• Date Granted (W3CDTF): 2019-03-25
• Dissertation Number: 甲第13516号
• Degree Type: 博士(情報科学)
• Conferring No. (Dissertation): 甲第13516号
• Text Language Code: jpn
• NDC: 500
• Target Audience: 一般
• Note (General): (主査) 教授 本村 真人, 教授 髙橋 庸夫, 教授 池辺 将之, 准教授 高前田 伸也; 情報科学研究科(情報エレクトロニクス専攻)
• DOI: 10.14943/doctoral.k13516; https://doi.org/10.14943/doctoral.k13516
• Persistent ID (NDL): info:ndljp/pid/11288188; https://dl.ndl.go.jp/pid/11288188
• Collection: 障害者向け資料
• Collection (Materials For Handicapped People:1): テキストデータ
• Collection (particular): 国立国会図書館デジタルコレクション > デジタル化資料 > 博士論文; https://dl.ndl.go.jp/collections/A00014
• Acquisition Basis: 博士論文（自動収集）
• Date Accepted (W3CDTF): 2019-06-03T12:31:31+09:00
• Format (IMT): PDF
• Access Restrictions: 国立国会図書館内限定公開
• Service for the Digitized Contents Transmission Service: 図書館・個人送信対象外
• Availability of remote photoduplication service: 可
• Periodical Title (URI): https://doi.org/10.14943/doctoral.k13516; http://hdl.handle.net/2115/74199
• Is Referenced By (URI): http://hdl.handle.net/2115/74196
• Data Provider (Database): 国立国会図書館 : 国立国会図書館デジタルコレクション; https://dl.ndl.go.jp

• Summary, etc.: 本研究は、エッジ環境における低電力な人工知能の実現を促進する、知的な情報処理を取り入れたプロセッサのアーキテクチャに関するものである。今日の人工知能を活用した情報処理は、エッジデバイスで収集されたデータをネットワークで集積し、 データセンタの高性能なコンピュータが集中的に処理する仕組みを取っている。しかし、集積されるデータ量の爆発的な増加や、個人情報などのデータに対するセキュリティ意識の高まりから、エッジ自体にオフライン下でも機能する人工知能を搭載する必要性が唱えられている。エッジデバイスの多くは電池容量や計算性能が限られており、これらに計算負荷の高い人工知能を埋め込むためには、専用処理回路を用いた電力効率の向上が欠かせない。そこで本研究では、エッジに組み込まれるプロセッサヘの応用を見込み、(1)CPU 自体の電力効率を向上させる汎用アクセラレータと学習型分岐予測器の開発、(2) 不揮発性メモリを深層学習回路として利用するための学習則の開発に取り組んだ。CPU はあらゆる演算を実行できるが、その消費電力のうち演算由来の電力が占める割合は 10%ほどでしかないことが知られている。その他のほとんどの電力は、メモリアクセスや CPU 自体の制御で生じている。動的再構成アクセラレータは、大量の演算器を用いてプログラムの一部を CPU の代わりに並列処理することで、これらの非演算依存電力を縮小し、さらに実行速度も加速させる。また、プログラム実行中に演算器間の接続情報が動的に切り替えられるため、多様なプログラムに対応できる。しかし、この再構成時に生じる電力が却って全体の消費電力を引き上げてしまいかねない欠点を併せ持つ。本研究では、プログラムのコントロール・データフローに着目して、演算器間配線のうち、データの依存性が変化し得るデータパスにのみ動的な再構成を許すことで、柔軟性と電力効率を両宣するアクセラレータを開発した。演算以外の電力を削滅する手法として、分岐予測器の高精度化も有効である。今日のRISC アーキテクチャに韮づくCPU は、およそ 10 段以上の深い命令パイプラインを有している。分岐予測に失敗すると、パイプラインを一時停止して処理途中の命令をクリアし、さらにメモリから適切な命令やデータを読み出し直さなければならない。したがって、パイプラインが深いプロセッサほど分岐予測精度による消費電力増滅の影響を受けやすい。本研究では、ベイズの定理に韮づく統計的機械学習の手法を取り入れた分岐予測器を実際のソフトコアCPU ヘレジスタ転送レベルで組み込み、予測精度と消費電力をシミュレーションした。その結果、静的な分岐予測器と比べて回路規模が巨大化するものの、精度向上に伴い消費電力が削滅され得ることを示した。上述したような CPU の高電力効率化をもってしても、低電力な人工知能プロセッサの実現には不十分である。現在の人工知能技術はニューラルネットワークが韮本形であるが、ニューラルネットワークによる情報処理のほとんどは信号とシナプス結合重みの積和演算の繰り返しである。したがって、命令およびデータを逐次読み出すノイマン型のアーキテクチャとは、相性が良くないといえる。そこで次に、低電力な不揮発メモリとして期待されているメモリスタを深層学習における積和演算回路として利用するための、学習手法の開拓に取り組んだ。メモリスタは電流や磁場などの外的要因により抵抗が変化する素子である。本来はその抵抗値を利用して情報を記憶するメモリとして用いられるが、並列に接続されたメモリスタに成り宣つ電流および電圧則を利用すると、ニューラルネットワークの積和演算をアナログ回路的に処理することができる。また、メモリスタ自体も低電力動作するメモリであり、低電力な深層学習回路としての応用が期待される。本研究では、3 次元積層されたメモリの空間的特徴を深層畳み込みニューラルネットワークに利用するための学習法を開発した。提案手法は、学習制御を簡素化するためのフィルタ重み非共有化と、メモリの構造に適した層毎教師なし事前学習の2 点で特徴付けられる。得られる局所結合畳み込み Deep Belief Network は画像の特徴抽出器として機能し、さらに未知のデータセットにたいする転移学習機能も有することが示された。また、2 次元メモリを用いた全結合ニューラルネットワークのための、実装素子数を半滅する学習法も開発した。メモリスタによるニューラルネットワークは、人工ニューロンのシナプス結合における重みの正負符号を表すために、1 個のシナプスを 2 個の素子で表現する必要があった。1 個のシナプスを 1 個の素子で置き換えるためには、あらかじめ重みの符号を知る必要がある。そこで、重みの符号を初期化時の状態で固定したまま学習させる方法を考案し、符号非制約下と同等の能力を学習し得ることを示した。以上、本論文に記した研究は、エッジデバイスに組み込まれるプロセッサにおいて、CPU とメモリ内情報処理の両観点から低消費電力化に寄与するものである。コンピュータの歴史と同様に、人工知能技術もまた、身近なデバイスに広く普及することで更なる発展を遂げるであろう。これらの研究が、小さな電力のエッジ深層学習の実現と、人工知能技術の更なる拡大に貞献することを期待する。
• DOI: 10.14943/doctoral.k13516; https://doi.org/10.14943/doctoral.k13516
• Format (IMT): application/pdf
• Source: Itaru_Hida.pdf （fulltext）; https://eprints.lib.hokudai.ac.jp/repo/huscap/all/74199/Itaru_Hida.pdf
• Access Restrictions: インターネット公開
• Is Referenced By (URI): HDL; https://hdl.handle.net/2115/74196
• Data Provider (Database): 国立情報学研究所 : 学術機関リポジトリデータベース（IRDB）（機関リポジトリ）; https://irdb.nii.ac.jp
• Original Data Provider (Database): 北海道大学 : 北海道大学学術成果コレクション