JVO開発における大規模天文データ処理: 全天対応天文データ分散検索・解析機構の試験構築

• Material Type: 規格・テクニカルリポート類
• Title: JVO開発における大規模天文データ処理: 全天対応天文データ分散検索・解析機構の試験構築
• Author/Editor: 白崎, 裕治; 小宮山, 裕; 大石, 雅寿; 水本, 好彦; 石原, 康秀; 堤, 純平; 檜山, 貴博; 中本, 啓之; 坂本, 道人; Shirasaki, Yuji; Komiyama, Yutaka; Oishi, Masatoshi; Mizumoto, Yoshihiko; Ishihara, Yasuhide; Tsutsumi, Jumpei; Hiyama, Takahiro; Nakamoto, Hiroyuki; Sakamoto, Michito
• Author Heading: 白崎, 裕治; 小宮山, 裕; 大石, 雅寿; 水本, 好彦; 石原, 康秀; 堤, 純平; 檜山, 貴博; 中本, 啓之; 坂本, 道人; Shirasaki, Yuji; Komiyama, Yutaka; Oishi, Masatoshi; Mizumoto, Yoshihiko; Ishihara, Yasuhide; Tsutsumi, Jumpei; Hiyama, Takahiro; Nakamoto, Hiroyuki; Sakamoto, Michito
• Publication, Distribution, etc.: 宇宙航空研究開発機構
• Publication Date: 2012-03-30
• Publication Date (W3CDTF): 2012-03-30
• Alternative Title: Experimental Construction of A Distributed All-Sky Astronomical Data Query and Analysis System
• Periodical title: 宇宙航空研究開発機構研究開発報告: 宇宙科学情報解析論文誌: 第1号 = JAXA Research and Development Report: Journal of Space Science Informatics Japan: Volume 1
• No. or year of volume/issue: JAXA-RR-11-007
• Volume: JAXA-RR-11-007
• Pages: 57-66
• ISSN (Periodical Title): ISSN : 1349-1113
• Text Language Code: jpn
• Target Audience: 一般
• Note (General): 出版タイプ： NA; 天文学者は，現代天文学が抱える多様な課題を解決し，宇宙に関する新しい知見を得るため，地上や衛星で運用する望遠鏡を建設・運用し，その感度を向上させると共にデータ生産量を爆発的に増やしてきた．これらを有機的に活用するため，世界に分散して存在する天文データアーカイブをICT 技術により連携させ，研究に必要な観測データを容易に収集し解析するヴァーチャル天文台の構築が進んでいる．全天に分布する多様な天文データを検索・解析するためには並列処理をヴァーチャル天文台システムに導入することが必須であるため，我々は，Hadoop を利用したスケーラブルな並列データ検索・解析システムを試験構築した．構築したシステムの性能試験を実施し，試験構築に用いた計算機群のコア数とほぼ等しいタスク数までは，データ解析性能はタスク数に比例して向上すること，それを越えるタスク数を並列動作させた場合はタスク間の干渉により実効性能が劣化する，など，実運用システムの構築に向けた極めて有益な知見が得られた．本システムの基本概念は，他の科学分野における"Virtual Observatory"の構築の際にも有益な参考情報を与えると考えられる．; Astronomers have built highly sensitive ground-based and space-based telescopes towards solving various issues of the modern astronomy and obtaining new knowledge of the Universe. As the result produced data volume has been explosively increased. In order to utilize these astronomical resources organically, construction of "virtual observatories" have been advanced through federating the astronomical data archives by means of the ICT technology, which easily collect and analyze observed data necessary for astronomical research. It is necessary to introduce parallel processing into the virtual observatory system in order to search and analyze various distributed astronomical data, we have constructed an experimental scalable parallel data retrieval and analysis system by utilizing the Hadoop. We made performance tests of the system, and obtained very useful insights that can be used in the construction of operational systems; data analysis performance increases in proportional to the number of tasks until when the number of tasks do not exceed the number of CPU cores of the computers used; effective performance decreases due to interference among the tasks when the number of tasks exceed the number of CPU cores. The basic concept of this system may be referred to in the construction of "Virtual Observatory" in other science fields.; 形態: カラー図版あり; Physical characteristics: Original contains color illustrations; 資料番号: AA0065236008; レポート番号: JAXA-RR-11-007
• Periodical Title (NCID): AA1192675X; https://ci.nii.ac.jp/ncid/AA1192675X
• Data Provider (Database): 国立情報学研究所 : 学術機関リポジトリデータベース（IRDB）（機関リポジトリ）; https://irdb.nii.ac.jp
• Original Data Provider (Database): 宇宙航空研究開発機構 : 宇宙航空研究開発機構リポジトリ