Alternative TitleDevelopment of high-precision modeling and optimum view planning methods for 3D as-is model reconstruction of large-scale structures
Note (General)我が国のインフラ建造物の多くは，高度経済成長期に集中的に建設・整備されており，半世紀近く経った現在，老朽化が加速度的に増加している．そのため，膨大なインフラ建造物の戦略的な維持管理および更新することが強く求められており，その解決の切り札として，3次元モデルの活用が期待されている．維持管理作業において，対象物上の変状とその位置を正確に把握することが重要であるが，従来の2次元図面では，即座に把握することが困難である．一方近年，TLS（地上型レーザスキャナ）で計測した3次元点群や，カメラで撮影した画像から，3次元as-is（現況反映型）モデルを自動で生成する技術が現れており，それらを活用し効率的な維持管理作業を行うことが期待されている．そのため，インフラ建造物の現況形状を反映した3次元as-isモデルを，高精度かつ効率的に生成する技術が求められている．インフラ建造物の現況形状を反映した3次元as-isモデルを高精度かつ効率的に生成するには，対象や3次元モデルの使用目的によって適切な計測手法の選択と，抜けや漏れのない対象表面の計測と高精度なモデル化が必要だが，現状，次のような問題が解決されておらず，技術普及の障害となっている．(1) 3次元計測点群統合時において，誤差の重畳により精度が低下する問題．点群とはTLSで計測された点集合であり，座標値(xyz)と色情報(RGB)を持ち，一回の計測で数千万点の計測点が得られる．一方，物体背後はレーザ光の遮蔽により，計測できずに点群の欠損部となる．このため，欠損部を補完する複数箇所からの計測を行い，計測位置を高精度に推定する点群のレジストレーションと，点群に数学的な曲面を当てはめるモデリングという二つの処理が必要となる．しかし，このレジストレーションとモデリングで各々発生する誤差が重畳し，最終的な3次元as-is モデルの要求精度(例：誤差5mm以内)を満足せず，実業務に使用できない場合がある．(2) 写真計測(SfM-MVS)におけて，3次元モデルの生成効率が低下する問題．カメラで撮影された複数の画像から3次元モデルを生成するには，タイポイント（画像上の対応点を3次元復元した疎な点群）とカメラポーズ（位置・姿勢）とを推定するSfM (Structure from Motion)と高密度な3次元モデルを生成するMVS (Multi-View Stereo)が必要である．しかし，どの位置から何枚画像を撮影すれば,高精度なモデルが生成可能かの事前推定が困難である．そのため，撮影した画像の位置や枚数が不適切であると，カメラポーズの正しい推定が行えない場合や，モデル上に非再構成領域(穴)や大きな形状誤差をもつ品質低下領域を含んだ高密度なモデルが生成される．またこの問題を避けるために，過剰に画像を撮影するとMVS処理に膨大な処理時間がかかってしまう．上記，2つの問題点に対して，本研究では大規模構造物に対する3次元現況反映型モデル生成のための高精度モデリング手法と最適撮影計画手法の開発を目的とし，主に3つの観点から，問題解決を行う．(1) プラント設備に対して，３次元点群から高精度な3次元as-isモデルを生成するために，単一点群からプラントに多く含まれる円筒配管を抽出し，円筒配管自身をマーカーとして利用した計測点群のレジストレーションと円筒モデリングの同時処理手法を開発することで，それぞれの処理で生じる誤差の重畳を防止し，高精度なモデリングを可能とする．(2) コンクリート製建造物に対して，画像集合から高精度な3次元as-isモデルを生成するために，MVS処理を行わずに最終的に得られるであろう3次元as-isモデルの形状品質をSfMの出力結果から短時間で予測し，さらに，その品質予測結果を基に，低品質と予測される領域の自動抽出を行い，品質を改善できるような追加撮影用のカメラポーズを事前に推定・提示できる技術を開発する．(3) (2)で開発した最適撮影計画手法，ならびにスマートフォンとクラウドシステムを活用した，高精度な3次元モデルを効率的に作成可能な写真計測システムを開発し，工事現場の写真撮影から3次元モデル生成までをその日のうちに完了するワンデーレスポンスの実現を目指す．以上の手法を，擬似計測点群やプラント設備を計測した実計測点群に適用し，本手法のロバスト性検証や従来手法とのモデリング精度比較を行った．また，実際の橋脚や建造物を撮影した画像集合に対して，本手法を適用し，その有効性を検証した．最後に，実際の工事現場において，ワンデーレスポンスの実現可能性を処理時間の観点から考察した．
Many of infrastructures in japan were intensively constructed during the period of rapid economic growth. Nearly half a century has passed since then, the aging infrastructures are increasing exponentially. Therefore, there is a strong demand for strategic maintenance and updating of enormous of infrastructure buildings, and the use of 3D models is expected as a solution to this problem. In maintenance tasks, it is important for an administrator to understand the correct locations of the deformed region and, however, it is difficult to immediately grasp them in conventional 2D drawing. On the other hand, recently, technologies have been developed to automatically generate 3D as-is models from 3D point clouds measured by TLS (Terrestrial Laser Scanner) and images captured by a camera. Their technologies are expected to be used for efficient maintenance tasks. Thus, there is a need for a technology to generate 3D as-is models that reflect the current geometry of infrastructure buildings with high accuracy and efficiency.To generate 3D as-is models of infrastructures with accuracy and efficiency, it is necessary to select appropriate scanning approaches and measure object surface without occlusions according to the object or purpose of use, but the following problems prohibit the progress of the technologies; (1) there is the problem that modeling accuracy decrease due to the overlap error in point clouds integration. Point clouds means a set of points captured by TLS and include coordinate values (xyz) and color information (RGB), tens of millions of points can be measured at one time. Whereas, since the region behind the object cannot be measured, the point clouds includes the occlusions. Therefore, we require two process: registration which estimate the scanning positions for the point clouds captured from multiple locations, and modeling which fit a mathematical surface against the point clouds. However, the final as-is model do not satisfy the required accuracy (e.g., error within 5 mm), and the 3D model may not be utilized in practice because the errors of registration and modeling are overlapped: (2) there is the problem that efficiency of the model generation in photogrammetry. SfM (Structure from Motion), which estimates tie points and camera pose, and MVS (Multi-View Stereo), which generates a high-density 3D model, are necessary to generate a 3D model from many images captured by a camera. However, it is difficult to pre-estimate which camera pose and how many images are needed to reconstruct an accurate model. Therefore, if camera position or the number of images is inappropriate, the correct camera poses cannot be estimated, and the dense model with the degraded region (holes) and low-quality region is generated. Moreover, to avoid this problem, MVS processing takes an enormous amount of processing time when redundant images are captured.For above two problems, the purpose of this research is to develop a high-quality modeling method and view planning method for generating 3D as-is model reconstruction in large-scale environments. We solve the problems from the following three approaches; (1) To generate accurate 3D as-is models of plant facilities from point clouds, we first extract cylindrical pipes in the plant from a plant point cloud, and develop a method of simultaneous registration and modeling using the cylindrical pipes as markers. The method is able to prevent the overlapping of the errors in each process and reconstruct high-accuracy models: (2) To generate accurate 3D as-is model from a set of images of a concrete building, we predict the geometric quality of 3D as-is model which will be obtained without MVS process only from the SfM result in a short time. Moreover, based on the quality prediction, we develop the algorithm for extracting the regions which are predicted as low-quality and estimating the additional camera poses which can improve the quality in advance: (3) we develop the photogrammetry process which can efficiently generate high-quality 3D models by integrating a smartphone, cloud service, and computer-assisted best-view guidance for optimal camera poses developed in (2). The system aims to achieve a one-day response that completes the process from photography to 3D model generation on the same day.We applied the above methods to pseudo point clouds and actual point clouds of plant facilities to verify the robustness of the method and to compare with conventional methods about modeling accuracy. Moreover, we also applied the method to a set of images captured from concrete bridge columns and buildings and verified effectiveness of our study. Finally, the feasibility of one-day response in an actual construction site is discussed in terms of processing time.
(主査) 教授 金井 理, 教授 小野里 雅彦, 教授 近野 敦, 准教授 伊達 宏昭
情報科学研究科(システム情報科学専攻)
Collection (particular)国立国会図書館デジタルコレクション > デジタル化資料 > 博士論文
Date Accepted (W3CDTF)2021-07-05T22:24:43+09:00
Data Provider (Database)国立国会図書館 : 国立国会図書館デジタルコレクション