Precise Motion Estimation by Direct Stereo Image Alingment
ダイレクトステレオイメージアライメントによる高精度モーション推定


研究目的

時系列ステレオ画像から,平面の3次元パラメータ(平面の方程式を表す3つのパラメータ)とカメラ運動を高速かつ高精度に推定します. 自動車やロボット等に搭載されたステレオカメラから撮影された道路面や床面などの3次元位置とカメラ運動を高速に(実時間で)推定することができます. 直接法(direct method)の原理を利用しているため,平面上のテクスチャが少なく特徴点が見出しにくい場合でも,安定かつ高精度に推定することが可能となります.

既存の直接法は,計算コストの大きい繰り返し演算を伴うため,実時間処理を必要とするアプリケーションに適用することが困難でした. 本研究では, ICIA (Inverse Compositional Image Alignment)の考え方を取り入れることで,高速化を実現しています. ただし,ICIAを実現するには,画像間の座標変換が変換群(group)をなすという条件が必要であり,3次元平面パラメータによる座標変換はこの条件を満たしません. しかし本研究では,カメラ運動および平面パラメータ推定にICIAの考え方を取り入れ,数倍以上高速なアルゴリズムを実現しています.


平面射影変換(homography)と平面3次元パラメータ

2台のカメラで1つの平面を撮影した場合,得られる2枚の画像間の対応は, 平面射影変換(homography もしくは planar perspective projection) と呼ばれる座標変換によって関係づけられます.

例えば,上図のように,平面を撮影した 画像 T と 画像 I を考えるます. このとき, 画像 T 上の 座標uと 画像I上の 座標 u' との関係は,同次座標表現を用いて次式のように書けます.

---式(1)

ただし, P は3x3の行列であり,平面射影変換行列(homography matrix) と呼ばれています.この座標変換は,行列の要素は9個ありますが, 定数倍の不定性があるため,自由度は8です.同次座標系で書くと線形関係で記述することができ, 直線を直線に変換する性質がありますが,実際は非線形な座標変換です.また,変換群をなす(単位変換を持ち,かつ結合可能(compositional)な変換)という性質があります.

行列 P は,カメラの内部パラメータ,カメラ間の外部パラメータ(2つのカメラ座標系の間の回転行列 R と平行移動ベクトル t ),および,平面の3次元パラメータベクトル q によって表すことができます. q は, 画像 を撮影したカメラの3次元座標系における平面の方程式を定める3x1のベクトルであり,その方程式は で表されます. ただし,x は平面上にある3次元空間中の点の座標です. 説明を簡略化するため,以下では正規化カメラ(canonical camera)について考えます (正規化カメラとは,画像座標がカメラ座標系とおなじスケールを持ち,焦点距離が1のカメラのことです. このとき,内部パラメータ行列が単位行列となります).正規化カメラの場合, 行列 P は次式で書くことができます.

---式(2)

ただし, a は任意の定数です.既知の Rt ,および q から Pを構成する場合は a=1 とします.


平面パラメータ推定の原理

平面パラメータ推定方法の説明の前に,そのベースとなる射影変換行列推定の原理について説明します. 式(1)の座標変換を,同次座標系を用いずに表現した座標変換関数 を考えます.ただし, p は, Pの要素を並べたベクトルです (パラメータ推定ではパラメータベクトル表現を用いて定式化するので, 以下では p を利用します).そして,2枚の画像間のSSD (Sum of Squared Differences)を表現すると,次式のように書けます.

---式(3)

式(3)を最小化する p を最適化手法を利用して求めることにより,射影変換行列 P を求めることができます.

平面パラメータ推定のためのSSDは,式(2)は pq の関数であることを示していることから, 式(3)と同様に次式のように表現できます.

---式(4)

問題は,式(3)や式(4)のようなSSDを最小化するパラメータを求める最適化計算は,計算コストが大きい繰り返し演算を伴うことです. 一方で,式(3)におけるこの問題に関しては,ICIAアルゴリズムによる高速化手法が知られています. ICIAでは, p による座標変換が群をなすことを利用して, と書き,式(3)の代わりに次式のようなSSDを利用します.

---式(5)

ただし, は繰り返し計算の現在値を表すベクトルであり, は微小要素を持つベクトル, による座標変換を示します.また,ここでは, をパラメータとしてSSDを最小化します.式(3)を用いた場合よりも式(5)を用いた方が, はるかに高速な最適化計算を実現できることが知られています.

さて,平面パラメータ推定も,同様に次式のように表すことが可能でしょうか?

---式(6)

本研究では,3次元平面パラメータによる座標変換 w は変換群をなさないにもかかわらず,式(6)の表現が可能であることを示すだけでなく, 式(4)の場合と比較して計算コストが大幅に小さくなることを示しました.

(ICIAに関する参考文献)
S. Baker and I. Matthews. "Lucas-Kanade 20 years on: A unifying framework". International Journal of Computer Vision, Vol. 56, No. 3, pp. 221–255, 2004.


リアルタイム推定の様子

上の2枚の画像は,ステレオ画像を示しており,左画像の矩形領域がテンプレートです. このテンプレート領域を用いて平面姿勢(法線と距離)を推定し,その法線の向きを下の大小2枚の画像と, 左ステレオ画像中の円錐体で表しています.右ステレオ画像中の矩形領域は,テンプレート領域とマッチする領域を表したものです.このプログラムは, Pentium IV 2.6GHzのLinux 上でC言語にて実装したもので,GPU等の画像処理ハードウェアを用いずともキャプチャから表示までを約15フレーム/秒で処理できます.


発表論文

杉本茂樹, 奥富正敏, "ステレオ画像を利用した平面姿勢推定手法と多眼カメラへの拡張",
情報処理学会研究報告, 2005-CVIM-151, Vol.2005, No.112, pp.131-138, November, 2005. (CVIM研究会推薦論文).

杉本茂樹, 奥富正敏,"ステレオ画像からの直接的かつ高速な微小平面3Dサーフェス生成法",
情報処理学会研究報告(コンピュータビジョンとイメージメディア 2006-CVIM-156), Vol.2006, No.115, pp.109-116, November, 2006.

杉本茂樹, 奥富正敏,"ステレオ画像を用いた高速な平面パラメータ推定法",
情報処理学会論文誌:コンピュータビジョンとイメージメディア, Vol.48, No.SIG1(CVIM17), pp.24-34, February, 2007.

Shigeki Sugimoto and Masatoshi Okutomi, "Fast Plane Parameter Estimation From Stereo Images",
Proceedings of the IAPR Conference on Machine Vision Applications (MVA2007), pp.567-570, May, 2007.

Shigeki Sugimoto and Masatoshi Okutomi, "A Direct and Efficient Method for Piecewise-Planar Surface Reconstruction from Stereo Images",
Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR2007), pp.1-8, June, 2007.

杉本茂樹, 奥富正敏,"ステレオ画像からの高速な微小平面3Dサーフェス直接生成法",
第13回画像センシングシンポジウム(SSII2007)講演論文集, pp.IN3-01-1-8, June, 2007.

八重田岳, 杉本茂樹, 奥富正敏, 坂野肇, "リアルタイム平面パラメータ計測システム",
第13回画像センシングシンポジウム(SSII2007)講演論文集, pp.LD1-01-1-2, June, 2007.

杉本茂樹, 奥富正敏,"ステレオ画像からの高速な微小平面3Dサーフェス直接生成法",
情報処理学会論文誌:コンピュータビジョンとイメージメディア, Vol.48, No.SIG16(CVIM19), pp.38-50, November, 2007.

内田秀雄, 杉本茂樹, 奥富正敏,"ステレオ時系列画像を用いたロバストかつ高速なモーション推定",
第11回画像の認識・理解シンポジウム(MIRU2008)論文集, pp.555-560, July 2008.

Hideo Uchida, Shigeki Sugimoto and Masatoshi Okutomi, "Efficient and Robust Motion Estimation Using Stereo Image Sequence",
MIRU International Workshop on Computer Vision 2008 (MIRU-IWCV2008), July, 2008.

内田秀雄,杉本茂樹,奥富正敏,"ステレオ時系列画像を用いたロバストかつ高速なモーション推定",
電子情報通信学会論文誌 D,Vol.J92-D, No.8, pp.1414-1424, August, 2009.

杉本茂樹, 内田秀雄, 大久保淳司, 奥富正敏,"ステレオ時系列画像を用いた直接法による実時間モーション推定",
第12回画像の認識・理解シンポジウム(MIRU2009)論文集, pp.1877-1878, July 2009.

杉本茂樹, 大久保淳司, 奥富正敏,"ダイレクトステレオイメージアライメントによる3 次元実時間推定",
第16回画像センシングシンポジウム(SSII2010)講演論文集, June 2010 (発表予定).

解説記事

杉本茂樹, 奥富正敏,"ステレオ画像からの微小平面サーフェス生成 -- 三角ポリゴンメッシュを直接生成するステレオ3次元再構成 --",
画像ラボ, 日本工業出版, Vol.18, No.12, pp.42-47, December 2007.


プロジェクトメンバ: 奥富 正敏, 杉本 茂樹, 大久保 淳司

2010年5月24日 更新