1枚の写真からそれらしい植物を合成する
今日の論文は、 “Single-picture reconstruction and rendering of trees for plausible vegetation synthesis” by Argudo, Oscar; Chica, Antonio; Andujar, Carlosです。
DTMによる植物合成
植物は、数値地形モデル (DTM; Digital Terrain Model)においてよく見られますが、モデリングするのに手間がかかります。
植物合成の効率化を図るために、L-システム、空間移民(space colonization)アルゴリズムなどの効率を改善するいくつかの手法があります。ただし、これらのアルゴリズムには、点群、複数の写真、多くのパラメータ設定などが必要です。
研究の新規性
この研究は、1枚の写真からもっともらしい木を再構成してレンダリングするパイプラインを提案しています。
写真からクラウンを再構築する方法
クラウンとは、木の葉の塊の部分。
- エンベロープメッシュ合成
- 色合成
- レリーフ合成
- 半径距離マップ
- 枝と葉の生成
1, エンベロープメッシュ合成
写真から、8連結で(8近傍を基準に)木のシルエットSを取得します。
z=0平面のシルエットの点(i, j, 0)の接線をf(i, j)に維持する。次に、クラウンのメッシュCを高さマップとして取得します。この制約を実現するために、シルエットのピクセルの外側に隣接するピクセルのセットとして定義します。(i’ j’)は(i, j)から最も近いピクセルへの射影です。
クラウンCは、C内部の重調和方程式で定義された薄板エネルギーを最小化することによって決定されます。実際の計算では、unknown(x, y, z)のそれぞれが次の方程式によって計算されます。
行列Mは、bi-Laplacianフィルタです。
2, 色合成
写真から、Image texture tools(P. Harrison, 2005) のテクスチャ合成アルゴリズムを使用して、カラーマップを作成します。その後、合成されたテクスチャから キューブマップを 作成します。
3, レリーフ合成
次のステップは、写真の輝度からレリーフ(デプス)を推定することです。最初に、輝度を0~1の範囲に正規化します。次に、段階的に画像をぼかしたラプラシアンピラミッドを計算します。低いレベル(低周波数)の画像は重みが大きくなり、高いレベル(高周波数)の画像はレリーフに細部を追加するために使用されます。
Cube map of the relief is generated from the cube map of color in this way.
このように、レリーフのキューブマップは、写真の色のキューブマップから生成されます。
4, 半径距離マップ
クラウンの中心から表面までの距離を格納している半径距離マップ(RDM; radial distance map)を作成し、レリーフのキューブマップを投影することで値を設定して、凹凸をつけます。
5, 枝と葉の生成
枝は、クラウン内部の空間移民(space colonization)アルゴリズムによって作成されます。そして、葉は、簡略化のため板(billboard)の集合として表現されます。
レンダリング
木をレンダリングするには2つの方法があります。
- 遠くにある木のためのフラグメントベースのレリーフマッピング
- 近くにある木のためのRGBAテクスチャで描画された葉と枝を持つ板(billboard)の集まり
この手法によって出力されるレンダリング結果については、元の論文をご覧ください。