アセンブリモデリングのための弱教師ありComponent Suggestions

1日1本論文を読んで紹介しています。本日は “ComplementMe: Weakly-Supervised Component Suggestions for 3D Modeling” by Sung, Minhyuk; Su, Hao; Kim, Vladimir; Chaudhuri, Siddhartha; Guibas, Leonidas　です。

assembly-based modelingとは？

モデリング手法の１つで、ユーザーが部品を組み合わせて完成形を作ります。例えば、椅子を作るときには、背もたれ、座面、足、手すりなどのパーツを組み合わせてモデリングします。

漸進的インタラクティブアセンブリベースモデリング(incremental interactive assembly-based modeling)では、ユーザは１つずつパーツを選択、モデルに追加していきます。 この手法を用いるシステムでは、ユーザに適切な部品を提案することが重要であり、そのためにパーツの検索(retrieval)と配置(placement)という２つの技術的な要素が必要になります。

問題は、この次の部品の提案のためにパーツをラベリングしたり、データセットを作るのに、かなりの時間と労力がかかるというところです。

そこでこの研究では、弱教師あり学習(学習データに完全なラベリングは不要)によって、モデリングに使用する部品を提案しています。

この研究の新規性

このシステムはRetrieval(検索)ネットワーク、Embedding(埋め込み)ネットワーク、Placement(配置)ネットワークから成り立っています。

Retrieval(検索)ネットワークは、現時点での部品の集合であるXを入力とし、そのモデルを補完する部品の候補であるYのそれぞれに対して確率分布を返します。この確率分布は重み付きガウス分布として表現され、分布に対する重み、分布の平均、分布の標準偏差が出力となります。
Embedding(埋め込み)ネットワークは、部品であるYを、より低次元のベクトルにマッピングする(embedding)ためのネットワークです。
Retrieval(検索)ネットワークとEmbedding(埋め込み)ネットワークは同時に学習されます。
Placement(配置)ネットワークというのは、追加される部品Yの3次元座標（平行移動のみで回転などは考慮しない) を出力するネットワークです。

これらのアーキテクチャは全て、PointNetという、順序なし3次元座標の集合から、kクラスのクラスタリングを行うネットワークを含んでいます。

下の図においてφは重み、μはガウス分布の平均、σは標準偏差です。

今後の課題

この研究における今後の課題は、大きな部品の影響が、小さくても重要な部品よりおおきくなってしまうことがあるとのことでした。これは、この手法が、点データを削減するため入力の表面上からランダムに点をサンプリングするために起こる問題です。結果として、不自然に部品が浮いたり、重なったりすることがありますが、人手で修正できるレベルのものではある、と書かれています。