Floor-SP

Floor-SP: 

Floor-SP Sequence

input: aligned(정렬된) panorama RGBD scans

1. find room segment

2. solve optimization problem to reconstruct a floorplan(평면도) graph as multiple polygonal loops

3. merges tnem into a 2D graph via simple post-processing heuristics(이후 처리 방법론)

 

optimization: room-wise coordinate descent strategy(room-별 좌표하강 전략)

object: sequentially solves shortest path problems to optimize the room structure.

 

 

Abstract

 indoor mapping research에서 각광받는 RGBD scan에서 automated floor reconstruction을 위한 새로운 접근법을 제안한다. Floor-SP라고 불리는 이 접근 방식은 새로운 optimiaztion 문제를 형성하는데, 이 문제는 room-wise coordinate descent가 순차적으로 sortest path problems를 해결하여 floorplan graph structure를 최적화 시킨다. object function은 DNN(Deep Neural Network)에 의해 유도되는 data term, 인접한 room이 corner와 벽을 공유하도록 권장하는 consistency terms, model complexity term으로 구성된다. 이 접근 방식은 대부분의 다른 방식과 다르게 corner/edge primitive extraction을 필요로 하지 않는다. 우리는 nonManhattan structure를 가진 많은 단위를 포함하여, 527개 아파트 또는 주택의 production-quality RGBD scans를 이용하여 시스템을 평가하였다. 정성적, 정량적 평가로 이는 현재 기술 중 상당한 성능 향상을 보여준다. 

 

 

1. Introduction

 건축 평면도는 실내 공간을 설계, 이해 및 리모델링 하는데 중요한 역할을 한다. raw sensor data에서 Automated floorplan reconstruction은 indoor mapping research에서 중요한 부분이다. 핵심 기술적 문제는 unknown topology한 예마다 다른 wall graph structure의 추론에 있다. 컴퓨터 비전은 예를 들어 인간 포즈 추정 및 손 추적과 같은 그래프 추론 작업에서 현저한 발전을 이루었다. 불행히도, 성공은 fixed known topology 사례(예: 인간은 두 개의 팔을 가지고 있다)로 제한되었다. unknown varying topology에 대한 graph structure inference는 여전히 열려 있는 문제이다.

 

 Graph reconstruction에 대한 일반적인 접근 방식은 예를 들어, corner를 탐지하고 corner의 subsets(부분 집합)을 선택하여 영역을 형성하는 primitive detection & selection이었다. 이 기존의 bottom-up 방식의 문제점은 이전 stage에서의 single false-negative(거짓 양성) 오류가 복구되지 못한다는 점이다. 초기 space가 기하급수적으로 증가함에 따라, 특히 non-Manhattan scenes의 경우, 위 방법이 더 어려워지게 된다. 본 논문은 세가지 핵심 아이디어로 floorplan reconstruction에서 돌파구를 마련하고자 한다. 

 

1. Mask-RCNN을 사용하여 인스턴스 의미 분할 기법을 통한 room 분할에서 시작한다. 

: room 분할은 평면 그래프 추론을 각 room에 대해 하나씩 여러 다각형 루프의 재구성으로 축소한다. 이 감소를 통해 우리는 평면 재구성을 room 제안으로 안내되는 여러 루프를 통해 최적화로 평면도 재구성을 공식화 할 수 있다. 

 

2. 목적 함수를 최적화하기 위해 방별 coordinate descent 전략을 사용한다. 

: room topology가 단순한 loop라는 사실을 이용하여, 우리의 공식화는 각 room에 대한 최단 경로 문제를 순차적으로 해결하는 동시에 다른 room과의 일관성을 강화하여 최적의 graph structure를 갖는다. 

 

3. input sensor data에 대한 불일치를 측정하여 최적화 문제의 data terms를 평가하는데 DNN를 활용한다. 

data term 다음과 결합된다. 

- consistency term: 인접 room이 room 경계에서 코너와 벽을 공유하도록 권장

- complexity term: 모형화하여 그래프의 모서리 수에 불이익 

 

우리는 현재 가장 큰 데이터베이스보다 몇 배 큰 527개 아파트 또는 주택의 생산 품질 RGBD 스캔에 대해 제안된 접근 방식을 평가했다. 우리의 접근 방식은 현재 최첨단에 비해 상당히 개선되었다.

 

 

2. Related Works

Graph reconstruction과 Indoor scan datasets의 두가지 영역에서 관련 작업을 논의한다. 

 

- Graph reconstruction

: Graph reconstruction inference는 컴퓨터 비전에서 인기 있는 연구 분야였다. 이러한 문제에서 graph topology는 label space에 걸쳐 정의되며 모든 사용자에게 공통적이다. 예를 들어, 머리는 항상 신체에 연결되는 것과 같은 공통적인 topology를 지닌다. 여기서는 topology가 인스턴스마다 다른 reconstruction 맥락에서 graph inference problem에 중점을 둔다. 

 

 Room layout estimation은 node가 room corner이고 edge가 wall boundaries인 단일 이미지에서 architectural feature의 graph를 추론한다. 대부분의 접근 방식은 2D 영상에서 볼 수 있는 room layout의 위상 변화를 제한하기 위해 3D 박스룸을 가정한다. box-shape가 아닌 room의 경우, optimal room structure를 검색하기 위해 동적 프로그래밍(DP)이 적용되었다. DP는 유사한 방식으로 topology를 loop로 제한하여 평면도를 해결하는 데 사용되었다.

 

 Bottom-up processing은 graph reconstruction에 널리 사용되는 접근 방식으로, corner와 같은 low-level primitives가 감지되고, 그 다음 가장자리나 영역과 같은 high-level primitives를 형성하도록 선택된다. DNN-based junction(접합) detector는 floorplan 이미지 벡터화를 위해 제안되었다. 여기서 junction은 Manhattan frame에서 입사 edge direction을 나타낸다. junction 정보는 edge를 integer programming으로 추론하는데 사용된다. Huang et al은 DNN을 사용하여 입사 edge direction 집합으로 표현되는 접합부를 감지하고 인공 씬(scene)의 single-image wireframe reconstruction에 대한 휴리스틱으로 edge를 추론한다.

 

 많은 이전 작품들이 고품질 indoor reconstruction을 위해 RGBD scan/point clouds를 활용하지만 FloorNet은 대규모 실내 벤치마크에서 테스트된 현재 최첨단 floorplan reconstruction task이다. FloorNet 은 bottom-up process에서 DNN과 IP를 결합하지만 3개의 failure mode가 있다. 
첫째, 모든 bottom-up process에서 마찬가지로, 탐지 단계에서 corner가 누락되면 최종 모형에서 walls과 room이 자동으로 누락된다.
둘째, 잘못된 후보 기본 요소들은 외부 walls와 room의 reconstruction을 초래할 수 있다.
셋째, 강력한 IP를 사용하려면 FloorNet이 솔루션 공간을 Manhattan scenes으로 제한해야 한다.

 

Ikehata 등에 의한 structed indoor modeling은 우리의 작업에 영감을 주는 원천으로, room segmentation로 시작한 다음 room 모양을 reconstruct하기 위해 최단 경로 문제를 해결한 후 room 병합 및 room 추가를 수행한다. 그들의 시스템은 indoor modeling을 위한 일련의 휴리스틱이지만, 우리의 접근 방식은 floor plan structure를 복구하기 위한 건전한 에너지 최소화 문제를 형성한다.

 

- Indoor scan datasets

: 저렴한 depth sensing 하드웨어를 통해 연구자들은 많은 indoor scan datasets를 구축할 수 있다. ETH3D datasets는 multi-view stereo에 대한 16개의 indoor scans을 포함합니다. ScanNet datasets와 SceneNN datasets는 다양한 indoor scenes을 캡처한다. 그러나 대부분의 스캔에는 floorplan reconstruction problem에 적합하지 않은 room이 한 개 또는 두 개만 포함됩니다. Matterport3D는 90개의 고급 주택을 위한 high-quality panorama RGBD image sets를 구축한다. 2D-3D-S datasets는 동일한 Matterport 시스템을 사용하여 사무실 공간에 대한 6개의 large-scale indoor scans를 제공한다. 마지막으로 large-scale 종합 datasets인 SUNCG는 다양한 indoor scenes을 제공한다.

 

floorplan reconstruction 작업의 경우, FloorNet은 155개의 residential units에 대한 스마트폰의 full floorplan annotation과 해당 RGBD video를 벤치마크에 제공한다. 본 논문은 floorplan annotation이 달린 527채의 주택이나 아파트에 대한 production-quality panorama RGBD scans를 활용한다.

 

 

3. Floor-SP: System Overview

 Floor-SP는 aligned panorama RGBD video를 Room segmentation, Room-aware floorplan reconstruction, Loop merge의 세 단계로 floorplan graph로 변환한다. 이 섹션에서는 최소의 detail과 함께 시스템 개요를 제공한다. alinged panorama RGBD scan은 먼저 Floor-SP에 대한 입력인 2D point-density/normal map으로 변환된다. FloorNet과는 달리, 우리는 적절한 wall structure를 고려하여 doors/windows, icons, room semantics을 추가할 수 있는 wall structure에 중점을 둔다.

 

Room segementation

: input panorama scans는 top-down view에서 4-channel 256*256 point-density/normal map으로 변환된다. 우리는 instance semantic segmentation technique(Mask R-CNN)을 활용하여 주어진 4-channel image에 대한 room segment를 찾는다. room segement는 대략적인 모양을 가진 room proposals를 제공함으로써 floorplan reconstruction을 위한 좋은 기반을 마련하지만, 다음의 이유로 좋은 floorplan graph는 아니다. 

1. Mask R-CNN segment는 raster 표현(즉, 알려지지 않은 numbers 및 corner 배치)를 가지고 있다.

2. walls는 room 간에 일관되게 공유되지 않는다. 

 

Room-aware floorplan reconstruction

: 일련의 room segment와 input point-density/normal map이 주어지면, floorplan를 각 room에 하나씩 multiple polygonal loops로 reconstruction하는 최적화 문제를 공식화한다. DNN은 목표에서 data terms를 도출한다. 최단 경로 문제를 순차적으로 해결하여 corner의 수와 배치를 직접 최적화하는 새로운 room-wise coordinate dsescent algorithm를 제안한다. 

 

Loop merging

: 간단한 graph merging 작업은 multiple polygonal loops를 최종 floorplan graph에 결합한다. 

 

Room-aware floorplan reconstruction은 논문의 기술적 핵심이다. 제 4장에서 문제 공식을 정의하고 제 5장은 최적화 알고리즘을 제시한다. room segmentation과 loop merging은 기존의 기술의 기초하며, 6장에서는 알고리즘 세부사항과 나머지 시스템 사양을 제공한다. 

 

 

4. Room-aware floorplan reconstruction