Combinatorial Construction with Deep Reinforcement Learning

Abstract

We introduce a novel problem formulation, combinatorial construction, which requires an agent to assemble unit primitives (i.e., LEGO bricks) sequentially with only incomplete knowledge about the desired target (i.e., 2D images) while satisfying the predefined connectivity rules. To facilitate long-term planning of brick placements and a comprehensive understanding of partial information, we build upon a reinforcement learning method to learn an optimal assembling policy. Concretely, our model, dubbed Brick-by-Brick, adopts an action validation network that prevents from forming invalid brick combinations to an actor-critic network. As a step towards designing a versatile construction agent, we present challenging benchmarks which differ by their type of given information and complexity of connection rules. Under each setup, we demonstrate that our approach successfully learns to construct unseen objects by capturing their global and local structures.

우리는 조합론적 건설이라는 새로운 문제 설정을 소개한다. 에이전트는 건설 하고자 하는 타겟에 대하여 이미지와 같은 부분적인 정보만을 가지고 미리 설정된 연결 제약들을 만족시키며 순차적으로 레고 브릭과 같은 단위 부품을 결합해야 한다. 장기적인 브릭 배치 계획과 타겟의 부분적 정보에 대한 포괄적인 이해를 동시에 가능하게 하기 위해 우리는 강화 학습에 기반하여 최적의 건설 정책을 배운다. 세부적으로, 우리의 모델 B3은 행동 확인망을 기존의 배우-비평가망에 채택하여 불가능한 행동 선택을 사전에 예방한다. 또한 다재다능한 건설 에이전트를 디자인하기 위하여 우리는 주어지는 정보의 유형과 제약의 복잡성을 다르게하여 다양하고 어려운 벤치마크를 제공한다. 우리는 각각의 벤치마크에서 우리가 제시하는 방법이 건설하고자 하는 물체의 이미지만을 가지고 전체 및 부분적 구조와 특징을 모두 잘 잡아내어 건설하는 것을 보인다.