[Physical AI 강의] Part 1. 모방 학습(Imitation Learning)

본 정리는 포항공과대학교 Physical AI 수업을 듣고 정리한 리뷰이다. 틀린 내용이 있으면 댓글로 편안하게 말씀 부탁드립니다.
Part1에서는 모방학습에 등장 배경, 학습 방법에 대해서 정리하고자 합니다. 강화학습이 처음이신 분들은 제 블로그 강화학습편을 참고해주시면 감사하겠습니다. 

 

강화학습  한계

RL의 가장 큰 장점은 분포 변화(distribution shift)로부터 비교적 자유롭다는 점이다. 학습 과정에서 다양한 상태와 행동을 직접 탐색하기 때문에, 한 번도 보지 못한 상황에 부닥쳤을 때 완전히 무너지는 일이 적다. 하지만 이 장점을 얻기 위해 지불해야 하는 비용이 너무 크다.

• 막대한 양의 데이터가 필요하다
• 실험 데이터를 수집하는 데 시간과 에너지가 많이 든다
• 안전성 문제와 시뮬레이션-실제 환경 간 격차(Sim2Real) 문제가 발생한다
• 보상 함수를 직접 설계하거나 학습해야 한다

이 중에서도 가장 까다로운 것은 보상 함수 설계다. "로봇 팔이 컵을 잡아서 옮기게 하라"는 목표를 보상 함수로 정확히 표현하는 일은 생각보다 어렵다. 컵을 너무 세게 쥐면 깨질 수도 있고, 너무 느리게 옮기면 비효율적이다. 이런 미묘한 트레이드오프를 수치로 표현하는 것은 전문가에게도 어려운 작업이다.

 

그래서 등장한 모방 학습

여기서 자연스러운 질문이 떠오른다.

보상을 정교하게 설계하는 대신, 그냥 사람이 직접 시범을 보여주면 어떨까.

 

이것이 바로 모방 학습의 핵심 아이디어다. 

모방 학습이 유용한 상황은 명확하다.

• 원하는 행동을 만들어내는 보상 함수를 정의하기보다, 그 행동을 직접 시범 보이는 것이 더 쉬울 때
• 원하는 정책을 직접 명시하기보다, 시범을 통해 암묵적으로 전달하는 것이 더 쉬울 때

모방 학습의 장점은 명확하다. 로봇에게 행동을 보여주는 것만으로 충분하기 때문에 자연스럽고 표현력이 풍부한 프로그래밍 방식이 된다. 로봇공학에 대한 전문 지식이 없어도 가르칠 수 있고, 사람이 가진 직관을 시범을 통해 전달할 수 있다. 새로운 작업이 필요할 때마다 그때그때 새로 가르칠 수 있다는 유연성도 있다.

다만 모방 학습에도 약점이 있다. 바로 분포 변화(distribution shift) 문제다. 시범 데이터가 다루지 않은 상황에 로봇이 놓이면, 어떻게 행동해야 할지 배운 적이 없기 때문에 위태로워진다. 이 문제는 뒤에서 자세히 다룬다.

 

모방 학습은 그러면 기존 강화 학습이랑 어떻게 다르 학습하는건데?

모방 학습을 정의하려면 아래와 같은 다섯 가지 요소가 필요하다

 

• 시범 τ 또는 시범자(전문가) π*: 시범은 상태와 행동의 시퀀스 τ = (s₀, a₀, s₁, a₁, …)로 구성된다
• 환경 또는 시뮬레이터
• 정책 클래스: 어떤 함수 패밀리를 쓸 것인가. 신경망일 수도 있고 다른 모델일 수도 있다
• 정책을 학습시킬 손실 함수
• 학습 알고리즘

목표는 단순하다. 전문가 π*를 모방하는 정책 π를 학습시키는 것이다.

정책 π는 상태 s_t(또는 관측값 o_t)를 행동 a_t로 매핑하는 함수이며, 결정론적이거나 확률적일 수 있다.

 

여기서 보상이 빠져 있다는 점에 주목할 필요가 있다.

모방 학습의 문제 설정은 보상(Reward)이 없는 MDP다.

상태 공간 S, 행동 공간 A, 전이 모델 P_sa(s_(t+1)|s_t, a_t)는 그대로 있지만, 전문가 정책 π가 보상의 역할을 대신한다. π의 흔적이 곧 시범 궤적 τ* = (s₀, a₀*, s₁, a₁*, s₂, a₂*, …)이다.

 

시범을 어떻게 수집하는가

모방 학습이 실제로 작동하려면 먼저 시범 데이터를 모아야 한다. 그런데 여기서 곧바로 까다로운 문제가 등장한다. 사람의 눈과 관절, 로봇의 센서와 액추에이터는 근본적으로 다른 구조를 가지고 있다. 사람이 팔을 흔드는 동작을 7축 로봇 팔의 관절 각도로 직접 변환하는 것은 자명하지 않다.

이 문제를 대응 문제(correspondence problem) 라고 부르며, 두 단계로 나뉜다.

• 레코드 매핑(Record mapping): 시범자의 행동과 기록된 데이터 사이의 대응 관계
• 임바디먼트 매핑(Embodiment mapping): 기록된 데이터와 학습자(로봇)의 실행 사이의 대응 관계

이 두 매핑을 기준으로 시범 수집 방법을 네 가지로 분류할 수 있다.

 

레코드 매핑: I(z,a)레코드 매핑: g_R(z,a)

임바디먼트: I(z,a)	텔레오퍼레이션 (Teleoperation)	섀도잉 (Shadowing)
임바디먼트: g_E(z,a)	교사 센서 부착 (Sensors on Teacher)	외부 관찰 (External Observation)

• 텔레오퍼레이션: 사람이 로봇의 관절을 직접 조작하는 인터페이스(조이스틱, 마스터 암 등)를 통해 로봇을 원격 제어하면서 시범을 만든다. 레코드와 임바디먼트 모두 로봇 자체의 좌표계로 직접 기록되기 때문에 대응 문제가 가장 적다.
• 섀도잉: 사람이 직접 동작을 수행하고, 로봇이 그 동작을 실시간으로 따라 하며 자신의 관절로 기록한다. 모션 캡처 슈트를 입은 사람과 그 옆에서 동시에 움직이는 인간형 로봇을 떠올리면 된다.
• 교사 센서 부착: 사람의 몸에 센서(엑소스켈레톤, 글러브 등)를 부착해 동작을 기록하지만, 로봇에게 직접 전달하지 않고 추후 별도의 매핑을 통해 변환한다.
• 외부 관찰: 카메라 등 외부 센서로 사람의 동작이나 물체의 움직임을 관찰해서 기록한다. 가장 자연스러운 시범 수집 방식이지만, 사람의 신체 구조와 로봇의 구조가 전혀 다르기 때문에 임바디먼트 매핑의 부담이 가장 크다. 최근에는 로봇 팔이 사람의 손동작을 관찰만으로 학습해 물체를 조작하는 사례(Autonomous Policy Rollouts)도 등장하고 있다.

이 네 가지 방법 모두 결국 같은 목표를 향한다. 사람의 행동을 어떻게든 로봇이 실행할 수 있는 상태-행동 데이터로 변환하는 것이다.

 

모방 학습의 두 종류: BC와 IRL

시범 데이터가 모이면, 이를 가지고 정책을 학습시키는 방법은 크게 두 갈래로 나뉜다.

• 행동 복제(Behavioral Cloning, BC): 지도학습으로 정책 π_θ를 직접 학습할 수 있는가. θ는 학습 가능한 모델 파라미터다.

• 역강화학습(Inverse Reinforcement Learning, IRL): 전문가 정책 π*로부터 보상 함수 r을 역으로 복원할 수 있는가. 전문가가 최적이라는 가정에서 출발한다.

이번 글에서는 모방학습이 왜 필요한지 그리고 강화학습이 학습 관점에서 어떻게 다른지에 대해서 정리해봤습니다. 다음 Part2 부터는 위에서 나온 모방 학습의 대표 학습 방법인 BC와 IRL에 대해서 정리할 예정입니다. 

 

출처: 포항공과대학교 Physical AI 강의