ML-Agents 공부 (2) 190818

본 카테고리는 "공부"입니다. 정보를 얻으실 때 사실과 다르거나 부정확한 정보가 들어있을 수도 있습니다.

#은 공부하면서 스스로가 적는 코멘트입니다.

- 외부 텐서플로우는 유니티와는 독립적으로 작동.

- 유니티 내부에서 관측된 환경을 텐서플로우로 보내고, 텐서플로우는 어떤 작동을 시켜야 할 지 브레인으로 보냄.

- 그 후 브레인에서 에이전트로 보냄.

에이전트(Agent)

- 액터(Actor). 주변 정보를 관측할 수 있다.

- 선택 및 행동을 실행하는 데, 이 때의 결과에 따라 보상과 처벌을 받음. (강화학습)

브레인(Brain)

- 정책 결정자. 에이전트의 선택과 행동을 결정함.

- 단, 브레인을 공유하는 에이전트가 서로 정보를 교환하는 것은 아니다. 정책과 경향이 같은 것 뿐.

- 브레인은 종족/사상, 에이전트는 이를 공유하는 개별 캐릭터로 이해할 수 있음.

- 브레인은 4가지 타입으로 나뉨.

• External
  외부 파이썬 프로그램에서 모델을 제공함. 스스로 모델을 가지고 있는 게 아니라, 외부에서 가져오는 것 뿐.

• Internal
  유니티 프로젝트에 포함해서 사용. 외부 프로그램과 통신이 필요 없음.
  이미 학습이 진행된 모델을 시연할 때 사용함. 추가 학습이 불가능! #대놓고 빌드용이구만

• Player
  플레이어 입력을 그대로 전달. 테스트에 사용하며, 모방 학습에 사용된다.
  플레이어가 수행한 방법을 다른 에이전트가 그대로 따라해서 사용할 수 있도록 함.

• Heuristic
  상황에 따른 선택을 하드 코딩한 모델.

아카데미(Academy)

-학습 환경의 "에피소드" 관리 #씬을 관리하는 느낌
-브레인들과 에이전트들을 통제
-외부 프로그램의 메시지를 브레인에게 전달하는 역할