[앤트맨과 와스프] 스캔라인 VFX - JELMER BOSKMA

[앤트맨과 와스프] : 스캔라인 VFX 슈퍼바이저 'JELMER BOSKMA'의 인터뷰입니다.
본 포스트는 'Art of VFX'의 'Vincent Frei'가 작성한 글을 번역한 것으로, 본 글의 저작권은 완전히 'Art of VFX'에 있습니다.

원문 링크 : http://www.artofvfx.com/ant-man-and-the-wasp-jelmer-boskma-vfx-supervisor-scanline-vfx/

[앤트맨과 와스프] 스캔라인 VFX - JELMER BOSKMA

어떻게 [앤트맨과 와스프]에 참여하게 되었나요?

우리는 와스프의 비행스타일과 움직임에 대한 애니메이션을 테스트하면서 작품에 참여하게 되었습니다.
마블 시네마틱 유니버스(이하 MCU)에서 새로운 인물인 와스프가 어떻게 공중을 날아다녀야 할 지에 대해 상당히 다양한 설명을 들었고
리드 애니메이터인 Mattias Brunosson에게 와스프의 독특하고 다양한 애니메이션과 와스프의 시그니쳐가 될 동작을 만들어내는 일을 맡겼어요.
Mattias Brunosson과 애니메이션 슈퍼바이저인 Eric Petey는 와스프가 몸을 축소하여 헬리콥터에 폭탄을 설치하는 20초 짜리 영상을 제작하고,
와스프의 움직임은 스카이다이빙, 발레, 파쿠르의 움직임을 조합하여 군인처럼 느껴지는 동작들을 만들어냈습니다.

Peyton Reed 감독과 마블의 VFX Supervisor인 Stephane Ceretti와의 협력은 어떠하였나요?

[앤트맨과 와스프]의 감독인 Peyton 감독과의 커뮤니케이션은 주로 Stephane Ceretti와 VFX Producer인 Susan Pickett을 통해서 했습니다.
일주일에 3번씩 cineSync 세션을 통해서 그들과 작업에 대해 검토하고 얘기를 나누었고, Peyton 감독은 만들어내고자 하는 것에 대한 명확한 그림이 머릿 속에 있어서
와스프의 애니메이션 작업에 깊게 관여했어요. 그리고 Stephane과 Susan과의 미팅은 업무적으로도 만족스러웠을 뿐만 아니라 매우 재미있었고
새로운 아이디어가 나오거나 혹은 그 아이디어로 디렉션이 바뀌게 되어도 오픈 마인드를 가질 수 있는 미팅이었습니다.
우리는 우리가 만들어낼 수 있는 최고의 작품을 만들기 위해서 노력하였고, 참여한 모든 사람들의 노력이 어우러져 큰 도움이 되었습니다.

VFX에 대한 그의 기대와 접근법은 어땠나요?

Stephane과 Peyton 감독 둘 다 전작인 [앤트맨] 에서 사용되었던 몇가지 특수효과를 발전시키기 위해서 방법을 모색해야 한다고 느꼈습니다.
전편에서 나왔던 개미는 덜 괴기스러운 디자인으로 제작하여 보는 사람들이 이 개미가 누가 봐도 친구라는 생각을 할 수 있게끔 하였었는데,
이번에는 사람들이 전편의 개미보다 더 진짜같다는 믿음을 만들기 위해서 현실적인 비율과 디테일을 고려하여 디자인했습니다.
그리고 캐릭터들이 축소될 때의 잔상효과는 전편에서 사용되었던 것을 거의 유지시켰죠.
대게 절묘하게 적용되어서 저희는 그 효과에 대해 설명적으로 접근할 필요가 없었고, 실제로 잔상효과는 모든 샷에서 매끄럽고 사실적으로 보였어요.

VFX Producer와 이 작업에 대해서 어떻게 준비를 했나요?

제 프로듀서인 Marcus Goodwin은 우리들이 정해진 일정과 예산 범위 내에서 작업이 가능하도록 만들어준 사람이에요.
만약 제가 이런 부분을 맡았다면, 우리는 제때 끝내지 못하고 끝도 없이 계속 수정을 했을 겁니다.
Marcus는 제때에 작업을 끝내기 위해서 디지털 프로덕션 관리자인 Olivia Goh를 데려와서 일정을 정리하고 리드 아티스트들에게 다양한 시퀀스를 맡겼습니다.

Scanline VFX 각 지사간의 작업 분할을 어떻게 했나요?

모델링, 룩뎁, 리깅, 애니메이션, 라이팅 등 대부분의 작업을 벤쿠버 지사의 아티스트들이 진행했고 합성은 시퀀스를 기준으로 벤쿠버와 LA 지사가 분업을 했고
Brent Prevatt가 LA에서 합성 팀을 담당하는 동안 벤쿠버 지사에선 Michael Proterfield와 Micah Gallagher가 합성 팀을 담당하여 맡은 시퀀스를 작업했습니다.

Scanline VFX에서 작업한 시퀀스는 무엇인가요?

저희는 레스토랑과 주방에서 와스프가 전투하는 장면, 해안가, 샌프란시스코만, 쿠키영상의 드럼치는 거대한 개미, 영화 전반에 걸쳐있는 양자영역에 대한 다양한 샷들을 맡았고
더불어 앤트맨, 와스프의 디지털 캐릭터도 제작했습니다.

앤트맨, 와스프, 고스트를 만들었던 과정에 대해서 자세히 알려줄 수 있나요?

앤트맨과 와스프의 디지털 캐릭터를 제작하는데 있어서 우리가 풀어나가야할 부분은 두 캐릭터가 입은 슈트의 움직임을 파악하는 거였어요.
두 캐릭터 모두 헬멧을 착용하고 있는데, 이 헬멧은 목 뒷부분에 있는 작은 패키지에서 펼쳐지며 착용되고 다시 접히는 형태입니다.
이 작은 패키지에 커다란 헬멧의 형태가 들어가도록 맞추는 것은 모델링 수퍼바이저인 Magnus Skagerlund와 모델링 팀에게는 어려운 문제였습니다.
그리고 와스프의 날개는 착용하고 있는 가방에서 펼쳐지는 매커니즘과 펼친 날개를 디자인했는데, 처음 테스트를 해봤을 때 상당히 유기적이고 무지개빛을 띈 잠자리 날개로 보이더군요.
최종적으로 완성된 날개는 하이테크의 메카니컬한 룩을 갖추게 되었고, 슈트의 컨셉과도 잘 어울리게 되었습니다.
날개가 펼쳐지는게 슬로우 모션에서도 문제없이 리얼하게 보이게 하기 위해서 슬라이딩 플레이트와 텔레스코핑 파츠의 작동 시스템을 적용하려고 시도했습니다.
그리고 실제 배우들의 신체 비율에 알맞게 하기 위해서, Clear Angle Studios 에서 제공해준 각 배우들의 스캔 데이터를 참고하여 제작을 했고
이렇게 제작된 데이터를 통해 각 캐릭터의 수트에 대한 Cloth Simultaion을 진행할 수 있었어요.
고스트는 DNEG(과거의 Double Negative)사의 친구들이 제작을 했으며, 제작된 어셋들은 DNEG과 서로 공유했고 고스트에 대해서 우리는 조금만 도와줬을 뿐입니다.

다양한 쉐이더와 텍스쳐는 어떻게 제작되었나요?

저희는 현장팀으로부터 고해상도의 완벽한 텍스쳐 사진들을 받았고, 이 텍스쳐 사진들로 우리가 사용하기 위한 모든 데이터를 추출할 수 있었죠.
두 캐릭터의 의상은 천으로 만들어진 복잡한 패턴을 가지고 있고, 반사에 대한 다양한 특성이 존재했고, 3D 프린터로 제작한 의상이 현장에서 반사에 대해 좋은 결과를 뽑아냈는데,
그런 부분을 CG로 완벽히 구현하는건 너무나도 어려웠습니다.
이런 문제점을 가진 데이터를 깔끔하게 추출해내고, 수정하여 사용할 수 있게 만든 건 저희 회사의 뛰어난 텍스쳐 아티스트인 Jami Gigot과 어셋 리드이자 텍스쳐 아티스트인 Ken Lee이며
이 둘이 세밀하게 수작업으로 다 처리했습니다.

리깅과 애니메이션에 대해 좀 더 말씀해주시겠어요?

앞선 질문에서 이와 관련해서 살짝 언급을 하였었는데, 복잡한 요소들로 이루어진 캐릭터의 깔끔한 애니메이션을 만들기 위한 리깅이 바로 저희가 해결해야할 핵심 문제였고,
최종적으로 리깅팀과 모델링팀이 협업하여 날개와 헬멧이 펼쳐지는 데이터를 알렘빅 캐쉬로 애니메이션 팀에게 제공했습니다.
리깅팀이 일궈낸 또다른 흥미로운 점이 있는데, 리깅 슈퍼바이저인 Jim Su 가 Cloth Simulation을 baking(시뮬레이션 데이터를 저장하는 과정)할 때 저장에 걸리는 시간을 줄일 수 있는 방법을 사용했단 것이죠
어디에나 쓰일 보편적인 자세에 대한 모션을 셋업하고 그 셋업을 기반으로 자세별로 Cloth Simulation을 한 후, 각각의 자세마다 키프레임을 분할하여 리깅된 데이터에 driven 으로 키프레임을 연결하여 blendshape을 한건데,
비록 초기 셋팅 시간은 꽤 많이 소요가 되지만 결론적으로 시뮬레이션 시간이 대폭 줄었고, 특히 매번 몇시간씩 시뮬레이션을 하지 않아도 역동적인 Cloth Simulation의 결과물을 얻을 수 있었어요.

레스토랑에서 싸우는 씬에서는 싸우는 내내 와스프의 크기가 계속 변화를 보이는데, 이 문제에 대해선 어떻게 해결을 했나요?

작업을 위해서 우리가 맡은 샷에 대한 플레이트는 하나도 빠짐없이 모두 완벽한 플레이트였습니다. Marvel의 촬영팀은 VFX 작업에서 요구하는게 어떤건지 잘 알고 있습니다. (가끔 스텝에게 권장하기도 합니다)
이렇게 깔끔하고 좋은 조건의 플레이트가 있었기에 카메라에 보이는 환경을 구성하기가 쉬웠고, 디지털 캐릭터를 적용한다거나 풀CG로 샷을 재구성할 수 있었죠
CG로 전환하는데 있어서 핵심은 라이팅과 룩뎁이 플레이트와 딱 맞아떨어져야 한다는 것이고, 특히 옷감의 주름을 리얼하게 흉내내는 것은 상당히 까다로운데,
때론 이러한 부분들을 깔끔하게 하거나 보이지 않게 하기 위해서 2D와 3D matchmove를 적절히 섞어 써야 했습니다.
앤트맨과 와스프가 줄어들 때마다 디지털 캐릭터로 변형을 했지만, 변형이 아니라 아예 풀CG로 진행을 할 수도 있었습니다.

슬로우 모션과 마이크로(초근접) 샷도 상당히 많았는데, 이 샷들은 어떤식으로 접근을 해서 작업했나요?

마이크로 샷은 이 프로젝트에서 우리가 맡은 샷 중에서 신선하고 흥미로운 문제였어요.
크기가 작아지게 되면 근본적으로 완전히 새로운 환경에 있게 되는데, 주방으로 예를 들면 개미 크기만큼 사이즈가 줄어들면 소금 알갱이는 소화전만한 사이즈가 되고 식초병은 건물만한 사이즈가 되는거죠.
그래서 마이크로 샷에선 레이아웃팀과 어셋팀이 간단한 어셋에 대해서 훨씬 주의깊게 작업을 해야했는데, 마이크로 샷이라 피사계 심도(Depth of Field)가 얕기에 초점이 안맞는 부분이 많다는 이점을 누릴 수 있었지만,
반대로 초점이 맞는 부분은 하이 레벨 디테일로 제작해야 했죠. 하지만 현장에서 마이크로 단위로 촬영한 플레이트와 사진이 있었기에 더 큰 이미지를 보고 참고할 수 있었어요.
또한 레이아웃 카메라랑 애니메이션이 문제없이 잘 적용되게 하기 위해서 풀CG로 아예 샷을 재구성한 경우도 종종 있었습니다.

위의 두 경우가 작업에 어떤식으로 영향을 끼쳤나요?

기본적으로 스케쥴과 계획의 관점에서 고려해야할 사항이 있는데, 그건 소금통이나 식초병 같이 단순한 어셋을 제작할 땐 많은 시간을 할애하지 않는 것입니다.
하지만 슬로우 모션과 마이크로 샷에선 소금통과 식초병같이 단순한 어셋조차도 모델링, 텍스쳐링, 쉐이딩, 라이팅에서 히어로 어셋으로 취급해야 했어요.
슬로우 모션 샷에 한해서는 애니메이팅과 렌더를 해야하는 프레임의 수가 많다는 점 외에는 전체 워크플로우에 큰 영향을 끼치진 않았습니다.

고스트의 페이징 효과는 어떻게 제작했나요?

페이징 효과는 우리가 제작한게 아닙니다. DNEG에서 애니메이션을 잡은 뒤 Houdini에서 Procedural로 디스토션 효과를 적용한 후 디지털 캐릭터와 실사를 조합하여 페이징 효과를 만들어냈어요.
그리고 제작사에서 그 효과가 통과되자마자 우린 DNEG에서 만든 페이징 효과와 동일한 효과를 제작했습니다.

자이언트-맨(거대한 앤트맨)에 대한 제작과정을 상세하게 설명해주시겠어요?

자이언트-맨, 작은 사이즈의 앤트맨, 실제 사이즈 앤트맨은 전부 동일한 어셋이었지만, 분명 문제가 발생할 거라고 믿고 있었습니다.
실측의 앤트맨이 70피트(21 미터) 높이로 커지면, 사이즈가 커진 만큼 디테일이 사라지게 되기 때문에 자이언트-맨을 디테일하게 만들기 위해서 슈트에 찢어지고 마모되는 부분을 더 추가했고
일률적으로 보이는 부분들을 수정해야 했습니다.
캐릭터가 사이즈가 커지는 과정이 보이는 샷에서는 커진다는 스케일감이 느껴지지 않았어요. 그래서 설득력이 있게 하기 위해서 세분화를 하여 작업을 했습니다.

자이언트-맨이 텍스쳐와 애니메이션 작업에 있어서 어떤 영향이 있었나요?

텍스쳐는 긁힌 자국과 스크래치같이 특이한 부분을 추가하는 것 외에는 문제가 없었고, 애니메이션에선 크기가 바뀌기 까지나, 크기가 변한 상태에서의 속도감에 대해서 주의해야 했습니다.
특히 자이언트-맨이 물속에서 깨어나서 수면위로 떠오르며 부두로 돌아가는 샷에서는 자이언트-맨의 크기가 대략 90피트(27미터) 정도였어요.
이만한 크기의 캐릭터가 움직이는게 설득력이 있으려면 움직임이 상당히 느려야하죠. 누가봐도 속도가 느려진게 보이게끔요.
자이언트-맨이 움직이거나 손을 흔들고 팔을 감쌀 때 움직임의 범위는 동일하지만, 샷에서 보이는 사람들의 움직임에 비해선 훨씬 느리게 움직이게 되는겁니다.

자이언트-맨의 라이팅 작업에 대해서 더 말씀해주시겠어요?

자이언트-맨 뿐만 아니라 다른 크기의 앤트맨, 와스프의 라이팅에 있어서 가장 큰 챌린지는 이 캐릭터들의 헬멧이 구 형태의 크롬 재질이라는 점이었어요.
특히 자이언트-맨의 경우엔 표면에 반사되는 부분이 넓어서 표현하기가 어려운 어셋이었는데, 그저 헬멧에 반사되는 것이 아니라 촬영본과 잘 어울리게끔 하기 위해서 카메라 앞뒤로 환경을 제작하고 자이언트-맨의 형태에 맞게끔
라이팅을 진행하는 거였습니다.
구 형태의 물체에 반사가 어떻게 될 지 예측하는건 쉬운게 아니라서 때론 구름이나 건물과 같이 헬멧에 반사될 수 있는 요소들을 수작업으로 반사시켰어요.
이게 이런 샷에서 우리가 만든 어셋에 대해 만족하고 반사가 잘 드러나게 하기 위한 유일한 방법이었습니다.

자이언트-맨과 여객선간에서 일어나는 Water Simulation의 인터렉션은 어떻게 했나요?

Scanline에선 제가 입사하기 훨씬 전부터 다양한 프로젝트에서 Water Simulation을 작업해왔는데, 이 회사엔 오랫동안 아티스트에게 신뢰받아 왔으며시뮬레이션과 렌더링에 있어서 빠른 연산을 해주는 Flowline 이라는 Inhouse 소프트웨어가 있습니다.
저는 창의적인 관점에서 접근할 수 있도록 기본적인 룩과 방향성을 감독하기 위해 여러 방법을 시도해보지만, 이런 문제를 해결하고 자이언트-맨에 대한 알맞은 Water Simulation을 만들 낸 건은 Flowline을 다루는 아티스트들의 재능이죠.
작은 물방울들은 눈에 띄지 않고 그렇다고 큰 물줄기의 형태는 억지스러워 보일 수 있어서 시퀀스 전체에 걸쳐서 물이 자연스럽게 이어지는 것처럼 보이게 하는 것도 저희가 염두해야 할 점이었습니다.
또한 우리는 자이언트-맨의 몸에서 계속 물이 흐르는걸 원치 않았고, 계속 물을 흘러내리게 하는 것 보다 자이언트-맨의 슈트 몇몇 군데에서 물이 고여있게 해서 좀 더 리얼리티하게 만드는 것을 목표로 했습니다.

샌 프란시스코와 부두를 제작한 것에 대해 좀 더 디테일하게 설명해주시겠어요?

우리가 맡았던 것이 대부분 샌 프란시스코와 부두에서 일어나는 장면들이었는데, 자이언트-맨, 작은 앤트맨, 개미, 갈매기 등이 복합적으로 나오는 장면들이었어요.
레스토랑의 식당 시퀀스를 작업했던 것과 마찬가지로 우리는 부두에서 일어나는 몇 안되는 마이크로 샷을 제작하기 위해서 하나하나 일일히 샷을 재구성 했습니다.
부두에서 나오는 갈매기는 풀CG이고 애니메이션 작업을 위해서 날개의 움직임에 따라 깃털이 문제없이 움직일 수 있도록 리깅을 했어요.
그리고 자이언트-맨이 물에 빠지는 시퀀스가 있는데 여기서 수중 부분은 전부 저희가 만들어낸 CG 환경이었고, 물 속에서 진행되는 샷은 와스프의 눈을 제외하고 99%가 CG였습니다.
와스프의 얼굴은 페이셜 모션 캡쳐 장비를 이용해서 촬영한 뒤 CG로 제작한거죠.

부두와 여객선에 있는 사람들은 어떻게 인원을 채웠나요?

몇 개의 마이크로 샷에서는 다른 플레이트의 배경에 있는 엑스트라들을 로토스코핑으로 잘라낸 후 카드에 프로젝션을 시켜서 샷에 적용해서 좀 더 그럴싸해 보이게 만들었고, CG 갈매기를 추가히고 그 외 대부분 것들은 카메라에 찍혀있었습니다.
단, 시퀀스가 이어지는 것을 위해서 어느 샷을 기준으로 하여 구름을 제거하거나 추가하는 등, 많은 샷들의 하늘을 바꾸긴 했습니다.

양자영역을 제작한 것에 대해 디테일하게 설명해주시겠어요?

양자영역에 대한 시퀀스는 프로덕션 스케줄의 마지막 달에 우리에게 왔습니다.
우리는 전작인 1편에서 양자영역에 대한 일부를 본 적이 있었지만, 이번 프로젝트의 양자영역은 완전히 새로워야 했습니다.
매우 컬러풀하고 에너지가 넘쳐야하죠. 아티스트들이 양자영역 시퀀스의 분위기와 색감을 찾아낼 수 있게 우리는 2D와 3D 전부에 대한 레퍼런스를 찾았고, 컴포지터이자 VFX 아트디렉터인 Claas Henke가 많은 도움이 되었어요.
최종적으로 2D 트릭과 타이밍을 세세하게 애니메이팅을 한 라이팅 소스의 조합으로 샷이 만들어졌습니다.
여기서 까다로웠던 부분은 앤트맨의 슈트에 복잡하게 반사되는 퀄리티를 신경쓰는 것이었어요. 슈트에 반사되는 건 양자영역 환경의 변화에 따라서 극적으로 변화가 이루어져야 하기에 전체 작업을 조금씩 수정해야 했습니다.

어떤 시퀀스 혹은 샷이 가장 복잡했나요? 복잡했다면 그 이유는 뭔가요?

우리에게 가장 큰 챌린지는 소니 버치, 고스트와 여객선의 사람들이 자이언트-맨과의 인터렉션(상호작용)이 있는 장면이었습니다.
샌 프란시스코와 부두의 시퀀스는 촬영이 한 주 동안 이루어졌는데, 그 한 주 동안에 날씨 변화가 극심했어요.
처음 촬영을 한 이틀동안은 대부분의 부두 장면을 찍었는데 이 땐 하늘이 푸르고 직사광선이 내리쬐는 날씨였는데 소니 버치와 고스트, 여객선에 해당하는 촬영을 한 날은 완전히 흐린 날이었습니다.
순전히 운이 없었던거죠.
여기서 문제는 저희와 DI 컬러리스트들이 근본적으로 다른 환경에서 찍힌 장면들을 교묘하게 섞어서 마치 같은 공간처럼 보이게 하는 방법을 찾는 거였어요.
플레이트의 라이팅을 바꾸는 것은 가장 힘든 것이며 제대로 하기 위해서 보통 시간이 많이 걸리기도 하고 다른 하늘을 가진 샷들의 중간정도를 찾아내서 모든 샷이 맞아보이게 하는 것은 쉬운 일이 아니었어요.
그래도 직접적으로 DI를 하면서 작업을 했기에 평소보다 더 빠르게 작업이 가능했죠.
결국 저희는 이 문제를 성공적으로 해결하게 됐습니다. 하지만 얼마나 많은 일이 있었는지는 사람들이 알 수 없을거에요.

잦은 야근을 하게 된 원인이 있나요?

고맙게도 그렇게 야근이 많진 않았어요. 제가 이전 질문에서 설명한 것처럼 스케줄의 막바지에 양자영역에 대한 작업을 했지만 스케줄에 크게 변동은 없었고 잠을 자는덴 큰 무리가 없었습니다.

가장 맘에 들었던 샷이나 시퀀스가 뭐였나요?

우리가 한 일이 많아서 어떤 샷 하나로 단정지을 순 없지만, 여객선이 나오고 자이언트-맨이 물 속에서 나오는 클로즈업 장면을 가장 좋아하는데,
자이언트-맨이 물에서 나오는 첫장면은 스튜디오에서 진행하는 모든 마케팅에서 특집으로 실리기도 했습니다.
그리고 레스토랑의 부엌에서 싸우는 샷중에 와스프가 날아오는 칼을 타고 달리는 슬로우 모션 샷이 있는데 우리가 노력한 와스프의 움직임과 날개의 노고가 잘 담겨서 마음에 들었습니다.
또 라이팅 퀄리티와 샷의 분위기 때문에 마음에 드는 수중 샷도 몇개 있습니다.

이 프로젝트에서 가장 기억에 남는 것은 무엇인가요?

저는 이 프로젝트의 전반적인 분위기와 수준 높은 크리에이티비티 함을 상당히 즐겼어요.
좀 더 편한 마음으로 즐길 수 있는 코미디가 있어서 특히 재미있었고요.
결과적으로 VFX 제작사와 스튜디오가 서로 간에 영화를 만들며 했던 기존의 경험을 깨부수고 새로운 경험을 할 수 있었습니다.
Stephane 그리고 Susan과 함께 일을 한 건 정말 멋진 일이었고 우리가 함께 웃으며 만들어낸 결과를 소중히 여깁니다.

이 프로젝트를 얼마동안 작업했나요?

거의 1년, 11개월 정도 했습니다. (7월 17일 부터 6월 18일 까지)

VFX 샷은 얼마나 있었나요?

총 400컷을 작업했지만, 편집이 되면서 최종적으로 저희가 넘긴건 320컷입니다.

촬영팀의 규모가 얼마나 되나요?

Scanline에서 촬영현장에 참여한 것은 저와 포토그래퍼인 Tim Donlevy였어요. 이 프로젝트를 위해 Scanlin에서 약 250명 가량이 참여를 했습니다.

다음 프로젝트는 무엇인가요?

아직 말하기엔 너무 이르네요!