Seedance 2.0으로 모션 전이가 되는지 직접 돌려봤습니다

제가 알아보려던 건 하나였어요. 제가 찍은 실사 영상의 동작을, AI로 만든 캐릭터에 그대로 옮길 수 있느냐. 흔히 모션 전이라고 부르는 그거요. 마침 쓰는 계정에 Seedance 2.0이 무제한으로 걸려 있어서, 돈 안 쓰고 되는지부터 확인해 보기로 했습니다. 결론부터 적으면 엄밀한 동작 복제는 안 됐고, 동작의 큰 흐름은 재현됐고, 지금 상태로는 발행을 못 하겠다는 판정이 나왔어요. 아래는 무엇을 넣어서 무엇이 나왔는지, 어디서 막혔는지 그대로 적은 기록입니다. 2026년 8월 6일에 돌린 것이고, 크레딧은 한 푼도 안 썼습니다.

스펙에는 된다고 적혀 있습니다

먼저 문서 쪽 얘기부터 하죠. 저는 이 부분을 직접 검증한 게 아니라 읽은 것만 옮깁니다.

바이트댄스 공식 소개 페이지와 여러 소개 문서에는 Seedance 2.0이 텍스트·이미지·영상·오디오를 한 번에 받는 멀티모달 모델이라고 나와 있어요. 한 번 생성에 이미지 9장, 영상 3개(합쳐 15초), 오디오 3개까지 올릴 수 있다고 적혀 있고요. 그중 제가 확인하고 싶었던 항목이 이거였습니다 — 참조영상을 올리면 복잡한 안무나 카메라 무빙, 액션 시퀀스를 복제한다고, 상세한 프롬프트가 필요 없다고 돼 있더라고요.

바이트댄스 Seed의 Seedance 2.0 소개 페이지. 배경에 비치발리볼 영상이 재생되고 있다. ↑ 바이트댄스 Seed의 Seedance 2.0 소개 페이지. 배경은 비치발리볼 영상이다.

힉스필드 쪽 가이드 문서에는 참조 입력을 최대 9개까지 받고, 영상과 함께 소리가 같이 생성되며, 립싱크가 8개 이상 언어에서 된다고 적혀 있습니다. 다른 소개 페이지에는 최대 30초 길이까지 지원한다고 나와 있고요. GitHub에 올라와 있는 클라이언트 저장소 설명에는 2048x1080 60fps라는 숫자까지 적혀 있는데, 이 저장소가 공식인지는 제가 확인 못 했습니다. 그래서 숫자만 옮기고 판단은 보류할게요.

힉스필드 블로그의 Seedance 2.0 튜토리얼 글. 헤드라인 아래에 빗속 오토바이 사진이 있다. ↑ 힉스필드 블로그의 Seedance 2.0 튜토리얼 글. 헤드라인 아래는 빗속 오토바이 사진이다.

문서를 읽은 시점에서 제 관심은 딱 하나로 좁혀졌어요. “참조영상으로 모션을 복제한다”는 문장이 제 소재에서도 성립하느냐.

무제한 배지가 붙은 영상 모델은 하나뿐이었어요

돌리기 전에 계정부터 뒤졌습니다. 결제 없이 갈 수 있는 길이 몇 개인지 세어보려고요.

Create Video 모델 목록을 전부 열어봤는데, Featured에 15종, All models 쪽에 11종이 더 있었습니다. 그중 UNLIMITED 배지가 붙은 건 Seedance 계열 하나뿐이었어요. Kling 3.0도, Veo 3.1 Lite도, Grok Imagine도 전부 크레딧이었습니다.

조사 단계에서 “무료 후보”로 적어뒀던 Wan 2.2 Animate는 아예 없었어요. 검색창에 wan을 치니 2.7·2.6·2.5·2.5 Fast·2.2·2.2 Fast 6종이 나왔는데 무제한은 0개였고, anim으로 치니 No models found가 떴습니다. 후보 하나가 그 자리에서 사라졌죠.

재미있는 건 전용 모션 전이 UI는 이미 있다는 거였어요. /ai/video에 Motion Control 탭이 따로 있고, 슬롯이 “Add motion to copy”(영상 3~30초) + “Add your character”(얼굴·몸이 보이는 이미지) 두 개로 딱 갈라져 있습니다. 제가 하려던 그 작업 그대로예요. 그런데 그 탭에서 고를 수 있는 모델 7종이 전부 Kling 계열이고 Seedance가 없습니다. 생성 버튼에는 ✦7이 붙어 있었어요(720p 기준). Edit Video 탭은 ✦9였고요. 화면 위쪽엔 Credits are running low! Over 90% already used라는 경고가 떠 있었습니다. 즉 정식 모션 전이 경로는 존재하는데, 제 계정으로는 못 누르는 상태였던 거죠.

그래서 Seedance 2.0 컴포저로 갔습니다. 여기 업로드 칸은 “Upload media — Image, Video or Audio”라고 돼 있고, 파일 선택 창이 mp4를 받습니다. 영상 입력 자체는 됩니다. 문제는 그 영상을 모델이 무엇으로 취급하느냐였어요.

시험 3종을 돌렸습니다

소재는 제가 가지고 있던 실사 5.16초짜리였어요. 손이 화장품 튜브를 쥐고 손등에 짜서 문지르는 영상이고, 얼굴은 안 나옵니다. 파일 정보를 보니 1920x1080인데 displaymatrix rotation 90°가 걸려 있는 세로 영상이었습니다. 아이폰으로 세로로 찍으면 이렇게 저장되죠.

세 가지 조합으로 넣었습니다.

  • T1 — 참조영상만 넣고 “이 동작을 복제하라”
  • T2 — AI 인물 이미지 + 참조영상 같이
  • T3 — 참조영상 + “마지막 프레임에서 이어서 가라”

나온 결과를 제가 쓰는 채점 스크립트로 재봤어요. 초당변화라고 부르는 값인데, 프레임 사이 픽셀이 얼마나 바뀌는지를 초 단위로 잰 겁니다. 움직임이 없으면 낮게 나와요.

넣은 것 나온 규격 초당변화
기준 원본 실사 세로 5.16초 29.1
T1 참조영상만 3840x2160 가로 8.04초 12.1
T2 인물이미지+참조영상 2160x3840 세로 8.04초 9.3
T3 참조영상+“이어가라” 3840x2160 가로 8.04초 23.9

T1을 처음 봤을 때 좀 당황했어요. 동작을 복제하라고 했는데 거의 정지 화면이었습니다. 튜브를 쥐지도 않아요. 초당변화 12.1은 원본 29.1의 절반도 안 되는 값이고요.

T2는 달랐습니다. 튜브를 쥐고 → 손등에 짜고 → 튜브가 화면 밖으로 나가고 → 문지르는, 동작의 순서가 살아 있었어요. 프레임 단위로 같지는 않은데 “무슨 동작인지”는 옮겨졌습니다. 얼굴도 0.3초 지점과 7.5초 지점이 같은 사람이었고요.

막힌 곳 ① 라벨 글씨가 다른 글자로 바뀌었습니다

여기서부터가 진짜 문제였어요.

T1 결과물의 튜브를 확대해 봤습니다. 원본 라벨에 1.05oz라고 적힌 자리가 **1.08oz**로 나와 있었어요. 한글 브랜드명은 “파머시안”이 **“짜아시안”**으로 바뀌어 있었고, 용량 표기는 아예 “ㅋ0몰” 같은 깨진 글리프가 됐습니다.

화장품 표시사항이 다른 숫자로 나오는 건 손볼 수 있는 결함이 아니에요. 그 자체로 발행 불가선입니다.

T2와 T3에서는 글씨가 위조되는 대신 뭉개졌는데, 이것도 쓸 수 있는 건 아니고요. 세 시험 전부에서 작은 글씨가 살아남지 못했습니다. 3/3이면 우연이 아니라 성질이라고 봐야죠.

반대로 보존된 것도 있었어요. 튜브의 형태와 큰 로고는 세 결과 모두 유지됐습니다. 로컬에서 LTXV로 같은 소재를 돌렸을 땐 제품이 튜브에서 항아리 모양으로 뭉개졌었는데, 그거에 비하면 확실히 나아진 거예요. “정체성을 지키면서 움직이게 한다”는 요구는 형태는 되고 글씨는 안 되는, 절반 상태였습니다.

막힌 곳 ② 손가락이 무너졌어요

T2는 4.5초 지점을 넘어가면서 손가락이 무너졌습니다. T3는 더 빨라서 2.0초 프레임에서 이미 손가락이 6개 이상으로 보이고, 밑동이 손바닥에 안 붙어 있었어요.

공통점이 있었습니다. 두 손이 겹치는 구간이었어요. 손등에 짠 걸 다른 손으로 문지르는 동작이라 손이 겹칠 수밖에 없는데, 그 구간마다 재현됐습니다. 이것도 3/3이었고요.

T2에서 그나마 쓸 만한 연속 구간을 잘라보니 대략 0.85초부터 4.2초까지였습니다. 8초를 뽑아서 3.4초를 건진 셈이죠.

막힌 곳 ③ 세로로 찍었는데 가로로 나왔습니다

앞의 표에서 T1과 T3만 가로로 나온 게 눈에 걸리실 텐데요. 원본에 걸린 rotation 90° 메타데이터를 Seedance가 무시하더라고요. 회전 플래그를 안 보고 1920x1080이라는 숫자만 읽은 것 같습니다.

T2만 세로로 나왔는데, 같이 넣은 캐릭터 이미지가 9:16이라 그 비율을 따라간 것 같습니다. 세 번 중 한 번뿐이라 단정은 못 하겠어요. 어느 쪽이든 숏폼에 쓰려면 가로로 나온 결과물은 그 자리에서 버려야 합니다.

그래서 다음 촬영부터는 업로드 전에 회전을 파일에 구워서 넣기로 했어요. ffmpeg transpose로 재인코딩하면 되는 부분이라 크게 어려운 건 아니었습니다.

동작을 살린 건 참조영상이 아니라 프롬프트였어요

T1과 T3를 나란히 놓고 보다가 알아챈 게 있습니다. 넣은 영상은 완전히 같습니다. 프롬프트만 “모션을 복제하라”에서 “마지막 프레임에서 이어가라”로 바꿨어요. 그런데 초당변화가 12.1에서 23.9로 뛰었고, 배경과 질감이 원본에서 이어졌습니다.

여기서 제 해석은 이렇습니다(확정은 아니고 T1·T3 대조에서 나온 추정이에요). Seedance 2.0의 영상 슬롯은 모션 소스가 아니라 장면·스타일 참조로 동작한다. 문서에 적힌 “안무를 복제한다”와 제가 본 결과가 안 맞는 이유도 여기 있는 것 같아요. 동작을 살리는 레버는 영상 쪽이 아니라 프롬프트의 “연장” 프레이밍이었습니다.

돌리면서 걸린 함정들

계정 쓰면서 걸린 것도 적어둘게요.

새 탭을 열거나 리로드하면 Unlimited 토글이 꺼집니다. 꺼진 상태로 Generate를 누르면 크레딧이 나가요. 저는 생성 직전에 ✦208이 176으로 줄어드는 표시를 보고 알아챘습니다. 이후로는 누르기 전에 토글을 눈으로 확인했어요.

무제한은 동시 생성 1건입니다. 병렬로 여러 개 돌리는 건 유료 부스트 쪽이고, 무제한 대기열은 1건당 4~12분 걸렸어요. 세 개 돌리는 데 시간이 꽤 갔습니다.

업로드마다 심사가 붙어요. 권리·초상 동의에 체크해야 하고, 올린 파일마다 자동 검사(Check eligibility)를 통과해야 넘어갑니다. 손만 나오는 소재라 통과는 됐는데, 사람 얼굴이 들어간 소재면 여기서 한 번 더 생각해야 할 것 같아요.

지금 쓸 수 있느냐

지금 그대로는 못 씁니다. 라벨 표시사항이 다른 글자로 나오고 손가락이 무너지는 건, 제품 소재에서는 하나만 있어도 못 내보내는 결함이니까요.

제한적으로 쓴다면 이런 형태가 될 것 같습니다. 아직 검증 안 한 계획이라 추정으로 적어요.

  1. 라벨이 화면에서 작게 잡히는 컷은 AI에 안 맡긴다. 근접컷은 실사로 따로 찍어 얹는다.
  2. 두 손이 겹치는 구간은 애초에 버린다.
  3. 세 경로 중 T2 방식(캐릭터 이미지 + 참조영상)만 세로·얼굴 일관·동작 흐름을 동시에 만족했으니, 여기서 출발한다.

다음으로 할 건 재촬영입니다. 이번 시험에서 나온 조건으로 소재를 다시 찍으려고요 — 세로 9:16에 회전을 구워서, 4~15초, 두 손 겹치지 않는 구도, 라벨이 화면 높이의 1/3 이상으로 잡히는 구간을 2초 이상, 그림자 적은 확산광에 무지 배경. 얼굴은 안 나와도 됩니다. AI 캐릭터를 얹을 거라서요.

정식 모션 전이 경로인 Kling Motion Control은 ✦7이 붙어 있고 제 크레딧은 90% 넘게 소진된 상태라, 충전할지 말지는 아직 안 정했습니다. 외부 요금으로 Kling 5초 1080p가 0.63달러쯤, Runway Act-Two가 초당 0.05달러라는 수치를 봤는데 제가 직접 결제해 확인한 건 아니라서 참고로만 적어둡니다.

한 가지 더 남았어요. 이번엔 화면 붙잡고 손으로 돌렸는데, 같은 시험을 자동으로 반복하려면 API 쪽을 봐야 합니다. 그건 아직 안 열어봤습니다.