코딩은 한 줄도 못 하는 사람입니다. AI한테 말로만 시켜서 영상을 만들어 보는 중이고요. 이번에는 Hailuo AI(미니맥스)를 써볼까 하고 알아봤는데, 그 전에 제가 다른 AI 영상 툴에서 먼저 깨진 얘기부터 하는 게 맞을 것 같습니다. 결론부터 말하면, 툴을 바꾸기 전에 제가 뭘 잘못하고 있었는지를 먼저 알아야 했어요.

곰을 걷게 했더니 다른 곰이 됐다

처음에 하려던 건 단순했습니다. AI로 곰 캐릭터를 하나 만들고, 그 곰을 걷게 하는 것. 그게 다였어요.

↑ 흰 배경에서 양팔 벌리고 웃는 갈색 곰.

그런데 곰을 걷게 시켰더니 5초 만에 다른 곰이 됐습니다. 시작 프레임의 곰하고 끝 프레임의 곰이 눈매도, 몸통 비율도 달랐어요. 걷는 게 아니라 곰이 중간에 다른 곰으로 바뀌는 영상이 나온 거죠.

↑ 재생되는 곰 걷기 애니메이션 클립.

이때 제가 쓴 건 Hailuo가 아니라 힉스필드하고 Kling이었습니다. 이 얘기를 먼저 하는 이유는, 뒤에서 Hailuo 얘기를 할 때 “그럼 Hailuo면 이게 풀렸겠네”라고 제가 지어내지 않으려고요. 겪은 건 겪은 툴로만 말하겠습니다.

크레딧은 그냥 탔다

걷는 영상 하나에 7.5크레딧이 소각됐습니다. 곰이 바뀌는 걸 보고 관절을 좀 더 자연스럽게 해달라고 AI한테 세 번을 다시 빌었는데, 매번 다른 곰이 나왔어요.

그다음엔 스프라이트로 뽑는 자동화(autosprite)를 6번 돌렸는데 6번 다 실패했습니다. 다행히 실패한 생성은 자동 환불이 돼서, 이 6번은 크레딧이 안 나갔어요. 이건 나중에 알았는데, 실패가 공짜라 실험을 겁 없이 돌릴 수 있었던 게 그나마 위안이었습니다.

왜 딴 곰이 됐나 — i2v가 하는 일을 뒤늦게 이해함

한참 헤매고 나서야 원인을 알았습니다. 제가 쓴 방식은 이미지를 영상으로 만드는 i2v(image-to-video)였는데, 이 방식은 제가 준 시작 이미지와 끝 이미지 사이를 AI가 알아서 채웁니다.

문제는 제가 시작 곰하고 끝 곰을 서로 다르게 줬다는 겁니다. 그러니 AI는 그 둘 사이를 “곰이 변신하는 과정”으로 메꿔버린 거예요. AI가 고장 난 게 아니라, 제가 변신을 시켜놓고 걷기를 기대한 셈이었습니다.

↑ 나란히 선 갈색 곰 두 마리.

진짜 원인은 하나 더 있었어요. 저한테는 곰의 여러 각도가 없었습니다. 정면 하나만 들고 옆모습·뒷모습을 AI한테 매번 새로 상상하게 시키니, 각도마다 딴 곰이 나왔던 거죠. 캐릭터 일관성의 답이 프롬프트를 더 잘 쓰는 게 아니라, 여러 각도를 미리 고정한 턴어라운드(참조 사슬)였다는 걸 그때 알았습니다.

↑ 0·45·90·135·180도 다섯 각도로 정리한 곰 턴어라운드.

그러고 나서 Hailuo AI를 알아봤다

일관성 문제를 겪고 나니, 다른 영상 AI들은 뭐가 다른지 궁금해졌습니다. 그중 하나가 Hailuo AI였어요. 미니맥스(MiniMax)라는 곳에서 만든 영상 생성 툴입니다(공식 사이트).

여기서부터는 제가 직접 곰을 넣어서 테스트한 게 아니라, 알아보면서 확인한 내용입니다. 겪은 것과 구분해서 적을게요.

• 모델이 텍스트로 영상을 만드는 기본형(T2V-01)과, 카메라 움직임을 제어하는 버전(T2V-01-Director)으로 나뉜다고 여러 소개 글에 적혀 있었습니다. 카메라를 따로 제어한다는 부분은 제 곰처럼 “걷는 동안 화면이 어떻게 움직이나”가 중요한 경우엔 관심이 갔어요.
• 무료로 써볼 수 있는 구간이 있다고 안내돼 있었습니다. 저처럼 실패를 많이 내는 사람 입장에선 유료로 넘어가기 전에 감을 잡는 데 쓸 수 있겠더라고요.
• 클립 길이가 짧다는 얘기가 있었습니다. 기본 클립이 10초 안팎이라, invideo 같은 다른 서비스에 붙여서 길게 만든다는 소개도 봤어요(invideo 소개 페이지에서도 길이 관련 언급이 나옵니다). 다만 정확히 몇 초까지인지, 립싱크가 되는지는 소개 사이트마다 말이 조금씩 달라서 저는 확정 못 했습니다.

여기서 솔직하게 하나 짚고 갈게요. Hailuo를 검색하면 hailuo-ai.ai, hailuo-ai.org처럼 이름이 비슷한 사이트가 여러 개 나오는데, 어디가 공식이고 어디가 소개용인지 헷갈렸습니다. 저는 미니맥스가 운영하는 hailuoai.com을 기준으로 봤고, 나머지에서 본 수치는 그대로 믿지 않았어요.

그래서 Hailuo가 내 곰 문제를 풀어줄까

아직 모릅니다. 이건 제가 확인 못 한 부분이라 단정 안 할게요.

다만 제가 겪은 걸로 미루어 보면, 툴을 Hailuo로 바꾼다고 곰이 저절로 안 변할 것 같진 않습니다. 제 문제는 툴이 아니라 입력이었으니까요. 여러 각도가 없는 상태에서 i2v를 돌리면, 그 툴이 Hailuo든 Kling이든 사이를 자기 상상으로 채우는 건 비슷할 거라고 봅니다. 이건 어디까지나 제 추측이고요.

그래서 Hailuo를 붙이더라도 순서는 같을 것 같아요. 곰의 턴어라운드(정면·측면·후면)를 먼저 고정하고, 시작·끝 이미지를 같은 곰으로 맞춘 다음, 카메라 제어가 된다는 T2V-01-Director 쪽으로 걷기를 시켜보는 것. 이렇게 하면 “변신”이 아니라 “걷기”가 나오는지, 그때 크레딧이 얼마나 타는지를 봐야 결론이 날 것 같습니다.

남은 것 / 다음 계획

지금 확정된 건 두 가지입니다. 하나, 제 곰이 딴 곰이 된 건 툴 탓이 아니라 각도가 없어서였다는 것. 둘, Hailuo AI는 제가 아직 같은 테스트로 돌려보지 않았다는 것.

다음엔 Hailuo 무료 구간에 제 곰 턴어라운드를 그대로 넣어서, Kling에서 6번 깨졌던 걷기를 다시 시켜볼 생각입니다. 같은 곰으로 나오는지, 클립 길이가 실제로 몇 초까지 되는지, 립싱크가 되는지를 직접 확인해서 다음 글에 크레딧 장부까지 그대로 적겠습니다. 확인 못 한 건 그때도 확인 못 했다고 쓸게요.

새 글 나오면 알려드릴까요?

비개발자가 AI로 직접 만들면서 겪은 것만 적습니다. 잘된 것도, 막힌 것도요.

받아보기

스팸 안 보냅니다. 언제든 수신거부 가능합니다.