생성형 AI로 3D 모델링 만드는 법 + 사이트 4종 리뷰 (AI -> 3D / 2D -> 3D)
인터렉티브 콘텐츠를 만드는 입장에서 3D 모델링은 모든 프로젝트에 있어 필수적이다. 따라서 나는 주로 3D 모델링을 유니티 에셋스토어에서 사거나, 무료 모델을 활용해서 제작해왔다.
그런 나에게 요즘 새로운 궁금즘이 생겼으니, 바로 생성형 AI (미드저니, stable diffusion등) 으로 이미지는 정말 잘 만들 수 있는데, 3D 모델은 어떨까? 하는 것이었다.
마법처럼 완벽한 3D 모델까진 아니라도, 간단하게 다듬어서 내 콘텐츠 속 주변 사물로 활용해 보고 싶다.
그래서 조금의 검색 끝에 2D 이미지나 텍스트를 기반으로 3D 모델을 만들어주는 몇 개의 사이트를 찾았고, 여기에 미드저니에서 생성한 이미지를 넣어 테스트를 해봤다.
이 글을 읽는 사람들로 하여금 어느 사이트에서 하는게 좋을지 약간의 팁이 되었으면 한다. :)
1. 미드저니(midjourney)에서 이미지 생성하기/가져오기
먼저 어떤 이미지를 3D로 만들어 볼까 하다가 미드저니로 이미지를 생성해 보기로 했다. 실제로 미드저니가 이런 컨셉을 정말 잘 뽑는다.
직접 이미지를 만들어 보고 싶은 사람들은 결제를 해서 이용하면 되겠지만, 나는 이전에 결제 이후로 미드저니의 검색(explore) 기능을 주로 사용하고 있다.
https://www.midjourney.com/home/
미드저니 사이트에 로그인을 하고 나면, 내가 지금까지 생성한 이미지와 좌측 메뉴를 보면 Explore가 있다. 한번 눌러보자.
버튼을 클릭하면 다른 사람들이 생성한 이미지들을 검색하고 다운로드 할 수 있는데, 심지어 추가 결제도 필요하지 않다. 나는 주로 프롬포트도 입력하기 귀찮고, 여기서도 충분히 원하는 이미지를 잘 찾을 수 있기 때문에 주로 여기를 사용하곤 한다.
나는 로우 폴리곤 스타일(적은 폴리곤 수로 이루어진)의 여우 모델링을 찾기로 해봤다. 검색 바에 'low poly fox'라고 쳐봤다.
그럼 다음과 같이 많은 이미지들이 나오는데, 나는 이 여우가 귀여워서 이걸로 3D 모델을 만들어 보려고 한다.
(참고로 정면 이미지가 생성에 유리하다고 함)
이미지를 클릭하면 다운로드 받을 수 있고, 그 이미지를 뽑을 때 어떤 프롬포트를 사용했는지, 부모 이미지는 무엇인지, 유사한 이미지는 뭐가 있는지 등도 같이 볼 수 있다.
이제 다운받은 이 여우 이미지를 기반으로 총 3가지 사이트에다가 직접 넣어서 결과물을 비교해 보겠다.
2. Artefacts.ai 사용해보기
첫 번째로 사용해볼 사이트는 Artefacs.ai이다. 유튜브에서 관련 영상을 서칭해 보다가 찾았다.
로그인을 하고 나면 다음과 같은 화면이 나오는데 커뮤니티 피드들에 마우스를 가져다 대면 다른 사람들이 해당 이미지를 넣고 만든 모델들을 볼 수 있고, 만들 때 넣은 프롬포트 확인 할 수 있다.
이제 내 모델을 만들어 볼 차례다. 기본적으로 회원가입을 하게 되면 20 크레딧을 주고, 매일매일 10 크래딧을 더 획득할 수 있다. 좌측 메뉴에서 A3-3D Generator을 클릭해보자. 맨 상단에는 내가 현재 가진 크래딧이 나온다.
A3를 눌러서 이동하면 다음과 같은 화면이 나온다.
나는 아까 미드저니에서 받은 여우 이미지를 기반으로 3D모델을 생성할 것이기 때문에, image to 3D를 누르고 좌측 이미지 넣는 칸에 이미지를 넣고 이미지 설명칸에는 'low poly baby fox is sitting'이라고 적었다.
그리고 하단 화살표를 클릭해보면 다음과 같은 두가지 선택지가 나온다.
이제 Generate 버튼을 누르면 3D 모델을 생성할 수 있다.
나는 비교를 위해서 두가지 모두 해볼건데, 결과를 요약하면 다음과 같다.
Dream Gaussian : 크레딧이 적게 든다, 빠르게 결과가 나오고 3D 모델이 아니라 미리보기 영상만 출력된다. 어떤 식으로 이미지가 나올지 아이디에이션이나 프리뷰 용으로 있는 듯하다.
결과물:https://app.artefacts.ai/s/6539D7F744FEB
정면만 보면 그럴 듯해 보이지만 , 후면을 보게 되면 꼬리가 두개 생기고 코가 변형되는 듯 퀄리티가 낮다. 그리고 결정적으로 영상밖에 다운을 받지 못한다. 비추천
Ultra : 약 10 크레딧 정도가 소모되고, Ultra를 클릭하면 여러가지 옵션등을 더 커스터마이징 할 수 있다. 시간이 상대적으로 오래걸리며 (나의경우 약 30분) 실제로 모델을 다운받을 수 있다. 모델의 퀄리티도 높다.
결과물:https://app.artefacts.ai/s/6539D7F744FEB
정면 퀄리티가 높다. 하지만 왠지는 모르곘지만 꼬리 방향이 반대로 되어 있다.
그래도 전체적인 퀄리티가 높고, 꼬리같은 경우에도 하나가 잘 달려있다. 그리고 우측 하단의 다운로드 버튼을 누르면 Asset형태로 모델링 파일을 받을 수 있다. 공유하겠다.
이정도 퀄리티면 후작업 조금만 하면 내 콘텐츠에 넣기 충분하겠다 싶은 생각이 든다. 추천
만약 모델링을 더 뽑고 싶은 경우 기본 크레딧이 부족할 수 있는데, 가격같은 경우에는 다음과 같다.
3. meshy.ai 사용해보기
Meshy | 3D AI Generator
Meshy is a 3D AI toolkit that enables users to effortlessly transform text or 2D images into 3D assets. Unleash your creativity with Meshy - the future of 3D content creation.
www.meshy.ai
다음으로 사용해볼 사이트는 Meshy.ai이다. 여기도 공짜로 이용할 수 있다.
Try meshy for Free라는 버튼을 클릭해서 이동하면 다음과 같은 화면이 나온다.
전체적인 구성은 이전 사이트와 비슷하다. 아래 사람들의 예제도 구경할 수 있다.
우리가 필요한 메뉴는 좌측에 있다. Image to 3D이다.
이외에도 AI 텍스처링(내가 가진 모델에 텍스처를 AI가 입혀줌), Text to 3D(텍스트로 3D모델 만들기)등의 기능도 있으니 관심 있으면 써보길 권장한다.
여기도 생성할 때마다 크레딧이 소모되는데, 약 25크레딧 정도 소모된다.
매일매일 200크레딧씩 채워준다고 한다. 무료치고 많이 주는 것 같다.
이제 모델링을 만들어보자. Image to 3D 메뉴로 이동해서 우측 초록색 요 버튼을 누르면 다음 창으로 이동한다.
누르면 이 창으로 이동하는데, 표시한 좌측 큰 네모를 누르면 이미지를 선택할 수 있다. 아까 미드저니에서 가져온 이미지를 넣어보겠다.
다음과 같이 이미지를 넣어주고, 이름도 설정해 주었다. Generate PBR Map을 체크하면 모델링 mesh 파일하고 기본 색상 텍스처 외에도 PBR Maps (metallic, roughness, normal) 을 함께 자동으로 만들어준다. 체크하자.
그러고 하단의 Generate 버튼을 눌러 모델링을 시작해보자.
예상 시간은 1분이고 약 20크레딧이 누르면 소모된다고 써있다.
결과물:
몇분 기다리면 다음과 같이 모델링이 완성된다. 하단에 아까 체크해서 생성된 PBR 파일들도 확인할 수 있다.
우측에 있는 초록색 다운로드 버튼을 통해 파일들을 다운받을 수 있다.
정면 퀄리티는 나쁘지 않았지만, 역시 안보이는 부분은 미흡하게 표현되었다.
퀄리티적으로 봤을 땐 이전 사이트의 Ultra가 훨씬 정교하게 묘사가 되었고, 이 사이트는 가격이 가성비가 좋은 장점이 있다.
이 사이트에서 더 잘되는 모델도 있을 수 있으니 여러가지 이미지를 넣으면서 테스트해보길 바란다.
4. 3d.scm.ai 사용해보기
다음으로 사용해볼 사이트는 3d.csm.ai이다.
접속을 하게 되면 여타 사이트들 같이 사람들의 결과물을 확인 할 수 있다. 하나 봐보자.
오 퀄리티가 괜찮은 것 같다. 이제 이 사이트의 최대 장점이 나오는데, 바로 다른 사람들의 이런 모델을 우측 Export Mesh를 누르면 바로 다운받을 수 있다는 것이다.
그리고 두번째 장점은 바로 위 이미지처럼 좌측 이미지같은 샘플 이미지를 한장만 넣어도, 이 사이트의 AI가 알아서 우측 이미지들처럼 배경없앤 정면, 좌 후 측 상단 이미지를 순식간에 만들어준다. 이 이미지들은 실제로 크레딧을 내고 모델링을 시작하기 전부터 다운받을 수 있기에 필요시 다운받아서 다른 서비스에서도 사용할 수 있다.
이제 이 사이트에서 로우폴리 여우 모델링을 진행해보겠다.
좌측 상단의 Generate 3D Model 버튼을 누르게 되면, 업로드 이미지 팝업창이 뜬다. 우리가 받은 이미지를 넣어보자.
이미지를 넣으면 다음과 같이 우리의 여우 이미지로부터 5개의 이미지를 만들어 줬다. 우측 위의 모델 버전을 선택하고(나는 1.1로 했다) Generate버튼을 누르면 생성이 시작된다.
이 사이트는 총 4단계로 모델링이 진행되는데, 2번까지는 지금 살펴보는 단계고, 3번은 모델링이 일부 진행된 상태를 보고 더 진행할 지 말지 선택하는 단계다. 기다리고 있으면 Preview Model까지 진행이되고, 그 상태에서 Refine 버튼을 누르고 조금 더 기다리면 최종 결과가 나온다.
결과물:
정면 퀄리티는 조금 아쉽지만, 전체적으로 로우 폴리곤의 느낌이 살아있고, 발, 꼬리 등 정확도가 높다는 느낌이다.
5. 결론
아직 3D 모델링을 완벽하게 할 수 있는 생성형 AI는 찾아보기 힘들었다.
그래도 여러가지 AI들을 시도해보니 각자 장단점이 보였고 개인에 취향과 판단에 따라 선택해서 사용하면 되겠다.
모두 후처리 해야하는건 똑같기에 약간의 3D 모델링 능력만 있으면 활용하기는 굉장히 좋을 것 같다.
다음 포스팅에서는 AI로 휴머노이드 모델을 만들고 AI리깅을 통해 애니메이션 까지 입혀보는 것을 포스팅 해보겠다. 끝
6. 여담
이 포스팅을 쓰기 위해서 열심히 AI 3D 모델링 서비스를 찾아보던 중 재밌게도 정말 높은 가격이지만 엄청나게 좋은 퀄리티로 모델링을 해주는 사이트를 발견하였다. 그래서 이건 도저히 AI가 한게 아니라는 퀄리티고 가격도 정말 비싸서 찾아 본 결과,,
AI인척 하고 사람이 직접 작업하는 거라고 한다 ㄷㄷ..
AI인척? 하는 사이트 (진짜 AI면 이건 인류의 발견이다)
https://www.app.kaedim3d.com/dashboard
Kaedim App
Kaedim's machine learning and in-house art team combine to deliver production-quality assets in minutes.
www.app.kaedim3d.com