AI 영상 생성 분야 ( Runway ML, OpenAI의 Sora, Luma, Pika . Hotshot )

 

 

 

 

크리AI티브 라이프로거입니다.

AI관련 라이프스타일에 대한 진정성을 느끼게 됩니다.

인터넷 즉 온라인을 생각해보면 TEXT , IMAGE , MOVIE 였습니다. 거기에 링크가 인터넷에 대한 확장이 

가능했다라고 생각했습니다. 그리고 10년 후 그 링크가 다양한 디바이스가 소셜을 통해 확산이 되었고

앞으로는 AI로 트랜스포메이션되고 있다는 느낌이 듭니다.

 

특히 텍스트 이미지 외에 가장 느끼고 있는 AI로 만든 쇼츠 나 영상을 보며  생활속의 가장 큰 변화가 

보여지기도 합니다. 텍스트 프롬프트로 질문을 하고 영상으로 구현되는것을 보며  많은 부분에 

감명을 받게 되더군요.

 

오늘은 첫번째 시간으로

AI라이프 - AI 영상생성분야를 소개하고저 합니다.

 

 

 

 

 

*OpenAI의 Sora [소라]

 

https://openai.com/index/sora/

 

OpenAI의 Sora는 텍스트를 입력하면 동영상을 만들어주는 인공지능 (AI) 모델입니다. 이 모델은 오픈AI의 이미지 생성 AI 도구인 DALL-E와 유사하게 작동하며, 원하는 장면을 묘사한 명령어 (프롬프트)를 통해 최대 1분 길이의 동영상을 빠르게 제작할 수 있습니다. 12

또한, 이 모델은 복잡한 장면, 모션 유형, 여러 개체, 세부 피사체 및 배경을 생성할 수 있는 AI 동영상 생성기로, 사용자가 프롬프트를 통해 요구한 내용 뿐 아니라, 이러한 요소들이 실제 세계에 어떻게 존재하는지 이해하는 기능을 갖춰져 보다 사실적인 결과물을 생성하는 것이 가능합니다.

 

 

 

 

 

 

 

 

*Runway ML [런웨이 ML]

https://runwayml.com/

Runway | Tools for human imagination.

Runway is an applied AI research company shaping the next era of art, entertainment and human creativity.

runwayml.com

 

 

런웨이 ML(Runway ML)은 이미지, 명령어, 그림 도구(드로잉 툴) 등을 활용하여 멋진 영상을 만들어주는 AI 영상 생성 사이트입니다.

음성 파일을 등록하면 그에 맞춰 사람이 말하는 영상을 만들어주는 립싱크 비디오 기능, 이미지 합성, 인페인팅, 3D 효과, 해상도 향상 등 다양한 기능을 제공합니다.

가입 시 125크레딧이 제공되며, 영상 기준으로 약 3개의 비디오 프로젝트를 무료로 생성할 수 있습니다

 

 

* Luma, Pika

 

 

Pika는 현재 빠르게 성장하고 있는 동영상 플랫폼입니다.

텍스트나 이미지를 제공하면 AI가 스스로 편집과 제작을 통해 영상을 만들어주는 플랫폼으로, T2V 기능은 입력한 텍스트를 영상으로 변환해 주는 기능이며, I2V 기능은 제공한 이미지를 동영상으로 만들어주는 기능입니다. 두 기능을 통해 제작된 영상에는 소리도 추가할 수 있습니다

 

 

https://namu.wiki/w/Runway%20AI

Runway AI

미국 의 생성형 인공지능 개발사. 제품 Gen-1 Gen-1은 원본 동영상을 다른 스타일로 변환해주는 인공지능이

namu.wiki

*Hotshot

 

https://hotshot.co/

 

 

 

 

Hotshot은 2023년에 설립된 스타트업으로, 최근 텍스트 기반 AI 영상 생성 모델을 공개 프리뷰로 선보였습니다. 이 모델은 불과 4개월 만에 4명의 엔지니어가 개발했다고 하는데요, 많은 사람들이 SORA를 기다린 상황에서 많은 사람들에게 기대를 받고 있습니다.

 

최대 10초 길이의 720p 영상을 생성할 수 있습니다. 기존의 유명 AI 영상 생성 도구들과 어깨를 나란히 하며 경쟁력을 갖추고 있죠. 특히 만화책 스타일이나 로토스코핑 애니메이션 같은 다양한 스타일의 영상 제작이 가능하다고 합니다.

Hotshot 팀은 600만 개의 영상 클립과 수천 개의 GPU를 사용해 모델을 학습시켰습니다. 개발 과정에서 하드웨어 문제 등 여러 어려움이 있었지만, 팀원들의 헌신적인 노력으로 이를 극복했다고 합니다. 이런 도전 정신이 혁신을 만들어냅니다.

 

 

앞으로도 계속 새롭게 출시 되는 AI 영역의 생성AI영상에 대해 계속 업로드 하겠습니다.

 

 

'24년 상반기 공개된 생성형 AI영상 서비스

 

'24년 2월 : Sora

'24년 2월 : GoEnhance

'24년 3월 : Haiper AI

'24년 3월 : LTX Studio

'24년 4월 : Higgsfield AI

'24년 4월 : VIDU(China)

'24년 5월 : Google Veo

'24년 6월 : Kling(China)

'24년 6월 : Dream machine(Luma AI)

'24년 6월 : Runway Gen-3 Alpha

'24년 6월 : Hedra AI

​

[출처] '24년 상반기 공개된 생성형 AI영상 서비스 정리|작성자 Tommy HS Lee

 

감사합니다.