구글, 동영상 생성 모델 Veo 와 이미지 생성 모델 Imagen 3 발표

 

2024년 5월 14일(현지 시간) - 구글이 크리에이터를 위한 새로운 생성 미디어 모델과 툴을 발표했다. 이번 발표에서는 최신의 최첨단 동영상 생성 모델인 Veo와 역대 최고 품질의 텍스트 이미지 생성 모델인 Imagen 3, 그리고 Music AI Sandbox에서 생성된 새로운 데모 음원이 소개됐다.

 

 구글의 가장 고성능 동영상 생성 모델 'Veo'

Veo는 구글의 새로운 동영상 생성 모델로, 1분 이상의 다양한 영화적, 시각적 스타일로 1080p 해상도의 고품질 동영상을 생성할 수 있는 새로운 동영상 생성 모델이다. 이 모델은 자연어 및 시각적 뉘앙스를 고도로 이해하여 프롬프트의 톤을 정확하게 포착하고 긴 프롬프트의 세부 사항을 렌더링하는 등 사용자의 창의적인 비전을 충실하게 표현하는 동영상을 생성한다.

예를 들어, 이 모델은 '타임랩스(Timelapse)'나 'Aerial shot of a landscape'와 같은 영화 용어를 이해하여 이전과는 다른 수준의 창의적인 제어를 제공한다. 사람, 동물, 사물이 촬영 내내 사실적으로 움직이기 때문에 일관되고 일관성 있는 영상이 만들어진다.

 

Veo는 Generative Query Network (GQN), DVD-GAN, Imagen-Video, Phenaki, WALT, VideoPoet, Lumiere, 그리고 Transformer 아키텍처 와 Gemini 등 다년간의 생성 비디오 모델 작업을 기반으로 구축되어 있습니다.

Veo는 모델이 비디오의 내용을 이해하는 학습 방법, 고해상도 이미지 렌더링, 우리 세계의 물리적 시뮬레이션 등의 기술을 향상시켰으며, Veo가 프롬프트를 더 정확하게 이해하고 따를 수 있도록 훈련 데이터에 포함된 각 비디오의 캡션 세부 정보를 추가하여 성능을 더욱 향상시켰습니다. 캡션의 디테일이 추가되었고, 성능을 더욱 향상시키기 위해 모델은 비디오의 고품질 압축 표현(latents라고도 함)을 사용하여 더욱 효율적으로 작동하도록 개선되었습니다. 이러한 단계를 통해 전반적인 품질이 향상되고 동영상 생성에 소요되는 시간이 단축되었습니다.

Google은 스토리텔러의 창작 과정을 Veo가 어떻게 지원할 수 있는지 알아보기 위해 다양한 영화 제작자와 크리에이터를 초대하여 이 모델을 시험해 보도록 하고 있습니다. 이를 통해 기술을 설계, 구축, 배포하는 방식을 개선하고, 제작자가 개발 방식에 대한 의견을 제시할 수 있도록 돕는다.

다음 영상에서는 영화감독 도널드 글로버(Donald Glover )와 그의 크리에이티브 스튜디오인 길가(Gilga)가 영화 프로젝트를 위해 Veo를 실험적으로 사용하는 모습을 볼 수 있다.

Veo의 기능에 대해 자세히 알아보기

이용안내

Veo는 labs.google의 새로운 실험 도구인 VideoFX의 비공개 미리보기를 통해 일부 크리에이터들이 이용할 수 있다. 향후 Voo의 일부 기능은 YouTube Shorts 및 기타 제품에도 도입될 예정이다.

 구글의 최고 품질의 텍스트 이미지 생성 모델 'Imagen 3'

'Imagen 3'는 뛰어난 디테일 수준으로 사실적이고 사실적인 이미지를 생성할 수 있는 구글의 최고 품질의 텍스트 이미지 생성 모델입니다.

Imagen 3에서는 자연어 및 프롬프트의 의도를 더 잘 이해하고 긴 프롬프트에서 작은 디테일을 더 잘 이해할 수 있게 되었습니다. 이 모델의 높은 이해 수준은 다양한 스타일을 마스터하는 데 도움이 됩니다.

"프롬프트: 꽃 덩굴로 뒤덮인 풍화된 나무 기계 로봇이 키가 큰 야생화 밭에 평화롭게 서 있고, 작은 파랑새 한 마 리가 뻗은 손에는 작은 파랑새가 앉아 있다. 따뜻한 색채와 부드러운 선으로 그려진 디지털 만화, 뒤로는 폭포가 있는 커다란 절벽이 보인다."

또한, 이 모델은 이미지 생성 모델의 과제였던 텍스트 렌더링에 있어서도 지금까지의 모델 중 가장 뛰어난 것으로 평가받고 있다. 이 기능을 통해 개인화된 생일 메시지, 프레젠테이션 타이틀 슬라이드 등을 생성할 수 있게 된다.

"프롬프트: 우주왕복선 발파 장면의 픽셀 아트. 케이프 커내버럴을 배경으로 푸른 하늘, 연기가 뿜어져 나오는 연기가 피어 오르고 있다. 그 아래에 "STS-1"이라고 적혀있다."

"프롬프트: 세 명의 여성이 함께 웃으며 서 있고, 한 여성은 전경에 약간 초점이 흐려져 있다. 여성들 뒤로 해가 지고 있다. 렌즈 플레어와 따뜻한 빛이 그녀들의 머리카락을 강조하고 배경에 보케 효과를 만들어내는 것. 사진 스타일은 솔직하고 친구들 간의 친구들 간의 진정한 소통과 행복의 순간을 포착했다. 골든아워의 따뜻한 빛이 이미지에 향수를 불러일으키고 친밀한 느낌을 준다"고 말했다.

Imagen 3의 기능에 대한 자세한 내용은여기에서 확인하세요.

이용안내

Imagen 3는 ImageFX의 프라이빗 프리뷰로, 선정된 크리에이터에게만 제공될 예정입니다. 웨이트리스트에 등록하려면 여기를 클릭하세요.

또한, Imagen 3는 Vertex AI에도 곧 공개될 예정이다.

Music AI Sandbox에서 생성된 새로운 데모

구글은 Music AI Sandbox라는 음악 AI 도구 모음을 개발했다. 이 도구들은 창의성을 위한 새로운 놀이터를 열어 사람들이 처음부터 새로운 악기 섹션을 만들고, 새로운 방식으로 사운드를 변환하는 등 다양한 작업을 할 수 있도록 설계되었다.

구글은 음악가, 작곡가, 프로듀서들과 협력하여 음악 제작 과정에서 인공지능이 어떤 역할을 할 수 있는지 연구하고 있다. 그래미상 수상 뮤지션 Wyclef Jean, 그래미상 후보에 오른 작곡가 Justin Tranter, 일렉트로닉 뮤지션 Marc Rebillet은 구글과 협력하여 음악 AI 도구의 도움을 받아 제작한 새로운 데모 음원을 유튜브 채널에 공개했습니다.

 

---

크리에이터와 함께, 크리에이터를 위해 만들어진 새로운 제너레이티브 미디어 모델과 툴