21.02.2024
OpenAI представила новую нейросеть под названием Sora, которая умеет создавать видео по текстовому описанию.
Sora — это диффузионная модель, которая способна создавать сложные сцены с несколькими персонажами, определёнными типами движения и точными деталями объекта и фона. На сайте проекта сказано, что модель умеет понимать подсказки и знает, как ведут себя различные объекты в физическом мире.
Важно, что Sora генерирует целое видео сразу, а не покадрово. Это помогает избежать того, что было проблемой при использовании других подходов, — изменения объекта при движении или перемещении камеры.
По сути, Sora не только генерирует фотографии или видео, но и может определять физику каждого объекта в цифровой среде, что делает его «физическим движком, управляемым данными», — говорит старший исследователь Nvidia Джим Фан.
«Эти возможности предполагают, что дальнейшее масштабирование видеомоделей — это многообещающий путь к разработке высокофункциональных симуляторов физического и цифрового мира, а также объектов, животных и людей, которые живут внутри них», — написали соавторы OpenAI в своей работе.
Уже сейчас OpenAI даёт доступ к Sora ряду художников, дизайнеров и режиссеров, чтобы получить отзывы о том, как продвигать модель, чтобы она была наиболее полезной для творчества.
Эксперты рынка отмечают, что качество рендеров нейросети в плане реалистичности на порядок выше, чем у предшественников. Также она может создавать видео до минуты длиной — альтернативные модели предлагают генерации в 5–15 секунд.
Кроме того, отмечается качество финального результата – эксперты сходятся во мнении, что это большой скачок вперед.
Высказываются мнения, что Sora станет таким же помощником, как ChatGPT и MidJourney, и даст толчок индустриям, работающим с видеопродакшеном. Но поскольку модель закрытая, то скорее всего ее нельзя адаптировать под нужды бизнеса и построить вокруг нее рабочие процессы.
Предполагается, что еще рано говорить о массовых увольнений в связи с выходом Sora. Технология находится под контролем OpenAI, которая сильно цензурирует свои продукты и замедляет их развитие.
По мнению креаторов, какие‑то их компетенции Sora может заменить, но их самих — нет. Просто их компетенции со временем будут меняться. Больше времени нужно будет уделять написанию точного запроса, чтобы получить нужный результат.
На данный момент OpenAI при тестировании уделяет особое внимание вопросам безопасности.
«Сегодня Sora становится доступной для сотрудников red teamers для оценки критических областей на предмет нанесения вреда или рисков — это эксперты в таких областях, как дезинформация, контент ненависти и предвзятость”, — говорится в сообщении OpenAI.
