
Искусственный интеллект
Видеодипфейк в рилтайме
Ответ на пост «Как легко и бесплатно сочинить песню с помощью нейросети Suno (мой опыт). Песня о брошках»5
Suno не очень хорошо понимает русский промт, потому стиль музыки обязательно на английском, так же она не умеет в рифму русскую, впрочем как и все ИИшки пока. Так же обязательно прописывать надо где куплеты, а где припев. В остальном с каждой новой версией всё круче и круче.
Теперь можно и мелодию свою напеть или загрузить.
Вот клип, кроме стихов моих - всё ИИ.
Новые вехи 3D-генерации
В последнее время часто натыкаюсь на определение гауссова сплэтинга в контексте генерации 3D-моделей и миров в играх или анимации. Недавно я писал о проге, которая уже неплохо генерирует игровые локации.
Если честно, сам еще не до конца понимаю, как это работает. Гугл говорит, что это метод восстановления трехмерных изображений в реальном времени и ренедеринг изображений с разных сторон объекта.
И сейчас снова наткнулся на статью, в которой описывается новая нейросеть с открытым кодом, которая привносит новый метод генерации высококачественных полигональных сеток из "плоского" видео.
Примечательность в том, что для создания модели с полигонами достаточно одного видео. Причем программа добавляет даже те трехмерные фрагменты движения объектов или животных, которых нет на исходном видео - она сама достраивает их, отслеживая верхние точки.
Интересно то, что человек здесь обгоняет нейросети, потому что опытному 3D-художнику нужно всего лишь одно изображение для создания таких сеток, а нейросетям нужна серия снимков с разных сторон. Поэтому программа, которую мы сегодня рассматриваем - это новый шаг в развитии 3D-генерации.
Вот еще чуть-чуть и мы увидим игровые и метаверсные миры, которые создаются пока мы по ним перемещаемся. И тогда, конечно, игровая, а может и кино- промышленность очень сильно видоизмениться.
Ссылка на статью.
Код на GitHub.
Нейронка для генерации CAD-моделей
Sora снова на связи
Цифровой художнице Tammy Lovin дали доступ к видеогенератору, чтобы показать всю мощь Sora. Девушка отметила, что эксперимент с нейросетью похож на идеальную командную работу, в результате которой она смогла воплотить на видео то, что до сих пор представляла только в своем воображении.
Источник телеграм-канал NEUROHUB🔥👈
Эффект Манделы в ИИ?
Так, нет, я не буду рассказывать о чем-то похожем на теории заговора, а просто немного задумался.
Сейчас много и часто выходят новые нейросетевые модели, которые создают дипфейк, синхронизируют движение губ с текстом и накладывают мимику из одного видео на другое. Как пример последнее LivePotrtrait, о котором недавно писал в основном канале. Чтобы удобно было сравнить - это на первом видео.
И вот ребята из fal.ai сделали тизер похожей штуки, только в реальном времени.
И о чем я, собственно, задумался. Не знаю, будет ли для Вас секретом, что нейросети и Искусственный Интеллект существуют достаточно давно, а не последние два года, которые они хайпят, как минимум в виде Machine Learning.
И мне вспомнилось, как папу лет назад люди сидели на стримах с масками животных, которые хоть и минимально, но повторяли их мимику, движения головы и открывали рот под слова. В реальном времени. Да и в SnapChat что-то похожее было.
А сейчас выпускают модели как на втором видео, и в контексте текущей линии развития ИИ, это выглядит как что-то очень новое.
И вот я думаю, это я просто запомнил слишком идеализированно те маски, или как будто не так уж быстро развиваются модели с повторением мимики.
Ну и еще вариант, что наложить мимику на лицо другого человека, а не фури, намного сложнее, чем мне кажется.
Есть у Вас мысли на этот счет?
ЗАПУСТИ СВОЮ СОБСТВЕННУЮ LLM ПРЯМО НА ПК!
Видео в котором рассказывается, как запустить мощную языковую модель искусственного интеллекта прямо у себя на компьютере. Вы можете выбрать из множества моделей, таких как LLaMa, Mistral, Zephyr и многих других.

