Как использовать Stable Diffusion для преобразования видео в видео [Free]

• Stable Diffusion AI — это инструмент искусственного интеллекта, который превращает текст в реалистичные изображения и видео, подходящие для создания анимации и эффектов.
• Вы можете конвертировать видео Stable Diffusion AI в видео бесплатно, воспользовавшись тремя методами. Для каждого из них требуется высокоскоростной доступ в Интернет, учетная запись Google, доступ к графическому интерфейсу AUTOMATIC1111 Stable Diffusion и расширению ControlNet.
• Альтернативные технологии, такие как Deep Dream, Neural Style Transfer и CycleGAN, также предлагают различные художественные эффекты — от сюрреалистических визуальных эффектов до смешивания стилей и перевода изображений.

Люди обсуждают Stable Diffusion, потому что благодаря нему видео выглядит потрясающе. Используя искусственный интеллект, он превращает обычные видеоролики в крутые анимации и научно-фантастические чудеса. Лучшая часть? Его легко использовать любому и совершенно бесплатно. Но вы также можете конвертировать видео Stable Diffusion AI в видео бесплатно.

Здесь у нас есть простое руководство по превращению видео в анимацию — никаких сложных вещей! И угадай что? Это все БЕСПЛАТНО для использования на вашем компьютере. Итак, попробуйте и убедитесь, как легко делать ваши видео потрясающими!

Изображение, созданное с помощью Stable Diffusion AI

Что такое стабильная диффузия ИИ

Stable Diffusion — это усовершенствованная модель диффузии текста в изображение, которая позволяет создавать реалистичные изображения из любого ввода текста. Он обеспечивает автономное творчество, позволяя миллиардам людей легко создавать потрясающие произведения искусства за считанные секунды.

Этот инновационный подход сочетает в себе модели диффузии с искусственным интеллектом для создания видео, контролируя тип и вес контента. В результате получаются видеоролики со стабильным движением и плавными переходами.

Изображения, созданные Stable Diffusion AI

Stable Diffusion AI также имеет широкое применение при создании контента для социальных сетей, предлагая универсальное создание видео для таких платформ, как YouTube и фильмов. Его использование распространяется на создание анимации, научно-фантастических эпизодов, спецэффектов и высококачественных маркетинговых и рекламных видеороликов.

ПРОЧИТАЙТЕ БОЛЬШЕ: Как бесплатно создавать изображения AI без MidJourney ➜

Что такое стабильная диффузия видео?

21 ноября 2023 года Stability.ai анонсировала Stable Video Diffusion, генеративную видеотехнологию, основанную на модели изображения Stable Diffusion. Чтобы получить доступ к этой технологии преобразования текста в видео, люди могут присоединиться к списку ожидания. Однако на данном этапе модель доступна исключительно для исследовательских целей и не предназначена для реального или коммерческого применения.

Предварительные условия для стабильной диффузии AI-видео в видео бесплатно

Прежде чем начать, убедитесь, что вы подготовили свою систему для конвертации видео. Вот что вам нужно сделать:

• Иметь активное и быстрое сетевое соединение.
• Рабочий аккаунт Google.
• Доступ к веб-интерфейс для стабильной диффузии AI.
• Установите программное обеспечение на свой компьютер или используйте Google Colab.
• Подготовьте стабильный файл контрольной точки диффузии для создания видео.
• Подготовьте видеофайл, предназначенный для конвертации, с помощью Stable Diffusion AI.
• Создайте специальную папку в своей учетной записи Google Drive для хранения стабильных диффузионных видеовыходов.
• Вам понадобится AUTOMATIC1111 Stable Diffusion GUI и расширение ControlNet.

ПРОЧИТАЙТЕ БОЛЬШЕ: Как легко анимировать изображение — руководство для всех уровней навыков ➜

Как конвертировать AI-видео со стабильной диффузией в видео бесплатно

Вот несколько способов конвертировать видео Stable Diffusion AI в видео бесплатно:

1. Скрипт ControlNet-M2M

Этот сценарий идеально подходит для тех, кто предпочитает более практический подход. Он предлагает гибкость и настройку, позволяя пользователям настраивать параметры для получения уникальных результатов видео. Однако для новичков это может быть немного сложнее.

Шаг 1. Настройте параметры A1111.

Прежде чем использовать сценарий ControlNet M2M в AUTOMATIC1111, перейдите в «Настройки» > «ControlNet» и установите флажки для следующих параметров:

• Отключите сохранение контрольного изображения в выходную папку.
• Разрешить другим сценариям управлять этим расширением.

Выберите «Не добавлять карту обнаружения в выходные данные» и «Разрешить ptherscript управлять этим расширением». Шаг 2. Загрузка видео в ControlNet-M2M.

В веб-интерфейсе AUTOMATIC1111 посетите страницу txt2img. В раскрывающемся списке «Сценарий» выберите сценарий ControlNet M2M. Разверните раздел ControlNet-M2M и загрузите видео в формате mp4 на вкладку ControlNet-0.

Загрузите видеоШаг 3. Введите настройки ControlNet

Разверните раздел ControlNet и введите следующие настройки:

• Включить: Да
• Пиксельный идеал: Да
• Тип управления: Линейное
• Препроцессор: Lineart Realistic
• Модель: control_xxxx_lineart
• Контрольный вес: 0,6

Сохраните настройки, как показано.

Для персонализации видео поэкспериментируйте с различными типами элементов управления и препроцессорами.

Шаг 4. Измените настройки txt2img

Выберите модель из контрольной точки «Стабильная диффузия». Создайте подсказку и отрицательную подсказку. Введите параметры генерации:

• Метод выборки: Эйлер а
• Шаги выборки: 20
• Ширина: 688
• Высота: 423
• Масштаб КФГ: 7
• Семена: 100 (для стабильности)

Нажмите «Создать».

Выберите «Создать». Шаг 5. Создание видео MP4.

Скрипт преобразует изображения покадрово, в результате чего в выходной папке txt2img создается серия файлов .png. Варианты включают объединение файлов PNG в анимированный GIF или создание видео в формате MP4. Здесь мы расскажем вам о создании видео в формате MP4:

Используйте следующую команду ffmpeg (убедитесь, что ffmpeg установлен):

ffmpeg -framerate 20 -pattern_type glob -i ‘*.png’ -c:v libx264 -pix_fmt yuv420p out.mp4

Для пользователей Windows альтернативная команда:

ffmpeg -framerate 20 -pattern_type последовательность -start_number 00000 -i ‘%05d-100.png’ -c:v libx264 -pix_fmt yuv420p out.mp4

Multiple ControlNet в настоящее время не работает со сценарием M2M. Экспериментируйте с различными сетями ControlNet для получения разных результатов.

2. Расширение Mov2mov

Это расширение представляет собой удобный вариант, идеально подходящий для тех, кто плохо знаком с редактированием видео или предпочитает более простой процесс. Это упрощает процесс преобразования, автоматизируя несколько шагов.

Шаг 1. Установите расширение Mov2mov

1. В веб-интерфейсе AUTOMATIC1111 перейдите на страницу расширения.
2. Выберите «Установить» на вкладке URL-адрес.
3. Введите URL-адрес git-репозитория расширения: https://github.com/Scholar01/sd-webui-mov2mov.
   Git-репозиторий mov2mov
4. Нажмите «Установить».
   Выберите Установить.
5. Закройте и перезапустите веб-интерфейс.

Шаг 2. Установите настройки Mov2mov

1. Перейдите на новую страницу mov2mov.
2. Выберите контрольную точку «Стабильная диффузия» в раскрывающемся меню.
3. Введите положительные и отрицательные подсказки.
4. Загрузите видео на холст с такими настройками, как «Обрезать» и «Изменить размер» (ширина: 768, высота: 512).
5. Отрегулируйте множитель шума, шкалу CFG, уровень шумоподавления, максимальный кадр и начальное значение.

Отрегулируйте настройкиШаг 3. Измените настройки ControlNet

Включите ControlNet с такими настройками, как Lineart, препроцессор Lineart_realistic и контрольный вес 0,6. Не загружайте эталонное изображение; Mov2mov использует текущий кадр в качестве ссылки.

Измените настройки штрихового рисунка. Шаг 4. Создайте видео.

Нажмите «Создать» и дождитесь завершения процесса. Сохраните созданное видео; найдите его в папке output/mov2mov-videos.

Нажмите «Создать».

Дополнительные примечания для Mov2mov:

• В случае возникновения ошибки используйте другой видеорежим.
• Если создание видео не удалось, вручную создайте видео из серии изображений в папке output/mov2mov-images.
• Детерминированные сэмплеры могут не работать с этим расширением из-за потенциальных проблем с мерцанием.

3. Временный комплект

Temporal Kit подходит для опытных пользователей, которым требуется детальный контроль над процессом конвертации видео. Он предлагает ряд настроек для точной настройки вывода, что делает его предпочтительным выбором для получения результатов профессионального качества.

Шаг 1. Установите расширение Temporal Kit

1. В веб-интерфейсе AUTOMATIC1111 перейдите на страницу расширения.
2. Выберите «Установить» на вкладке URL-адрес.
3. Введите URL-адрес git-репозитория расширения: https://github.com/CiaraStrawberry/TemporalKit
4. Нажмите «Установить».
5. Закройте и перезапустите веб-интерфейс.

Выберите «Применить» и перезапустите UI. Шаг 2. Установите FFmpeg.

Загрузите FFmpeg с официального сайта и разархивируйте файл. Настройте FFmpeg в PATH для большей доступности.

Для Windows:

1. Нажмите клавишу Windows и введите «среда».
2. Выберите «Изменить переменные среды для вашей учетной записи».
   Нажмите «Изменить переменные среды для вашей учетной записи».
3. Отредактируйте PATH, добавив новую запись: %USERPROFILE%\bin.
4. Создайте новую папку с именем «bin» в своем домашнем каталоге и поместите в нее ffmpeg.exe.
5. Проверьте, открыв командную строку и набрав ffmpeg.

Для Mac или Linux:

1. Откройте Терминал.
2. Создайте новую папку «bin» в своем домашнем каталоге.
3. Поместите файл ffmpeg в эту папку.
4. Отредактируйте файл .zprofile в своем домашнем каталоге и добавьте экспорт PATH=~/bin:$PATH.
5. Запустите новый терминал и введите ffmpeg для проверки.

Терминал Mac выглядит круто и все такое. Шаг 3. Введите параметры предварительной обработки.

1. В AUTOMATIC1111 перейдите на страницу Temporal Kit.
2. Перейдите на вкладку «Предварительная обработка».
3. Загрузите свое видео на холст ввода видео.
4. Установите параметры (например, Сторона: 2, Разрешение по высоте: 2048, количество кадров на ключевой кадр: 5, частота кадров в секунду: 20).
5. Нажмите «Выполнить», чтобы создать лист ключевых кадров.

Шаг 4. Выполните Img2img для ключевых кадров.

1. Перейдите на страницу Img2img.
2. Перейдите на вкладку Пакет.
3. Установите каталоги ввода и вывода.
4. Введите как положительные, так и отрицательные подсказки.
5. Установите параметры (например, метод выборки: DPM++2M Karras, уровень шумоподавления: 0,5 и т. д.).
6. В разделе ControlNet (Unit 0) включите Tile.
7. Нажмите «Создать», чтобы стилизовать ключевые кадры.

Выберите «Создать». Шаг 5: подготовка данных EbSynth.

1. Перейдите на страницу Temporal Kit и переключитесь на вкладку Ebsynth-Process.
2. Установите входную папку на путь к целевой папке.
3. Перейдите к разделу Last_settings > подготовить ebsynth.

Перейдите в read_last_settings > подготовьте ebsynth. Шаг 6. Обработка с помощью EbSynth.

1. Откройте EbSynth и перетащите папки ключей и фреймов в соответствующие поля.
2. Нажмите «Выполнить все» и дождитесь завершения.
3. Каталоги out_##### будут отображаться в папке проекта после завершения процесса.

Шаг 7: Сделайте финальное видео

В AUTOMATIC1111 на странице Temporal Kit и вкладке Ebsynth-Process нажмите «Recombine ebsynth».

Выберите перекомбинировать ebsynth

Изображения взяты с помощью Stable Diffusion Art и GitHub.

ПРОЧИТАЙТЕ БОЛЬШЕ: 7 лучших альтернатив Photoshop с открытым исходным кодом ➜

Альтернативы стабильному диффузионному искусственному интеллекту

При поиске альтернатив Stable Diffusion AI вы можете рассмотреть такие варианты, как:

1. Глубокий сон

Использует нейронные сети для улучшения изображений и манипулирования ими, генерируя сказочные и абстрактные визуальные шаблоны.

Изображение создано Deep Dream.

2. Нейронная передача стиля

Применяет художественный стиль одного изображения к содержанию другого, что приводит к слиянию художественных элементов.

Изображения, созданные с помощью Neural Style Transfer | На пути к науке о данных

3. ЦиклГАН

Тип генеративно-состязательной сети (GAN), предназначенный для перевода изображений в изображения, позволяющий преобразовывать изображения между различными доменами без парных обучающих данных.

Прогнозируемое изображение CycleGAN | Тензорфлоу

Каждая альтернатива предлагает уникальные возможности и художественные результаты. Deep Dream известен своими сюрреалистическими, сказочными визуальными эффектами, а Neural Style Transfer превосходно применяет художественные стили к изображениям. CycleGAN, с другой стороны, отлично подходит для перевода изображений из домена в домен. Эти инструменты удовлетворяют различные творческие потребности и эстетические предпочтения.

ПРОЧИТАЙТЕ БОЛЬШЕ: Как создавать потрясающие изображения AI на MidJourney [Detailed Guide] ➜

Подведение итогов

Итак, подведем итог: Stable Diffusion AI — это мощный инструмент для создания реалистичных видеороликов с крутыми научно-фантастическими эффектами. Выпуск Stable Video Diffusion означает, что теперь каждый может использовать и улучшать его. Но другие варианты, такие как Deep Dream и Neural Style Transfer, привносят другие художественные нотки.

Выбор подходящего зависит от того, что вам нужно и насколько вы знакомы с техническими вещами. Творческий путь в этом пространстве — это поиск баланса между тем, что вы хотите делать, и тем, что вы знаете, а также тем, какими инструментами вы располагаете. Речь идет о создании крутых вещей, сочетающих искусство и технологии!

Часто задаваемые вопросы

Что отличает Stable Diffusion AI Video to Video Free от других инструментов для редактирования видео?

Stable Diffusion AI отличается использованием передовых моделей глубокого обучения, позволяющих создавать реалистичные видеоролики с уникальными научно-фантастическими эффектами и плавными переходами. Его удобный интерфейс делает высококачественное редактирование видео доступным каждому.

Подходит ли Stable Diffusion AI для новичков в редактировании видео?

Абсолютно! Stable Diffusion AI Video to Video Free разработан с учетом удобства пользователя.

Как я могу получить доступ к Stable Diffusion AI и каковы требования?

Для доступа к Stable Diffusion AI требуется стабильное подключение к Интернету и учетная запись Google. Доступ к инструменту можно получить через веб-интерфейс, что делает его удобным для пользователей. Кроме того, пользователям рекомендуется ознакомиться со страницей помощи и документацией, чтобы оптимизировать процесс создания видео.