Lip-синхронизация в реальном времени

LIVE Face

Если у вашей веб-камеры есть микрофон, вы можете синхронно захватывать выражения лица вместе с записью голоса через Face3D с помощью плагина Motion LIVE 2D. В качестве альтернативы, установите микрофон на свой компьютер. Если iPhone является устройством захвата, тогда происходит только захват данных изображения лица.

Можно записать не только голос актера, но и выражения лица с помощью функции синхронизации губ ( lip-sync), которые можно автоматически и одновременно захватывать и генерировать в движения лица персонажа.

Возможности

Запись живого аудио с захватом лица за один сеанс.
Записанный звук создает данные синхронизации губ в режиме реального времени.
Смешивание синхронизации губ и захват движений, для создания реального отображения анимации..

Синхронная запись звука и синхронизация губ

Персонаж
Выберите персонаж.

Перейдите в раздел Plugins >> Motion LIVE 2D >> Motion LIVE 2D.

Motion LIVE 2D

Подключитесь к устройству захвата лица на панели Motion LIVE 2D.

Флажок Record Audio ( Запись звука ) активирован по умолчанию при обнаружении аудиовхода. Вы можете выбрать подходящий микрофон для захвата звука из выпадающего списка.

Record Audio

Активируйте флажок Lip Sync для распознавания движения ваших губ, в режиме реального времени.

Примечание
В раскрывающемся списке Lip Sync вы можете выбрать режим Real-time (реальное время) или Post-process (пост-процесс ).

Независимо от того, что вы выбрали, в режиме реального времени или после обработки , изменение скорости губ будет одинаковой в режиме предварительного просмотра в реальном времени. Единственное отличие состоит в том , что lip visemes отслеживается в Timeline по разному.

Real-time

Lipsync

Новое упрощенное решение для синхронизации губ для создания форм губ, пользователи могут контролировать чувствительность и изменения формы губ в реальном времени для прямой трансляции.
Большое количество ключей висемы, сгенерированных в треке Lips .

Post-process

 Post-process

Традиционный метод синхронизации губ по звуку для создания более точных форм губ, пользователи могут выполнять дальнейшее редактирование для постпроизводства.
Меньше количество ключей, но более точное расположение ключей висем, сгенерированных в треке Lips .

Говорите, пока вы производите запись изменяется выражения лица .

Воспроизведите проект, для того чтобы посмотреть результат выражения лица и синхронизацию губ

Чувствительность губ в реальном времени

Вы можете настроить скорость изменения формы губ, перетаскивая ползунок Sensitivity ( Чувствительность ) при выборе Real-time ( Реальное время ) в раскрывающемся списке Lip Sync ( Синхронизация губ ).

По умолчанию слайдер отключен, но если вы выберите, то все равно увидите один и тот же результат в режиме просмотра реального времени.

Sensitivity

Чем выше значение чувствительности , тем быстрее меняется форма губ, а на дорожке губ будет создаваться больше ключей висем.

Чувствительность 2

Чувствительность = 2
Форма губ меняются медленнее, а на дорожке губ добавляется меньше висем ключей .

Уровень 2

Чувствительность 4

Чувствительность = 4
Форма губ меняется быстрее, а на дорожке губ появляется больше висем-ключей .

Уровень 4

Два варианта захвата Lip-синхронизации

Существует два варианта захвата синхронизации губ в режиме реального времени: визуально (Lip-sync OFF) и From Audio (Lip-sync ON).

Визуально (Lip-Sync OFF)

Record Audio

Настройки по умолчанию для записи звука и захвата рта с помощью веб-камеры Face3D Tracker на основе визуальных эффектов.

Поскольку Face3D Tracker создает визуальные эффекты рта, вместо создания висем из звуков, захваченные движения лица будут записываться только в дорожку клипа для лица.

Lip-Sync OFF

Из аудио (Lip-Sync ON)

Lip-Sync ON

Для использования аудиовхода включите функцию Lip Sync, который четко и точно говорит в микрофон, чтобы позволить Motion LIVE 2D обнаруживать звук и генерировать синхронизацию губ viseme на основе звука.

Lip-Sync ON

В этом варианте запись движения губ записывается не только на дорожку Voice, но и создает viseme на дорожке Lips где можно осуществить редактирование и исправить неправильную артикуляцию губ персонажа.

Примечание
В текущей версии Motion LIVE 2D , если вы не издаете звук при включенной функции Lip Sync , может вообще не быть анимации рта.

Уточнение и редактирование

В Cartoon Animator откройте панель Timeline и нажмите кнопку Face и вы увидите записанные данные в соответствующих дорожках. Вы можете найти данные сохраненные на дорожке Facial Clip (A), а также на дорожке Voice (B) и Lips (C) записанный звук и viseme отвечающую за артикуляцию губ персонажа.

настройка

Установите курсор на любой нужный кадр и услышите звук. Если клавиши синхронизации губ плохо не соответствует и вы хотите изменить ключи висемы, выполните следующие действия:

Дважды щелкните по ключу висемы на дорожке Lips.

настройка губ

В открытом окне Lips Editor замените висем для синхронизации губ на другой.

 Lips Editor

Если функция рта персонажа G3 360 или G3 преобразована в Smooth Mode, вы можете перетащить ползунок Expressiveness (Выразительность) выбранного висема и увеличить или уменьшить силу открывания рта.

 висема: WOOвисема: Oh
Оригинальная висема: WOOМодифицированная висема: Oh

Повторное использование захваченных Lip-синхронизаций для разных персонажей.

После завершения записи Lip-Sync вы можете сохранять и экспортировать голосовой клип в Cartoon Animator , а затем применять его к другим персонажам.

Откройте панель Timeline (F3) и нажмите кнопку Face и найти записанные аудиоданные, хранящиеся в основной дорожке Voice Clip .

Сохранение

Убедитесь, что был выбран нужный персонаж или голосовой клип. Перейдите в Content Manager >> Animation >> Папка Face и нажмите кнопку Add и сохраните клип в формате * .ctFCS на вкладке Custom.

Папка сохранения

Теперь если вы хотите, чтобы выбранный любой персонаж повторил действия которые вы предварительно сохранили, перетащите сохраненный файл на персонаж.

Результат
Views All Time
Views All Time
1867
Views Today
Views Today
19
5 1 голос
Рейтинг статьи

Материалы по теме:

Lip-синхронизация в реальном времени
Создание головы в Cartoon Animator из изображения.
В этой короткой статье мы рассмотрим не создание головы из изображения, а как созданную голову прикрепить к персонажу. Само создание головы из изображения не ...
Lip-синхронизация в реальном времени
Cartoon Animator 4
Cartoon Animator 4 Фирма Reallusion продолжает разработку и улучшение программы CrazyTalk Animator, теперь  программа может выйти под другим названием или как дополнение к CrazyTalk Animator. Официальный выпуск программы Cartoon ...
Lip-синхронизация в реальном времени
Reallusion Cartoon Animator 4.41.2431.1 Pipeline + 4.4.2macOS
Первое обновление программы Cartoon Animator до версии 4.41. Обновление было вызвано тем, что было найдено много ошибок. В статье написанной ранее Проблемы и способы ...
Lip-синхронизация в реальном времени
Ответ на вопросы
СодержаниеhideВступлениеУстановка.Плагин Motion LIVE 2DИнтернетДве версии на 1 PCГде, что взять. .gutentoc-toc-wrap ul li a, .gutentoc-toc-title-wrap .text_open{ color: undefined}} Вступление В этой статье в основном будет ...
Lip-синхронизация в реальном времени
Знакомство с Cartoon Animator 4
Знакомство с Cartoon Animator 4   Программа CrazyTalk Animator 3 обновилась и теперь начинает свой путь под новым названием Cartoon Animator 4. При первоначальном осмотре, изменений ...
Подписаться
Уведомить о
guest
1 Комментарий
Старые
Новые Популярные
Межтекстовые Отзывы
Посмотреть все комментарии
Shawshaw
Shawshaw
1 год назад

У меня уже есть установщик Motion Live 2D. И это может быть установлено на Cartoon animator 4

У меня просто нет установщика профиля Face3D.

Вы можете помочь мне получить это?

Email: shawkyadel97@gmail.com

1
0
Оставьте комментарий! Напишите, что думаете по поводу статьи.x
()
x
Яндекс.Метрика