Lip-синхронизация в реальном времени

Если у вашей веб-камеры есть микрофон, вы можете синхронно захватывать выражения лица вместе с записью голоса через Face3D с помощью плагина Motion LIVE 2D. В качестве альтернативы, установите микрофон на свой компьютер. Если iPhone является устройством захвата, тогда происходит только захват данных изображения лица.

Можно записать не только голос актера, но и выражения лица с помощью функции синхронизации губ ( lip-sync), которые можно автоматически и одновременно захватывать и генерировать в движения лица персонажа.

[su_box title=»Возможности» box_color=»#cbd0e4″]
Запись живого аудио с захватом лица за один сеанс.
Записанный звук создает данные синхронизации губ в режиме реального времени.
Смешивание синхронизации губ и захват движений, для создания реального отображения анимации..[/su_box]

Синхронная запись звука и синхронизация губ

Перейдите в раздел Plugins >> Motion LIVE 2D >> Motion LIVE 2D.

Подключитесь к устройству захвата лица на панели Motion LIVE 2D.

Флажок Record Audio ( Запись звука ) активирован по умолчанию при обнаружении аудиовхода. Вы можете выбрать подходящий микрофон для захвата звука из выпадающего списка.

Активируйте флажок Lip Sync для распознавания движения ваших губ, в режиме реального времени.

[su_box title=»Примечание» box_color=»#cbd0e4″]В раскрывающемся списке Lip Sync вы можете выбрать режим Real-time (реальное время) или Post-process (пост-процесс ).

Независимо от того, что вы выбрали, в режиме реального времени или после обработки , изменение скорости губ будет одинаковой в режиме предварительного просмотра в реальном времени. Единственное отличие состоит в том , что lip visemes отслеживается в Timeline по разному.[/su_box]

Real-time

Новое упрощенное решение для синхронизации губ для создания форм губ, пользователи могут контролировать чувствительность и изменения формы губ в реальном времени для прямой трансляции.
Большое количество ключей висемы, сгенерированных в треке Lips .

Post-process

Традиционный метод синхронизации губ по звуку для создания более точных форм губ, пользователи могут выполнять дальнейшее редактирование для постпроизводства.
Меньше количество ключей, но более точное расположение ключей висем, сгенерированных в треке Lips .

Говорите, пока вы производите запись изменяется выражения лица .

Воспроизведите проект, для того чтобы посмотреть результат выражения лица и синхронизацию губ

Чувствительность губ в реальном времени

Вы можете настроить скорость изменения формы губ, перетаскивая ползунок Sensitivity ( Чувствительность ) при выборе Real-time ( Реальное время ) в раскрывающемся списке Lip Sync ( Синхронизация губ ).

По умолчанию слайдер отключен, но если вы выберите, то все равно увидите один и тот же результат в режиме просмотра реального времени.

Чем выше значение чувствительности , тем быстрее меняется форма губ, а на дорожке губ будет создаваться больше ключей висем.

Чувствительность 2

Чувствительность = 2
Форма губ меняются медленнее, а на дорожке губ добавляется меньше висем ключей .

Чувствительность 4

Чувствительность = 4
Форма губ меняется быстрее, а на дорожке губ появляется больше висем-ключей .

Два варианта захвата Lip-синхронизации

Существует два варианта захвата синхронизации губ в режиме реального времени: визуально (Lip-sync OFF) и From Audio (Lip-sync ON).

Визуально (Lip-Sync OFF)

Настройки по умолчанию для записи звука и захвата рта с помощью веб-камеры Face3D Tracker на основе визуальных эффектов.

Поскольку Face3D Tracker создает визуальные эффекты рта, вместо создания висем из звуков, захваченные движения лица будут записываться только в дорожку клипа для лица.

Из аудио (Lip-Sync ON)

Для использования аудиовхода включите функцию Lip Sync, который четко и точно говорит в микрофон, чтобы позволить Motion LIVE 2D обнаруживать звук и генерировать синхронизацию губ viseme на основе звука.

В этом варианте запись движения губ записывается не только на дорожку Voice, но и создает viseme на дорожке Lips где можно осуществить редактирование и исправить неправильную артикуляцию губ персонажа.

[su_box title=»Примечание» box_color=»#cbd0e4″]В текущей версии Motion LIVE 2D , если вы не издаете звук при включенной функции Lip Sync , может вообще не быть анимации рта.[/su_box]

Уточнение и редактирование

В Cartoon Animator откройте панель Timeline и нажмите кнопку Face и вы увидите записанные данные в соответствующих дорожках. Вы можете найти данные сохраненные на дорожке Facial Clip (A), а также на дорожке Voice (B) и Lips (C) записанный звук и viseme отвечающую за артикуляцию губ персонажа.

Установите курсор на любой нужный кадр и услышите звук. Если клавиши синхронизации губ плохо не соответствует и вы хотите изменить ключи висемы, выполните следующие действия:

Дважды щелкните по ключу висемы на дорожке Lips.

В открытом окне Lips Editor замените висем для синхронизации губ на другой.

Если функция рта персонажа G3 360 или G3 преобразована в Smooth Mode, вы можете перетащить ползунок Expressiveness (Выразительность) выбранного висема и увеличить или уменьшить силу открывания рта.

Оригинальная висема: WOO	Модифицированная висема: Oh

Повторное использование захваченных Lip-синхронизаций для разных персонажей.

После завершения записи Lip-Sync вы можете сохранять и экспортировать голосовой клип в Cartoon Animator , а затем применять его к другим персонажам.

Откройте панель Timeline (F3) и нажмите кнопку Face и найти записанные аудиоданные, хранящиеся в основной дорожке Voice Clip .

Убедитесь, что был выбран нужный персонаж или голосовой клип. Перейдите в Content Manager >> Animation >> Папка Face и нажмите кнопку Add и сохраните клип в формате * .ctFCS на вкладке Custom.

Теперь если вы хотите, чтобы выбранный любой персонаж повторил действия которые вы предварительно сохранили, перетащите сохраненный файл на персонаж.

Просмотров: 4