Lip-синхронизация в реальном времени

LIVE Face
Lip-синхронизация в реальном времени 23

Если у вашей веб-камеры есть микрофон, вы можете синхронно захватывать выражения лица вместе с записью голоса через Face3D с помощью плагина Motion LIVE 2D. В качестве альтернативы, установите микрофон на свой компьютер. Если iPhone является устройством захвата, тогда происходит только захват данных изображения лица.

Можно записать не только голос актера, но и выражения лица с помощью функции синхронизации губ ( lip-sync), которые можно автоматически и одновременно захватывать и генерировать в движения лица персонажа.

Возможности
Запись живого аудио с захватом лица за один сеанс.
Записанный звук создает данные синхронизации губ в режиме реального времени.
Смешивание синхронизации губ и захват движений, для создания реального отображения анимации..

Синхронная запись звука и синхронизация губ

Персонаж
Выберите персонаж.

Перейдите в раздел Plugins >> Motion LIVE 2D >> Motion LIVE 2D.

Motion LIVE 2D
Lip-синхронизация в реальном времени 24

Подключитесь к устройству захвата лица на панели Motion LIVE 2D.

Флажок Record Audio ( Запись звука ) активирован по умолчанию при обнаружении аудиовхода. Вы можете выбрать подходящий микрофон для захвата звука из выпадающего списка.

Record Audio
Lip-синхронизация в реальном времени 25

Активируйте флажок Lip Sync для распознавания движения ваших губ, в режиме реального времени.

Примечание
В раскрывающемся списке Lip Sync вы можете выбрать режим Real-time (реальное время) или Post-process (пост-процесс ).

Независимо от того, что вы выбрали, в режиме реального времени или после обработки , изменение скорости губ будет одинаковой в режиме предварительного просмотра в реальном времени. Единственное отличие состоит в том , что lip visemes отслеживается в Timeline по разному.

Real-time

Lipsync
Lip-синхронизация в реальном времени 26

Новое упрощенное решение для синхронизации губ для создания форм губ, пользователи могут контролировать чувствительность и изменения формы губ в реальном времени для прямой трансляции.
Большое количество ключей висемы, сгенерированных в треке Lips .

Post-process

 Post-process
Lip-синхронизация в реальном времени 27

Традиционный метод синхронизации губ по звуку для создания более точных форм губ, пользователи могут выполнять дальнейшее редактирование для постпроизводства.
Меньше количество ключей, но более точное расположение ключей висем, сгенерированных в треке Lips .

Говорите, пока вы производите запись изменяется выражения лица .

Воспроизведите проект, для того чтобы посмотреть результат выражения лица и синхронизацию губ

Чувствительность губ в реальном времени

Вы можете настроить скорость изменения формы губ, перетаскивая ползунок Sensitivity ( Чувствительность ) при выборе Real-time ( Реальное время ) в раскрывающемся списке Lip Sync ( Синхронизация губ ).

По умолчанию слайдер отключен, но если вы выберите, то все равно увидите один и тот же результат в режиме просмотра реального времени.

Sensitivity
Lip-синхронизация в реальном времени 28

Чем выше значение чувствительности , тем быстрее меняется форма губ, а на дорожке губ будет создаваться больше ключей висем.

Чувствительность 2

Чувствительность = 2
Форма губ меняются медленнее, а на дорожке губ добавляется меньше висем ключей .

Уровень 2
Lip-синхронизация в реальном времени 29

Чувствительность 4

Чувствительность = 4
Форма губ меняется быстрее, а на дорожке губ появляется больше висем-ключей .

Уровень 4
Lip-синхронизация в реальном времени 30

Два варианта захвата Lip-синхронизации

Существует два варианта захвата синхронизации губ в режиме реального времени: визуально (Lip-sync OFF) и From Audio (Lip-sync ON).

Визуально (Lip-Sync OFF)

Record Audio
Lip-синхронизация в реальном времени 31

Настройки по умолчанию для записи звука и захвата рта с помощью веб-камеры Face3D Tracker на основе визуальных эффектов.

Поскольку Face3D Tracker создает визуальные эффекты рта, вместо создания висем из звуков, захваченные движения лица будут записываться только в дорожку клипа для лица.

Lip-Sync OFF
Lip-синхронизация в реальном времени 32

Из аудио (Lip-Sync ON)

Lip-Sync ON
Lip-синхронизация в реальном времени 33

Для использования аудиовхода включите функцию Lip Sync, который четко и точно говорит в микрофон, чтобы позволить Motion LIVE 2D обнаруживать звук и генерировать синхронизацию губ viseme на основе звука.

Lip-Sync ON
Lip-синхронизация в реальном времени 34

В этом варианте запись движения губ записывается не только на дорожку Voice, но и создает viseme на дорожке Lips где можно осуществить редактирование и исправить неправильную артикуляцию губ персонажа.

Примечание
В текущей версии Motion LIVE 2D , если вы не издаете звук при включенной функции Lip Sync , может вообще не быть анимации рта.

Уточнение и редактирование

В Cartoon Animator откройте панель Timeline и нажмите кнопку Face и вы увидите записанные данные в соответствующих дорожках. Вы можете найти данные сохраненные на дорожке Facial Clip (A), а также на дорожке Voice (B) и Lips (C) записанный звук и viseme отвечающую за артикуляцию губ персонажа.

настройка
Lip-синхронизация в реальном времени 35

Установите курсор на любой нужный кадр и услышите звук. Если клавиши синхронизации губ плохо не соответствует и вы хотите изменить ключи висемы, выполните следующие действия:

Дважды щелкните по ключу висемы на дорожке Lips.

настройка губ
Lip-синхронизация в реальном времени 36

В открытом окне Lips Editor замените висем для синхронизации губ на другой.

 Lips Editor
Lip-синхронизация в реальном времени 37

Если функция рта персонажа G3 360 или G3 преобразована в Smooth Mode, вы можете перетащить ползунок Expressiveness (Выразительность) выбранного висема и увеличить или уменьшить силу открывания рта.

 висема: WOOвисема: Oh
Оригинальная висема: WOOМодифицированная висема: Oh

Повторное использование захваченных Lip-синхронизаций для разных персонажей.

После завершения записи Lip-Sync вы можете сохранять и экспортировать голосовой клип в Cartoon Animator , а затем применять его к другим персонажам.

Откройте панель Timeline (F3) и нажмите кнопку Face и найти записанные аудиоданные, хранящиеся в основной дорожке Voice Clip .

Сохранение
Lip-синхронизация в реальном времени 38

Убедитесь, что был выбран нужный персонаж или голосовой клип. Перейдите в Content Manager >> Animation >> Папка Face и нажмите кнопку Add и сохраните клип в формате * .ctFCS на вкладке Custom.

Папка сохранения
Lip-синхронизация в реальном времени 39

Теперь если вы хотите, чтобы выбранный любой персонаж повторил действия которые вы предварительно сохранили, перетащите сохраненный файл на персонаж.

Результат
Lip-синхронизация в реальном времени 40
5 1 голос
Рейтинг статьи

Visits: 1841

Похожие записи

Keeping Bend Direction в Cartoon Animator 4
Keeping Bend DirectionПо сути, конечности каждого персонажа изгибаются только...
Подробнее
Reallusion Cartoon Animator 4.4
Обновилась программа Reallusion Cartoon Animator до версии 4.4.Изменения в...
Подробнее
Reallusion Cartoon Animator 5.23.2809.1 Pipeline (обновлено 11.04.24)
Reallusion Cartoon Animator 5Внимание произошло обновление, версия Reallusion Cartoon Animator...
Подробнее
Подписаться
Уведомить о
guest
1 Комментарий
Старые
Новые Популярные
Межтекстовые Отзывы
Посмотреть все комментарии
Shawshaw
Shawshaw
28/04/2020 6:43 пп

У меня уже есть установщик Motion Live 2D. И это может быть установлено на Cartoon animator 4

У меня просто нет установщика профиля Face3D.

Вы можете помочь мне получить это?

Email: shawkyadel97@gmail.com

Внимание произошло обновление, версия Reallusion Cartoon Animator 5.23.2711.1

X
1
0
Оставьте комментарий! Напишите, что думаете по поводу статьи.x
Прокрутить вверх
Яндекс.Метрика