Перейти к содержимому


Фотография

Нейросети как инструмент для переозвучки видео


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 12

#1 DrSlon

DrSlon

    Почти местный слон

  • Модераторы разделов
  • PipPipPipPipPipPipPipPipPip
  • 1 222 сообщений
  • Пол:Мужчина
  • Город:где-то в низовьях Дона
  • Интересы:Что-нибудь делать в перерыве между едой.

Отправлено 30 марта 2023 - 21:28

Часто авторы альтернативных переводов при переозвучке видео используют три метода:

1. Просто сносят оригинальную звуковую дорогу, вставляют музыку и записывают альтернативные реплики. При этом видео выглядит "пустым" из-за отсутствия фоновых звуков. Особо упёртые заморачиваются наложением фоновых звуков из библиотек, коих тьма.

2. Приглушают оригинальную стерео-дорожку, ища компромисс между громкостью оригинала и наложенных альтернативных голосов. При желании наложить альтернативную музыку, этот способ не подходит.

3. В шестиполосном звуке приглушают центральную дорожку, что позволяет достичь довольно неплохих результатов: оригинальные голоса почти не слышны, фоновые звуки присутствуют. Альтернативную музыку почти всегда наложить без потери фоновых звуков не удается. 

 

В экспериментальных целях вырезал кусочек  стерео-аудиодороги и скормил ее нейросети https://mvsep.com/ru/. Там есть алгоритм, позволяющий разделить стерео-аудиодорогу на  голос, музыку и фоновые звуки.

Безымянный.png

 

В примере по ссылке я переозвучил фрагмент фильма с использованием вырезанных нейросетью фоновых звуков и альтернативной музыки, а в конце  фоновые звуки+оригинальная музыка. 

 

"Милые дерутся-только тешатся"

https://drive.google...iew?usp=sharing


Сообщение отредактировал DrSlon: 30 марта 2023 - 21:36

Перешел в режим пофигизма


#2 MrClon

MrClon

    Администратор

  • Администраторы
  • PipPipPipPipPipPipPipPipPipPip
  • 15 537 сообщений
  • Пол:Мужчина
  • Город:Москва

Отправлено 31 марта 2023 - 00:49

Выложил бы ещё отдельно исходный кусок и дорожки на которые его нейросеть наплостала, для тех кому лень самим тестить.

Техника походу перспективная


На самом деле будущее наступило несколько дней назад, просто никто этого не заметил.

Jabber: mrclon@jabber.ru


#3 Halfanonim

Halfanonim

    Постоянный житель

  • Модераторы разделов
  • PipPipPipPipPipPipPipPipPip
  • 2 381 сообщений
  • Пол:Мужчина

Отправлено 31 марта 2023 - 00:57

Помню, в Аудасити есть функция отделения голоса от бекграунда, но чет она не особо помогла. Может, хоть здесь чет получится.


Изображение

#4 MrClon

MrClon

    Администратор

  • Администраторы
  • PipPipPipPipPipPipPipPipPipPip
  • 15 537 сообщений
  • Пол:Мужчина
  • Город:Москва

Отправлено 31 марта 2023 - 02:29

Думаю там просто разделение по частотам или что-то такое, а тут заявляется некая нейросетевая магия. Машинлёгнинг, диппфистинг, вот это вот всё


На самом деле будущее наступило несколько дней назад, просто никто этого не заметил.

Jabber: mrclon@jabber.ru


#5 notimer

notimer

    Пессимист сайта энтузиастов

  • Модераторы разделов
  • PipPipPipPipPipPipPipPipPip
  • 1 532 сообщений
  • Пол:Мужчина

Отправлено 01 апреля 2023 - 09:19

Пользовался сайтом https://mvsep.com/ru/, пока не открыл для себя другую нейронку, которая хавает и выдает куда более глубокое разделение.
А какая эта нейронка не скажу, сасите пидары!



#6 DrSlon

DrSlon

    Почти местный слон

  • Модераторы разделов
  • PipPipPipPipPipPipPipPipPip
  • 1 222 сообщений
  • Пол:Мужчина
  • Город:где-то в низовьях Дона
  • Интересы:Что-нибудь делать в перерыве между едой.

Отправлено 01 апреля 2023 - 20:10

Если ты имеешь ввиду lalal.ai, то она не умет отделять фоновые звуки от музыки. 


Перешел в режим пофигизма


#7 DrSlon

DrSlon

    Почти местный слон

  • Модераторы разделов
  • PipPipPipPipPipPipPipPipPip
  • 1 222 сообщений
  • Пол:Мужчина
  • Город:где-то в низовьях Дона
  • Интересы:Что-нибудь делать в перерыве между едой.

Отправлено 01 апреля 2023 - 21:42

Для проверки возможностей нейросети  https://mvsep.com/ru/ поэкспериментировал с русскоязычной озвучкой. Огрехи конечно есть, но вполне можно использовать как основу для альт. перевода русских фильмов. Примеры с разными полученными дорожками во фрагменте: 

https://drive.google...?usp=share_link


Перешел в режим пофигизма


#8 notimer

notimer

    Пессимист сайта энтузиастов

  • Модераторы разделов
  • PipPipPipPipPipPipPipPipPip
  • 1 532 сообщений
  • Пол:Мужчина

Отправлено 02 апреля 2023 - 10:18

Если ты имеешь ввиду lalal.ai, то она не умет отделять фоновые звуки от музыки. 

Нет, не её, есть гораздо лучше.



#9 DrSlon

DrSlon

    Почти местный слон

  • Модераторы разделов
  • PipPipPipPipPipPipPipPipPip
  • 1 222 сообщений
  • Пол:Мужчина
  • Город:где-то в низовьях Дона
  • Интересы:Что-нибудь делать в перерыве между едой.

Отправлено 06 июня 2023 - 22:13

Свежий видосик от Димы Череватенко ("лицо" пиратского профессионального дубляжа студии RHS) на тему нейросетей в озвучке


Смотреть на YouTube

Ролик длинный, кому лень смотреть: Со времен Апы и озвучки ботами они ушли вперед. Но не сильно. Механическую озвучку сразу слышно, например слово "бухАть",  нейросеть читает как бУхать :sm34:


Перешел в режим пофигизма


#10 DrSlon

DrSlon

    Почти местный слон

  • Модераторы разделов
  • PipPipPipPipPipPipPipPipPip
  • 1 222 сообщений
  • Пол:Мужчина
  • Город:где-то в низовьях Дона
  • Интересы:Что-нибудь делать в перерыве между едой.

Отправлено 06 июня 2023 - 22:16

Свежий видосик от Димы Череватенко ("лицо" пиратского профессионального дубляжа студии RHS) на тему нейросетей в озвучке


Смотреть на YouTube

Ролик длинный, суть в следующем: Со времен Апы и озвучки ботами они ушли вперед. Но не сильно. Механическую озвучку сразу слышно, например слово "бухАть",  нейросеть читает как бУхать :sm34:


Перешел в режим пофигизма


#11 Jimmy J.

Jimmy J.

    Активный участник

  • Модераторы разделов
  • PipPipPipPipPipPipPip
  • 464 сообщений
  • Пол:Мужчина

Отправлено 08 июня 2023 - 05:22

Да пизда придет. Параллельно развиваются разные подходы.

 

Клонирование голоса  - сократит количество специалистов сфере скорее всего. Будут голоса известных артистов типа Бурунова или Севки Кузнецова, которым повезло попасть во время когда прогресс наложился на их известность, они могут в теории получать отчисления, ноунеймы если и будут, то будут либо еще меньше получать, либо работать голосом на который потом накладывается голосовая маска Севки или Бурунова.

Если разовьется технология перевода на другой язык с сохранением интонаций то дубляж в принципе отвалится (можно сюда добавить автолипсинг нейронки который уже есть)

Текст ту спич в дубляж не засунешь скорее всего, либо засунешь хуй знает через сколько лет, такая ИИ должна понимать контекст, эмоции и т.д.

Текст ту видео ебнет кино.

Закадр отвалится быстрее дубляжа.

Аудиокниги быстрее закадра.

 


:huh:


#12 Alex666

Alex666

    Житель форума

  • Пользователи
  • PipPipPipPipPipPipPipPip
  • 604 сообщений
  • Пол:Мужчина
  • Город:где-то между Николаевом и Одессой
  • Интересы:Электроника, рок, мотопутешествия.

Отправлено 08 июня 2023 - 12:44

И да грядёт Апокалипсис!

Кино, как таковое, сейчас-то неинтересное совсем (посмотрев что-либо сегодня, назавтра не можешь вспомнить - о чём был фильм), а после тотальной пизды в виде подключения ИИ к озвучке (а там глядишь - и к созданию сценария с режиссурой) оно превратится в хер знает что. И ведь это ещё только начало...конца.


"Не надо прогибаться под изменчивый мир - пусть лучше он прогнётся под нас." 

                                                                                                       А.Макаревич "Машина Времени"

#13 v_kosmin

v_kosmin

    Житель форума

  • Пользователи
  • PipPipPipPipPipPipPipPip
  • 886 сообщений
  • Пол:Мужчина
  • Город:г. Москва
  • Интересы:футбол, чтение, кино, музыка и многое другое...

Отправлено 28 июля 2023 - 16:19

Главное в фундаментализме доктрины - не потерять голос. Свет, камера, мотор - и начинаются "ладушки". Лучшая награда за труды - пельмешки от Олешки... 

 

https://youtu.be/nykEMiwqg6I




Количество пользователей, читающих эту тему: 1

0 пользователей, 0 гостей, 0 скрытых пользователей


    Facebook (1)