mikaprok (mikaprok) wrote,
mikaprok
mikaprok

Двойник


Что у нас происходит на переднем краю науки-техники?

Порой случаются забавные включения в политическую повестку.

Вот небольшой пример.

Считается, что вообще с помощью нейросетей можно сделать +/- похоже сэмулировать видео.

Нужно загрузить достаточное количество мимических образцов (сэмплов), соответствующее аудио и поставить будильник на пару часов (или дней, в зависимости от вычислительных мощностей).

Проблемы такого подхода выявляются практически всегда в качестве полученного продукта: лицо, походка или жесты получаются похожими, но пугающе ненатуральными в деталях.

Этот эффект известен под названием «uncanny valley».

Не испугавшись неприятностей, группа разнорабочих из Университета штата Вашингтон попробовала этим манером сконструировали речь Барака Обамы.

Сетка получила на вход 14 часов говорящей головы и 5-минутную речь.

Для имитации использовали фрагмент совершенно другого монолога, практически не совпадающего по звуковому ряду с той речью, которую предстояло произнести.

Кое-где машина корректировала наклон головы или положение челюсти в процессе речи, чтобы сделать изображение максимально правдоподобным.

Собственно в полной версии видео есть прогресс через три минуты, час, семь и 14 часов обучения. Чем дальше в лес, тем больше дров и неотличимей становится г-н экс-президент от своего двойника.




Кое-где виден (это если присмотреться) лишний подбородок или движения языка пару раз кажутся для англоязычного спикера ненатуральными, а в целом – полная копия.






Для зала аэропорта или всевидящего ока из «1984» самое то.

Я так понимаю, несмотря на все разговоры, при длительном обучении проблем уже не должно быть 2-3 года минимум.

Можно себе представить, ЧТО именно можно при желании изготовить в абсолютно натуральном качестве, если не экспериментировать, складывая случайные части паззла, а целенаправленно работать пару-тройку месяцев с участием всех заинтересованных сторон.

«Wag the Dog» по сравнению с этим детский лепет.

Как говорится, добро пожаловать в сериал «Черное Зеркало» :-)


https://telegram.me/mikaprok

Tags: #имитация, #наука, #нейросети, #обама, #сериалы, #сша, science, trivia, usa
8

Можно будет "оживить" умерших актёров, да и политиков

Да и всех остальных, кто себя долго снимал :-)

Кстати, в Wesworld же делали вставку с молодым Хопкинсом по этой же методе. Просто он там молча ходил :-)

Королева, кстати, тоже молча последнее время ходит)

Что как бы намекает :-)

Надо бы проверить, этой же технологией )

Кого-то оживить, а кого и наоборот)

Deleted comment

Що ти гутаришь хлопиц?

Да вообще то оживление мертвецов - с помощью CG , давно доступно. Немного технологии захвата движения и давно умерший актер или политик снова жив. Впервые полноценно это было применено в ... Небесный капитан и мир будующего.

Те же нейросети в отличие от чистого и понятного cg - требуют как то фальсифисицировать изначальный фрагмент голоса. А значит для манипуляции и вброса. Мы должны или предоставить актера озвучки о очень похожим голосом. Или из десятков речей - скомпилировать нужный нам фрагмент речи. Да. И при замедлении скорости видео, нейросети будут узнавать по артефактами и скачками.а самое главное по тому что такую говоряшую голову - мы уже видели.

mikaprok

July 15 2017, 22:25:42 UTC 2 years ago Edited:  July 15 2017, 22:26:05 UTC

Нейросети технология пока несовершенная, тут я согласен. Однако они могут становится лучше градуально, а не скачками, как CG, поэтому в целом более перспективны.

Я увидел гигантскую разницу с тем, что наблюдал 1,5 года назад. Думаю, через полгода никакое замедление уже не поможет :-)
Дело в том. Что это все будет легко палитсья, при внимании и желании По одинаковости картинки. Когда на выходе одно и то же . То есть одна и таже говорящая голова с одинаковыми поворотами. Cg - же может передавать живого актера с разных ракурсов.
Пока нужно присматриваться. Потом уже будет не нужно.

Нейросети в целевом векторе очень дешева и универсальна, в отличие от CG. Хотя там есть похожий кусок математики, насколько я понимаю.
Нейросети в современном виде. (Без обратной связи в реальном времени) Это на самом деле - не более чем с неявно заданным обучением -экспертная система. На самом деле - раз нейронные система справляется - то значит на ее основе - можно сделать прямой редактор из звука в картинку, без "мусорной"информации.

Так как любая попытка сделать НС с обратной связью - вешает все ресурсы системы на ее обработку. Это проблема железа, а не по.
А обратная связь - это необходимая функция разума.
софт Lyrebird уже позволяет сфальсифицировать фрагмент голоса. Практически безупречно.
Результаты впечатляющие, хотя порог uncanny valley перейти не получается пока что. В фильмах вот было несколько воскрешений, но ни одного убедительного.
Думаю, уже прошли. Где надо :-)
Ни одного примера не видел, по крайней мере там, где пытались воссоздать лицо целиком, с убедительной работой десятков мимических мышц. Сгенерированную текстуру рта на уже существующую запись может уже накладывали. Те же нейросети кстати должны легко палить такие записи, если скормить им весь видео архив записей с человеком. Но это конечно не отменяет того, что технология крутая.
Я предположительно видел несколько таких примеров. Говорю именнов сослагательном наклонении по причине сомнительности, но визуальной неотличимости.

Работа нейросетей будет всецело зависеть от машинных мощностей. Поэтому можно угадывать, но только с учетом тех же возможностей :-)
> «Wag the Dog» по сравнению с этим детский лепет. Как говорится, добро пожаловать в сериал «Черное Зеркало» :-)

Да как бы не "Generation П". Особенно если американцы по вычислительным мощностям опустят или поднимут.



Останется себя колоть себя чем-нибудь острым, чтобы лишних вопросов не задавать. Например, булавочкой. АНГЛИЙСКОЙ.
Пожалуйста, разблокируйте комментарий: там ничего криминального, только фрагмент "Generation П" с президентом Смирновым по теме поста.

Anonymous

July 16 2017, 11:23:31 UTC 2 years ago

Generation П же. При работе сообща всех заинтересованных сторон технически длступно со времен "Титаника". Первый кандидат в ожившие мертвецы - Осама. Стабильный серый задник, статичная поза, лицо дополнительно завешено бородой и головным убором, вещал на незнакомом ЦА языке - читающие по губам не спалят. После закрытия проекта носитель исходного кода могли торжественно выкинуть с борта вериолетоносца в Аравийское море. ))
Лично меня смутило несоответствие текста и эмоции. Настоящий говорит о расстреле огорченно, видно, что он действительно расстроен, — а искусственный просто оттарабанивает текст с выражением полного равнодушия на компьютерном лице. Но страха и отвращения это лицо не вызывает, уже хлеб. :)
Научатся, я думаю :-) Это такая технология, которая развивается постепенно.
Лицо не компьютерное, а настоящее. Они вырезали из лица с архивоного видео рот и заставили его шевелиться в такт определенному тексту, потом наложили этот шевелящийся рот на видео. Поэтому рот размытый, но это незаметно, потому что все смотрят на глаза, а глаза настоящие. И да, поэтому в некоторых видео несоответствие эмоций тексту.
Можно еще пофантазировать на тему записей с камер видеонаблюдений и прочих матрасов. С одной стороны, там сцена сложнее, но с другой стороны качество ожидаемо хуже, в отличии от новостей, которые скоро в 4к будут, да и база данных накоплена кигантская.

С другой стороны, когда это попадет в массовое сознание то любой Шендерович сможет сказать, что это все фотошоп нейросеть.
У известнейшего ЖЖиста Богемикуса, среди прочего, сегодня:
У Астеррота вы буквально на следующий день после голосования сможете прочесть, какую роль в победе Трампа сыграли спецслужбы и отставные военные.
У меня руки чешутся написать, что у Микапрок вы это задолго до выборов найдёте))
Как Вы на это смотрите? У него очень большая аудитория, и разношёрстная... следствия возможны всякие...
:-) Спасибо за рекламу моего скромного начинания.

Думаю, правда, предсказатель из меня чуть более качественный, чем тем мартышки в Чикаго, которые случайно ставили на биржевые слоты в известном эксперименте.
Ок)) Я знаю ЖЖистов, высказывавших нежелание расширения своей аудитории, поэтому уточнила.
Интересно, кто эти ЖЖисты? :-)
А можно будет например так "оживлять" покойных родственников. Ну там умерших деда, отца? И чтобы не только актерская игра, а что-то большее? Как в Моратории у Дика.
Думаю, никто не мешает :-)