Мир Генеративного ИИ: Перевод и Технологии Видео

Стартап Panjaya, основанный израильскими специалистами по глубокому обучению Хиликом Шани и Ариэлем Шаломом, представил на рынок инновационный инструмент для озвучивания видео — BodyTalk. Этот продукт позволяет создавать гиперреалистичный перевод с сохранением оригинального голоса, подстраивая движения говорящего на видео, чтобы соответствовать новому языку. Такой подход к генеративному ИИ стал возможен благодаря уникальной технологии Panjaya, разработанной для естественной синхронизации речи и мимики.

После трех лет разработки Panjaya привлекла 9,5 млн долларов внешнего финансирования, а к команде присоединился опытный Гай Пиекарц. Этот специалист, ранее продавший Apple свой стартап по рекомендациям видеоконтента, помогает компании продвигаться в бизнес-среде, нацеленной на B2B рынок.

Возможности BodyTalk включают аудиоперевод на 29 языков с автоматической подгонкой артикуляции под новые фразы. Пользователи могут загружать свои видео на платформу, где система преобразует ролики, адаптируя их к особенностям нового языка. Panjaya также планирует внедрить API и стремится обеспечить практически моментальную обработку, что делает её решение привлекательным для крупных компаний. В числе клиентов Panjaya уже значатся TED и JFrog, которые отмечают рост вовлеченности аудитории при использовании дублированного контента.

Компания акцентирует внимание на безопасности технологий и стремится защитить свои разработки от злоупотреблений. Гай Пиекарц объяснил, что Panjaya создаёт «глубоко реалистичные» видео, избегая ассоциаций с термином «deepfake», часто имеющим негативный оттенок. В будущем компания рассматривает возможность добавления водяных знаков для защиты от недобросовестного использования синтетических медиа.

На международном рынке перевод видеоконтента становится важным, так как исследования показывают, что аудитория предпочитает контент на родном языке. Panjaya предлагает решение, которое может заменить субтитры, делая видеоконтент более естественным и вовлекающим, что подтверждается статистикой от TED: дублированные с помощью Panjaya видео показывают рост завершенных просмотров на 115%.

Среди конкурентов Panjaya — такие известные компании, как Vimeo и ElevenLabs, а также небольшие стартапы. Однако команда Panjaya верит, что их подход к генерации контента и высокое качество синхронизации обеспечат продукту сильные позиции на рынке дублированного видео.