不再担心配音“销毁”电影? AI可以使翻译制作

 行业动态     |      2023-03-18 23:20

  参考新闻网络在5月25日报道说,英国“泰晤士报”网站最近报道说,人工智能技术将有助于改善电影配音方法。

  一位gump的母亲告诉他,生活就像一盒巧克力,当电影翻译成另一种语言时,您永远都不知道会得到什么。

  如今,英国电影导演正试图使用​​人工智能(AI)技术来完全改变我们观看外国电影的方式:通过数字编辑演员的脸,似乎他们说电影即将被称为演唱。与外语相同。

  斯科特·曼(Scott Man)在2015年由罗伯特·德·尼罗(Robert de Niro)主演的惊悚片《双向救济》(Double -Lises Relief),但被这部电影的配音版震惊。他受到了启发,并创建了自己的开端公司“完美无瑕”。

  通过AI技术的改进,电影配音可以更真实

  导演说,在枪击事件中,迪利亚(Dinilla)将花几周时间讨论某个场景,并询问角色的袖扣或袜子会佩戴。但是,当电影被称为配音时,他的表演被de污了。现年41岁的斯科特·曼(Scott Man)发现,电影中整个段落的整个对话都经过修改,以使外语线条更接近丁洛的嘴巴形状。

  他说:“这是令人心碎的。我们一直在剧本挣扎了几个月。应该争论哪些线条和应该说些什么,然后我看到了外语的外语版本。台词都改变了。一切都改变了。感觉很难。”。

  人工智能使配音效果“完美无瑕”

  在找到更好的解决方案的过程中,斯科特·曼(Scott Man)受到德国马克斯·普朗克(Max Planck)信息学院的启发,后者已致力于通过数字化重新生成面部图像。

  这项研究为创建“无瑕”公司的创建做出了贡献。该公司使用人工智能系统通过数百万个微妙的变化来研究演员的头部,颈部和口腔运动,这可以从每个框架中积累知识。

  该人工智能工具从电影中提取演员的2D面部图像,并将其复制成3D图像。新的头像结合了我们在使用电影声音时对人们的口腔动作的现有理解。

  该工具可以在说该语言时计算某个演员的口腔运动,以创建每个帧的新3D头模型。

  实施此步骤后,将输入配音演员的录制系统,并将图像重新转换为2D。下一个保湿工作由特殊效果团队完成。由“完美”公司发表的编辑表明,电影“ Agan传记”中的汤姆·汉克斯的嘴巴可以与日语,西班牙和德语的线条无缝连接,以及杰克·妮可·莫里(Jack Nicole Mori)的嘴巴与汤姆·克鲁斯(Tom Cruise)的嘴巴形状。 Xiongfeng“几乎与法国配音完美同步。斯科特·曼曼(Scott Manman)说:“这将改变我们在全球模型中的消费方式。”

  他说:“我们将能够欣赏各种语言和电视,我们甚至不会意识到他们最初使用的语言。语言障碍将消失。”

  该公司的共同创始人尼克·莱恩斯(Nick Leines)表示,该过程与“ Deepfake”技术不同,后者是提取名人的脸2D图像,然后用它将其放在其他人的身体和负责人身上。现年46岁的莱恩(Lane)说:“人工智能技术可以计算使用另一种语言时每个表演者的口腔运动的特定方式,但它将保留其独特的风格。”

  斯科特·曼曼(Scott Manman)说,当他在人工智能后展示演员表演时,他们被惊呆了。他说:“每个看过我的人都表演:‘哇,我可以说法语。’”

  这家“完美无瑕的”公司表示,它正在与电影公司接触,并正在与最大的流媒体平台之一合作。

  随着Naifei等流媒体平台的出现,人们对配音的需求增加了。在这些平台上,会说英语的观众可以观看外国节目,例如法国“找到我的经纪人”,西班牙的“纸币钞票”和丹麦的“权力要塞”。

  如何消除人工智能的语言障碍

  该系统通过人工智能的组合运行。

  人工智能系统将扫描电影中的每个框架,以观察演员在讲话时的头部,颈部和口腔运动。

  在了解谈论这位演员的独特方式之后,该系统将创建他的头部3D模型。

  然后,工程师运行一个程序,该程序在使用配音语言时会了解人们的典型口腔动作,并可以在使用这种特定语言时计算演员的独特口感。

  配音演员将使用这种新语言输入系统。

  接下来,该系统将为演员的每个框架创建一个新的Actor Head 3D模型,并使用这种新语言创建演员的面部运动,以确保它可以覆盖显示其单词的每个相机。角度。

  这些图片随后放在现场演奏性能的版本上。最终的保湿工作可以由特殊效果团队完成。 (编译/王雷)

  本文的来源:参考消息

  报告/反馈