重塑
创意行业
• 趋势文章
创意领军人士如何利用高计算趋势来推动所在行业实现新突破
内容
• 3D
对于 3D 技术的需求
• AI
拓展创造力的边界
• (n)K 分辨率
对于超高像素的迫切需求
技术趋势正掀起创意行业革命
如今,大多数创意人士的工作都与发展迅速的数字领域紧密相连,而这一领域所涉及的技术仿佛时刻处于变化之中。在 3D、人工智能和超高分辨率等不同领域,不断进步的技术正在不断地重新定义各种可能性——从实时渲染的全交互式光线追踪 3D 模型,到能够适应各种显示需求且与分辨率无关的纹理模型,再到现实生活中通过增强现实所实现的虚拟零售体验。与此同时,艺术家和设计师们也越来越擅长利用新的技术工具取得突破性成果:旨在提升工作效率,简化工作流程,创作出面向未来的作品。
很少有一项技术像 3D 渲染这样发展得如此迅速,能够在短时间内变得对现代工作流程如此重要。经过几十年的计算革新后,处理能力已经达到了相当高的水准,创意人士现在可以实时处理 3D 模型,无需进行可视化预览,也不用在渲染上耗费大量的时间。数字工匠和惠普 Z 系列大使 Alex Trochut 用了一个贴切的比喻来形容这种变化:“这就像步履蹒跚的老人变成了驾驶宇宙飞船的航天员。”无需再等待渲染让工作流程的效率大幅提升。
随着创意人士欣然接受这一技术以外,3D 技术正逐步进入各行各业。Maxon 首席执行官 David McGavran 介绍了他们在 3D 套件中比较常用的应用。“我们将 Cinema 4D 用于动态图形、游戏开发、一般设计、音乐会和舞台活动的现场设计,以及建筑、工程、科学和医学应用的可视化。”事实上,3D 技术的应用范围远不止此;那些曾经只出现在科幻小说中的应用(如虚拟现实和增强现实)现在都已成为创作者们日常使用的 3D 工具。
要想跟上如此快速的变化节奏,现在的分辨率水平还不够理想。无论是照片、视频,还是 VR 体验中的对象纹理,创作者们越来越需要在项目中充分考虑未来趋势。“在 Avid 内部,我们向来遵循分辨率无关性原则,”Avid Technology 建筑部副总裁 Shailendra Mathur 说道,“这也是为什么我们将其称为 (n)K 分辨率。任何比例,任何分辨率。在过去数年中,我们从 SD 一路提升到 HD、UHD,现在更是发展到 8K。我们相信这种趋势还会继续下去。”
与之相似的是,人工智能 (AI) 多年来一直是一个热点话题,专家们早就预测到 AI 的崛起将对许多传统工作构成重大威胁,如今,这些工作基本上都可以由机器来完成。但 AI 的真正未来也有着不同方向。AI 技术正植入到各种工具中,成为创意人士的隐形助手。
Microsoft 产品组合、解决方案和市场营销副总裁 Mark Linton 表示:“越来越多的客户希望技术能够理解他们的意图,也期待软件界面变得更加直观。”
从 Photoshop 中的内容感知填充,到可以在 3D 渲染中重现逼真环境的摄影测量工具,AI 正在从各个方面重塑着软件行业。
有鉴于此,创作者到底该如何与工具进行交互,仍然是一个令人期待的创新领域。技术正逐渐退到幕后,以一种潜移默化的形式影响着我们的生活,计算机应用场景的减少和鼠标与键盘接口的消失就很好地表现了这种趋势。艺术家现在已经习惯使用手机而不是显示器来处理对色彩精度要求较高的项目,过去需要通过键盘来输入的内容如今可以在增强现实的帮助下完成。“我认为,在不久的将来,触控功能将成为每个屏幕的标配,”视觉艺术家、导演和惠普 Z 系列大使 Shane Griffin 说道。
我们将在“重塑创意行业”部分深入探讨这些主题。
3D:对于 3D 技术的需求
很少有其他现代技术能够像 3D 技术这样具有广泛的渗透力。从 3D 游戏和充斥着大量视觉特效的好莱坞大片,到制造业和时尚业中的应用,3D 图形在广泛的产品、技术、工作流程和行业中扮演着关键的角色。由于 3D 主要是在数字环境中建模和模拟对象,因此这项技术开始越来越多地被各个行业用于实现可视化。
3D 技术的普及在一定程度上推动了自身的发展。根据 Grand View research 发布的报告,2018 年全球 3D 动画市场的价值接近 140 亿美元,预计到 2025 年市场价值将以至少 11% 的复合年均增长率不断攀升。1
一些行业正处于大规模转型的阵痛之中。例如,制造业企业对于 3D 技术的使用可以追溯到几十年之前,而时尚业等其他行业才刚刚尝到 3D 技术为整个工作流程带来的“甜头”。在过去,艺术家们需要花费数小时或数天的时间对复杂场景进行渲染,而现在,他们可以在几分钟内打造出逼真的视觉效果。大部分企业都能从如此高效率中获益。
140 亿美元
3D 动画市场价值
实时渲染推动工作流程转型
从传统意义上来说,在创建高质量可视化所需的各类资源中,资源成本较高的是时间,确切地说是渲染时间。“强大的计算能力改变了一切,”Adobe 3D 和沉浸式业务副总裁 Sébastien Deguy 表示。Maxon 首席执行官 David McGavran 详细阐述道:“过去,渲染细节非常复杂的场景需要耗费数小时甚至是数天的时间,而现在,像 Redshift 这样可靠的 GPU 渲染器可以将这个时间大幅缩短至数分钟。”如今,我们能够以每秒 24 或 30 帧的速度创建逼真的渲染,而且不会出现明显的延迟。这些硬件性能上的惊人进步也推动了实时图形引擎的发展,进而为电脑游戏领域注入了非同一般的活力。作为业界知名的两款创作引擎,虚幻引擎和 Unity 为各类游戏提供图形支持,其中包括数百款深受玩家喜爱的热门游戏。但是他们所用的渲染引擎并非专门用于游戏行业。“这项技术虽然源自游戏,但如今却广泛应用于各个领域,”Adobe 3D 和 AR 工程总监 Ross McKegney 说道。
好莱坞正在积极采用这些实时渲染工具,以便能始终领先一步。在 21 世纪 00 年代,导演们在绿幕前拍摄电影里的特效,并在演员周围设置丰富的 3D 环境。但当时的技术还只支持对采用数字化方式拍摄的场景进行可视化预览。
借助现代化的实时渲染,导演们可以在摄影机中看到逼真的可视化场景,这使得他们能够在拍摄工作尚未完成的情况下,提前了解影片的最终呈现效果。视觉特效工作室 The Mill2 一直以创新的方式将实时渲染和动作捕捉相结合,让客户可以实时创建可以全真实的内容。在过去,如果您想将电脑生成的创意转化为视频画面,可能需要花几个月的时间来编写脚本,进行捕捉演员动作的拍摄,然后再花费大量时间完成渲染。如果需要重拍呢?就得全部重来。而现在,The Mill 可以在捕捉演员动作的同时,以逼真的方式将其渲染为一个全真实的 CG 角色,从而将整个工作流程的用时从数月缩短至数小时。CG 角色能够即时反映镜头铺捉到的动作,方便导演和客户清楚地了解影片的呈现效果,而无需花费数周的时间进行复杂的后期制作。
“这项技术虽然源自游戏,但如今却广泛应用于各个领域”
Ross McKegney
Adobe 3D 和 AR 工程总监
除此之外,还有类似的工作室 Cyclops 工具包,能够与虚幻引擎结合使用,制作人可以将逼真的汽车渲染画面插到快节奏的公路赛镜头中。通过拍摄车身覆盖着标志物的“模板”车辆,再对它进行“换皮”,即可以难以察觉的方式进行替换。
摄影测量让现实与虚拟两相结合
建好 3D 模型后,您又该如何创建它们所处的世界呢?当然,您可以从零开始构建一个新的 3D 环境,但创建这样的内容不仅成本高昂,而且非常耗时。摄影测量——利用真实物体和场景的照片重建 3D 模型的能力——这是一款新兴的强力工具,能够助力实现 3D 内容创建自动化。
“我们想要做的是捕捉足够多的真实世界画面,这样我们就能以虚拟方式呈现整个真实世界,”Epic Games 虚幻引擎总经理 Marc Petit 说道,“我们不可能扫描地球上的每一块岩石,对吧?这完全不切实际。但我们可以使用机器学习技术扫描足够多的岩石,然后根据具体的需求,生成形状各不相同的岩石。”去年,Epic Games 收购了摄影测量领域的领军企业 Quixel,并向艺术家免费提供了数万个基于摄影测量的数字资产。
这项技术已广泛应用于电影和其他应用,如建筑渲染。
3D 成为主流
另一个推动 3D 成为主流的因素是基于物理的渲染 (PBR),这项新兴的技术可以根据物理属性定义 3D 模型中的纹理和表面。“在 PBR 问世之前,如果想要渲染某张图像,需要先让程序员编写代码来定义场景的渲染方式。“McKegney 表示,“这是一项技术含量很高的工作。而在 PBR 帮助下,设计师自己就可以完成渲染工作,只需指定物理属性来创建模型即可。这可比编写自定义代码的效率高多了。”
得益于这一技术进步,无数企业能够将 3D 成像融入到他们的产品开发、设计和营销工作流程中;设计师可以将逼真的纹理纳入日常使用的创意工作流程之中。
时尚品牌 Deckers 的创新总监 Chris Hillyer 是将 3D 技术用于鞋类设计方面的先驱人物。“这项技术在其他行业早已取得巨大成功,我只是对它做了一些调整而已,”他说道。在 Hillyer 的带领下,Deckers 已经转向数字优先的设计理念,用 3D 建模软件制作鞋类产品,然后尽力放大这种设计方式在制造、销售和营销中能够带来的效率优势。得益于其结合了计算能力,实时渲染,以及从专用程序员到创意设计师的角色转换,才得以实现这一工作流程。
Hillyer 面临的主要挑战之一是如何摆脱长久以往使用的缓慢且易出错的工作流程,当时是由设计人员在纸张上完成鞋类的设计图,然后再发送给亚洲的制造合作伙伴。“我们只能双手合十,祈祷他们能够理解我们的理念。我们希望他们能看懂鞋子的侧视图,并顺利地将其变成三维的产品,”Hillyer 说道。如今,这种合作方式已发生了天翻地覆的变化——3D 设计的兴起,让制造商离成功更近一步。3D 设计可以提供所需材料的准确信息,并且材料清单会在每次修改设计后自动更新。
除了制造流程之外,其他流程的效率也得到了很大提升。“如果某款靴子有 17 种颜色,你可以先制造出其中一种颜色的产品,然后用 3D 模型展示其他颜色,这样你就不用再向世界各地的制造厂发送成千上万个样品了,”Hillyer 说道。
在对真实世界中的对象进行建模时,尤其是在时尚和家居设计领域中,准确地表现出纹理、面料和其他材料时至关重要。3D 开发人员已经能够直面这一挑战。例如,设计师可以使用一款叫做 CLO 3D3 的 3D 工具来创建和可视化 3D 版本的服装,甚至可以看到服装穿在人身上时的动态效果。Browzwear 4 是一款功能与之类似的工具,可与 Fabric Analyzer 搭配使用,其可以准确地测量面料的厚度以及拉伸和弯折性能,3D 设计软件能够利用这些特性确切地模拟面料在真人身上的穿着效果。
VR 开启全新视角
在过去几十年中,我们与计算机的交互都是扁平化的,即在二维空间中工作、玩耍和娱乐。即使一些内容描绘出来是三维的,但也必须在平面屏幕上显示。这样的时代即将终结——未来正在实现真正的 3D 体验。
3D 已经开始通过虚拟现实 (VR) 进入消费者和商业应用的主流市场,这是一种立体式的体验,可以模拟出全沉浸式的 3D 环境。在一系列积极因素的促进下,包括开发出足够强大的 GPU 来渲染实时立体视觉效果,以及呈爆发式发展的商用 VR 头戴式显示器,大多数用户有机会享受到身临其境的 VR 体验。
这一巨大的转变始于几年之前,前沿创意人士必须先根据自己的需求打造出相应的硬件,然后才能尽情探索 VR 世界。Emblematic Group 创始人兼首席执行官 Nonny de la Peña 回忆了她在 2012 年带领团队创建 VR 项目 Hunger in LA 时所面临的复杂挑战。“谢天谢地,现在我再也不用自己制造实体设备了,”她说道。据她回忆,为了在圣丹斯电影节上展示她的作品,她不得不自己采购镜头、利用 3D 打印技术制作眼罩以及购买跟踪摄影机,只为拼凑出一款符合需求的设备。幸运的是,在她开始创作时,正好赶上了 VR 行业发展的大好时机;后来的 Oculus 创始人 Palmer Luckey 曾在南加州大学实验室实习,而 de la Peña 当时是该实验室的一名研究员。
“VR 以一种非常有趣的方式,同时与人类大脑的两个部分进行交互。一个部分让我们感觉身临其境,另一部分让知道我们并未身处其中”
Nonny de la Peña
Emblematic Group 创始人兼首席执行官
如今,创意人士可以充分利用各种商用硬件,帮助推动 VR 向前发展。作为一名记者,de la Peña 尤为重视用户内心对 VR 的真实感受。“没有什么能与其相提并论,VR 能够以一种非常有趣的方式,同时与人类大脑的两个部分进行交互。一个部分让我们感觉身临其境,另一部分让知道我们并未身处其中。这种存在的二元性,即感觉自己在某处而实际身处另一处的奇妙体验,正是它作为一种强大媒介的吸引力所在。”
当然,像 de la Peña 这样的沉浸式新闻体验只是众多 VR 应用中的一个;VR 还在游戏、营销甚至商业等领域大展拳脚。Andi Mastrosavas 是 Insperience 的首席产品官,这家公司正在开发 VR 驱动的零售体验。她认为 2020 年全球各地爆发的新冠疫情有助于加速 VR 的采用,特别是在零售体验方面。“就目前而言,真正意义上的商业 VR 体验尚未诞生,”Mastrosavas 说道,“如果与在线视频相比的话,我们现在正处于 YouTube 问世之前的时代。”Mastrosavas 表示,她曾想象过 5 到 7 年后,大家日常就会在家里使用 VR 进行购物。“现在我认为现在只需 3 年就够了。”
Avid Technology 建筑部副总裁 Shailendra Mathur 愿意从更广的角度来看待 VR 在娱乐行业中扮演的角色,并总结了发展 VR 技术的必要性:“我认为,在未来的某一天,单纯的娱乐将无法满足我们,大家会开始寻找与感官运作方式相匹配的另一种现实。
“在未来的某一天,单纯的娱乐将无法满足我们,大家会开始寻找与感官运作方式相匹配的另一种现实。”
Shailendra Mathur
Avid Technology 建筑部副总裁
通过双眼观察是人类的本能,而立体 VR 带我们进入了另一层面;这是一种全沉浸式的体验。”
要想实现目标,肯定会面临多重挑战。尽管潜力巨大,VR 并没有在短时间内成为主流消费技术。诚然,头戴式装备技术取得了显著的进步,但 VR 实际上还没有充分发挥出潜力。成本的问题仍然阻碍了大规模推广。与此同时,在零售或社交环境中,VR 头戴式装备会让用户产生一种孤立之感。
XR 就是未来之所在
此外,VR 未能风靡的另一个原因在于,它并不是 3D 技术唯一的发展方向。3D 交互的真正未来很可能是增强现实 (AR) 及其“近亲”——混合现实。目前,包括制造业在内的许多行业都在探索 AR 在安全、培训、物流和维护等任务中的应用。5“我坚信 AR 终有一天会变得无处不在,”Deguy 预测道,“目前,我们已经解决了一项重要的硬件问题,能够在不受硬件干扰的情况下展示 AR 体验,因此 VR 更能代表 AR 体验的最终面貌。”
de la Peña 表示:“我更倾向于使用 XR 或扩展现实来形容这种体验,而不是 VR,因为当你在空间中创造事物时,你可以同时将它们作为虚拟现实或增强现实体验来进行探索。我认为这两种技术在将来的某个时间点将合而为一。”
设计师现在已经能够利用 AR 技术将虚拟物体放置在用户的视野中,并将其与现实环境相结合。以 Adobe 的 Project Aero 6为例,客户现在已经可以使用此产品的抢先体验版本。只需轻击一下,即可在 Photoshop 中将设计的对象轻松地导出至 AR 应用,就像将文件发送到印前处理般简单;客户可以使用他们的手机在任意现实环境中看到以全 3D 形式呈现的对象。整个过程类似于即时 3D 打印。
通过让电脑理解用 3D 数据表示的实物环境,虚拟和真实对象便可以在 AR 头戴式装备中进行交互。例如,可以将数字物体放在真实的桌面上,同时头戴式装备可以营造出虚拟物体和真实物体存在同一空间的“错觉”。通过使用跟踪设备和传感器,用户能够以不同的方式感知虚拟环境中的实体对象,并与它们充分交互。简而言之,这就是混合现实。当电脑能够理解以 3D 元数据表示的真实世界时,真实世界和虚拟世界便可以毫无阻碍地进行交互。
这将开启令人振奋的全新可能。体积捕捉解决方案(比如 4D Views 的 Holosys7)可以实时扫描现实世界中的对象并在 AR 环境中对其进行渲染,由此将物理上相隔甚远的元素插入到交互式视频中,或者创造一个“全息图”,让用户与其他人在佩戴 AR 眼镜的情况下进行双向视频对话,就像他们身处同一个空间一样。
空间计算为实现这些概念再添助力。在过去的一二十年里,流畅的体验和以人为中心逐渐成为人类与电脑交互的主要方向。我们已经从晦涩的汇编语言,变成了直接操作的鼠标和键盘,直至便捷的屏幕触控手势。空间计算让 3D 环境中的手势控制成为可能(虽然目前只能通过 VR 设备实现),这样用户就可以通过触摸虚拟界面和对象来完成交互。而空间计算也必将突破 VR 的束缚。用户现在已经能够通过像 Litho8 这样的可穿戴设备,与现实世界中的数字物体进行交互。
“3D 设计让企业能够在产品上市之前开展营销工作。”
Sarah Krasley
时尚品牌 Shimmy Technologies 首席执行官
3D 技术的挑战与机遇
潜力的兑现离不开资金投入。在过去,有抱负的设计师很难找到适合他们的 3D 设计培训课程,因为这些课程通常要求学员具备传统设计学位的知识储备,并且拥有一定的相关工作经验。初学者很难一入行就涉足 3D 设计领域。“你只能向周围的人耐心学习,而事实上,这些人可能在这方面也并没有很深的造诣。到头来,你所拥有的不过是一堆无用的试错经历而已,”视觉艺术家、导演和惠普 Z 系列大使 Shane Griffin 说道。他曾经为 Apple、Google、Microsoft 和 Adidas 等品牌制作宣传视频。但是3D 设计工具和教育的可及性正在慢慢改善。
Shimmy Technologies9 是一家时尚科技公司。他们的愿景之一便是帮助孟加拉的服装工人向 3D 制造过渡。尽管这些工人通常不能熟练地使用电脑,Shimmy 仍然渴望帮助他们提高 3D 技能。“我们专门制作了一个小型电子游戏来提升服装工人的基本数字技能,并将这些工人熟悉的车间内服装生产流程转化为 3D 模型,”Shimmy 首席执行官 Sarah Krasley 说道。
Shimmy 通过建立一个界面,让工人把他们已有的缝纫机衣服制作知识应用到高价值的数字 3D 工作中。Krasley 表示:“如果没有人工智能的助力,这项工作是不可能完成的,”据她介绍,软件能够用工人们平时所说的孟加拉方言与他们进行交流。这样做的结果?许多工人获得了晋升,薪资水平变为以前的 2.5 倍。
这些变化不仅仅发生在孟加拉。实时交互 3D 设计不再像过去那样门槛高筑,艺术家即使没有传统设计方面的学习经历,也能够如愿以偿地进入这一领域。例如,Unity 就发布了两款用于课堂教育的工具:Create with Code10 和 Unity Teach11。Unity Teach 是一个功能强大的平台,可以帮助教育者扩展 STEM 主题教学技能,而 Create with Code 是一套完整的 Unity 编程学习课件,包括教师模块、测试和练习答案,学生在完成学习内容后可以申请获得 Unity 认证的程序员证书。
在更强大的工具、更丰富的教育培训机会和不断扩大的应用领域的推动下,3D 技术正逐渐成为主流,但这项技术在大获成功的同时也开始面临一些挑战。早在 2004 年,就有一部电影就因使观众出现恐怖谷效应而受到批评,原因是 CG 角色的视觉呈现效果似人而又非人,触发了大脑后部的预警机制,引发了观众的不适。
但这种情况如今已有所改善。由 Epic Games 和 CubicMotion 等工作室合作开发的实时数字女性 Siren12 可以说与真人并无二致。Siren 的脸部效果(包括眼球运动、面部表情和皮肤纹理)表明出了当今的技术高度,也从侧面印证了恐怖谷效应问题可以得到彻底的解决。
影响
3D 领域是创新者的乐园,因为这项技术的应用范围如此之广,让艺术家和设计师都乐此不疲。
传统的 2D 行业正在向 3D 转型,甚至是像时尚业这样传统工作流程可以追溯到数千年前的行业也不例外。“3D 技术对时尚业的影响是多方面的,”Krasley 说道,“利用数字手段进行原型设计可以节省大量时间。3D 设计让企业能够在产品上市之前开展营销工作。如果你有 3D 市场营销模型,就可以用来设计产品在商店中的摆放场景。你甚至可以在一些 CAD 平台上举办时装秀,这样你就可以看到不同的服装在模特身上的穿着效果。”Krasley 还表示:“同样的模型也可以用来为最终用户提供 AR 和 VR 体验,帮助他们做出明智的购物选择。”
但是,如今各个行业都在以不同的方式应用 3D 技术,我们必须尽快解决迫在眉睫的标准问题。Hillyer 对此表示赞成:“我有幸参与到了 3D 零售联盟的多个不同创新委员会的工作中。对于整个行业而言,我们正试图针对材料的扫描和存储方式以及用于描述材料的各类相关数据设立统一的标准。”在决心解决此问题后,Hillyer 已开始着手开发一款名为 Material Exchange 的在线平台13。它可以作为一个标准平台,让业内的时尚公司以统一方式安全地扫描和存储材料数据。
有关标准化的讨论正在各行各业持续发酵,这些行业一方面积极采用 3D 技术,另一方面也因复杂性方面的挑战而感到头疼不已。现在正是克服挑战的好时机,因为随着实时渲染、混合现实的快速发展,以及 3D 技术在各个行业中的迅速普及,在不久的将来,现实世界中的每个事物都会有一个数字双胞胎,即与其相对应的 3D 元数据集,人们可以通过 3D 软件和显示技术来使用这些数据集。
资料来源:
- https://www.grandviewresearch.com/industry-analysis/3d-animation-market
- http://www.themill.com/
- https://www.clo3d.com/
- https://browzwear.com/
- https://blog.thomasnet.com/augmented-reality-manufacturing
- https://www.adobe.com/products/projectaero.html
- https://www.4dviews.com/
- https://www.litho.cc/
- https://www.shimmy.io/
- https://learn.unity.com/course/create-with-code
- https://unity.com/learn/teach
- https://cubicmotion.com/case-studies/siren/
- https://material-exchange.com/
AI:
拓展创造力的边界
人类是工具的使用者,我们长久以来都依赖工具进行艺术创作。从用动物脂肪和干果制成的颜料作画,到用凿子雕刻大理石,再到用 Unity 或 Unreal 创造虚拟 3D 环境,我们总能找到创新的方式来表达自己。人工智能则是新出现在我们工具清单中的一款工具。
现代人工智能 (AI) 已经能够利用某一细分领域的知识高效地执行特定的任务,比如驾驶车辆、安排约会和合成图片。而且这项技术正以惊人的速度快速发展。Gartner 预计,到 2022 年1,人工智能行业的规模将超过 3.9 万亿美元,是 2018 年的三倍多。
如此惊人的增长速度在很大程度上要归功于开源 AI 项目的爆炸式发展。从 TensorFlow2 到 Keras3,再到 Microsoft 自己的开源平台 Cognitive Toolkit4,如今市面上有大量的框架可供选择,方便用户使用机器学习框架来开发和教授神经网络。随着进入门槛的降低,越来越多的公司愿意放手一试。
商界大咖对于 AI 也普遍持支持态度。研究表明,多达 73% 的高管希望投资 AI5,这反映出硬件方面的改进正在推动 AI 继续保持增长态势。NVIDIA® 发布了一款售价 99 美元的 AI 计算机6,这款名为 Jetson Nano 的计算机专为机器学习量身定制。Apple 近期推出了搭载于 iPhone 11 的全新 A13 仿生芯片,部分目的便是为采用机器学习的应用提供支持。
这些成果是 AI 蓬勃发展的助推器,使其成为创意应用领域理想的创意合作伙伴。早在 2015 年,AI 就能够创作出质量不俗的古典音乐作品7,现在更是可以借鉴标志性艺术家的杰作,创作出风格相似但又具有鲜明特色的艺术精品,而像 Shubhang Desai 的 AI 技术则可以将任意图片渲染为不同的视觉风格。8
转变认知
AI 的发展超出了很多人的预期。长期以来,科幻小说中的 AI 多是邪恶的形象,但事实证明,真正的 AI 更像是一个忠实的助手。Evie9、Sally10 和 X.AI11 都是非常可靠的 AI 助理,它们能够像人类助理一样为主人安排会议、管理日历。Google Home、Amazon Alexa 和 Apple Siri 从本质上来讲都是 AI 助理,只不过是具体功能不太一样罢了。这是一个不容小觑的现象;Amazon 已经售出了超过 1 亿台搭载 Alexa 的设备12,而自 Siri 于 2010 年推出以来,已有约 14 亿部智能手机安装了这款语音助手。13
许多创意工作流程在 AI 的推动下发生了根本性的转变。例如,通过使用 AI 驱动的摄影测量技术,艺术家可以在 3D 环境中添加外观自然的物体,这些物体由系统自动生成,无需手动创建。Epic Games 虚幻引擎总经理 Marc Petit 解释道:“我们的目标是改变内容创作的相关成本,使用机器学习来增加生成的内容数量,然后为这些资产赋予特定的风格。这样可以显著减少人工干预,要知道,现在的人工可是相当昂贵。”
更改工作流程还意味着可能性的扩大。Unity Technologies 人工智能和机器学习副总裁 Danny Lange 表示:“如今,建筑师可以利用 AI 技术,模拟同一所房子的数十亿种布局。建筑师可以将全年日照时间设置为筛选条件,让 AI 给出日照时长排在前 100 的房间布局。然后从中挑选出较为理想的布局,再进行后续的设计工作。”也就是说,建筑师可以在电脑的帮助下,先针对某个关键的设计要素找到恰当的方案,然后在此基础上发挥自己的创造力。
AI 的能力有目共睹,确实可以将人们从繁重的日常任务中解放出来,但它的潜力远不止于此,未来将扮演起“协作者”的角色。“作为一名电影制作人和设计师,我对自己从事的工作有着强烈的兴趣,”设计师、导演和惠普 Z 系列大使 GMUNK 说道,“但如果有一个 AI 助手帮我分担工作任务,我会感到很开心。”风格迁移就是人类与 AI 协作的一个典型示例。“我的妻子画了许多非常酷的丙烯画,[一位客户]把这些画的风格迁移到了风景画上,”GMUNK 说道,“这意味着你可以从这些画中选取不同的纹理和颜色,然后把它们复制到风景画上,创造出超现实的、梦幻般的图像。简直是太美了。”
AI 能够以人类难以想象的新颖方式解决创作和技术问题。现代 AI 的基础是机器学习,即具备机器学习功能的计算机在接收大量信息后,可以进行自我学习。因为产生的数据结构非常复杂,所以很难弄清楚计算机到底是如何做出决定或提供建议的。“这就像观察大脑一样,”Lange 说道,“我可以盯着它看,但我并不知道它内部是如何运作的。就像一个黑匣子。我们的做法和心理学家类似;我们先是输入一些系统示例,然后看它的输出内容,由此去理解它的执行方式。”
“在决策和执行上,AI 有时可以帮助人类做出人类自己无法完成的任务。这简直太棒了。”
Jody MacDonald
纪录片摄影师和惠普 Z 系列大使
基于这个原因,纪录片摄影师和惠普 Z 系列大使 Jody MacDonald 觉得 AI 非常有趣。“我还没准备好开始使用 AI,因为我觉得 AI 做的很多事情看起来都太假了。使用机器学习算法处理过的照片,大都逃不过我的眼睛。但同时在决策和执行上,AI 有时可以帮助人类做出人类自己无法完成的任务。这简直太棒了。”
早在 2016 年,IBM 的 Watson 计算机就被用来制作了一部以 AI 为主题的恐怖电影预告片。工作人员给 Watson 输入了 100 部恐怖电影的预告片,然后它使用这些样片对电影进行分析。最后,Watson 推荐了10 个场景(长度约为 6 分钟的视频),然后视频剪辑师将这些场景拼接在一起,制作出了一部精彩的预告片。
AI 广受创意行业欢迎
大象画画的时候,到底知不知道自己在做什么?关于这个问题的讨论一直没有定论14。但可以肯定的是,计算机在运行时并不会带有自己的意图(至少目前没有)。Image Data Systems 创始人 Matthew Carse 说道:“中世纪的画家依靠熟练的工匠从天青石中提炼出深蓝色,他们将天青石磨成粉末,加入松脂、乳香胶和蜡,这个过程通常需要好几天的时间。如果没有工匠的辛勤付出,米开朗基罗无法创作出西斯廷教堂的壁画,但他们并未青史留名。天才的价值体现在如何应用材料,而不是如何制造材料。”
计算机就像是现代社会的能工巧匠。GMUNK 的大部分工作都与数据相关,他需要对这些数据进行可视化处理。“假设我需要拍摄一系列内容,以便通过可视化方式呈现舞台上的音乐,”他说道,“我只需要拍摄一组不同的内容,然后让 AI 根据音乐选择性地编辑素材库就行了。”换句话说,作为一名艺术家,GMUNK 只负责捕捉内容,而耗时的音乐同步任务则由 AI“随从”来完成。
“无论播放的是什么音乐,它都可以从素材库采样,然后以你意想不到的方式编辑出来,”GMUNK 说道,“这的确很有趣。但也仅仅是一个工具而已。”
与此同时,Adobe 的 Sensei15——由 AI 图形工具组成的丰富框架——在 Adobe 的产品组合中找到属于自己的一片天地。Morph Cut 是一款由 Sensei 驱动的工具,可以为使用 Adobe Premiere Pro 的电影剪辑师提供剪辑效果方面的建议。此外 Sensei 还能够帮助 Adobe Lightroom 的 Face Aware Liquify 协助艺术家以更加自然的方式编辑人脸。Sensei 的能力不止于此,它还可以利用 AI 进行快速且智能的编辑、图片搜索和图片寻源。它就像一个技能熟练的工匠,协助专业人员更有效率、更加聪明地完成工作。
对于艺术家而言,AI 的真正作用在于帮助他们摆脱了单调的重复性任务,从而专注处理耗费脑力的工作。AI、机器学习和物联网在这方面具有相似之处。这些技术让人类能够集中精力完成非常耗费脑力的那部分工作。
一台设备能很好地理解我的想法、掌握我需要的技术,还能找到方法把这些想法联系起来,就像我和应用在对话一样。我认为,这是一件非常有趣的事情。
Alex Trochut
数字工匠和惠普 Z 系列大使
Lange 说道:“电脑具有无限的创造力。我对此深信不疑,但我不想把它和艺术混为一谈。我不会关心由电脑自动生成的绘画,因为对我来说,电脑做了什么并不重要。但电脑可以帮助我们完成许多可能不太为观众所知的创作工作,这可以让艺术家和创意人士专注于更有价值、更有影响力的方面。”
这一机制吸引了众多艺术家的青睐。数字工匠和惠普 Z 系列大使 Alex Trochut 表示:“一台设备能很好地理解我的想法、掌握我需要的技术,还能找到方法把这些想法联系起来,就像我和应用在对话一样。我认为,这是一件非常有趣的事情。”
尽管电脑和自动化势如破竹般进入越来越多的职业领域,但这对于创意人士来说一直都影响不大,因为他们真正需要潜心的那部分工作很难实现自动化。但这种情况正在发生改变。一些艺术家已经开始担心 AI 的功能过于强大。“我是有些担心的,”Trochut 说道,“如果 AI 对你非常了解,它就有能力复制你的风格。这将是一件非常可怕的事。因为这意味着我们的工作不再具有不可替代性。”
影响
尽管计算机的身影越来越多地出现在艺术创作中,成为人类的协作者与助手,但毫无疑问的是,艺术的成就始终属于艺术家。而程序员只是让这一切成为现实的功臣——机器学习的出现,让人们无法清楚地解释 AI 到底是如何运作的。但与此同时,AI 所展现出的并不是真正的创造力。
例如,没有人会认为 Sensei 对创作过程做出了有意义的贡献;它只是简化了艺术家的工作流程而已。无论是 Photoshop 的内容感知填充,还是 iPhone 的 Deep Fusion(这是 iPhone 11 上的一项功能,可在人类摄影师拍摄精心制作的场景时,协助提升曝光效果,)都无法与摄影师相提并论。即使是作为助手和协作者,它们仍然只是创意人员手中的工具。由此便产生了一个疑问,随着技术变得越来越复杂,将来的 AI 是否能够拥有足够强大的创造力,与人类艺术家无缝合作?
Lange 确信,创意人士与 AI 的合作将在未来几年变得更加密切。“它们不会一直扮演工具的角色,而是会成为我们的合作伙伴。过去,我们使用工具来填充颜色、寻找轮廓,或者完成一些非常琐碎的东西;而未来,这些新工具将更加智能,因为会转为由模式驱动,而我们人类从某种意义上来说也是由模式驱动的。在综合能力和创造力方面,它们可能无法与人类匹敌,但可能会提出一些让人意想不到的好建议。并为我们的工作添砖加瓦。”
也许,AI 出现在电影的演职员表中或许只是时间问题,而当那一天真的到来时,我想人们也不会对此感到太过意外。
资料来源:
- https://www.gartner.com/en/newsroom/press-releases/2018-04-25-gartner-says-global-artificial-intelligence-business-value-to-reach-1-point-2-trillion-in-2018
- https://www.tensorflow.org/
- https://keras.io/
- https://www.microsoft.com/en-us/research/product/cognitive-toolkit/?lang=fr_ca
- https://www.celonis.com/press/celonis-study-almost-half-of-c-suite-executives-admit-to-launching-transformation-initiatives-without-a-clear-strategy
- https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-nano/
- https://qz.com/488701/humans-are-confusing-music-composed-by-a-computer-for-j-s-bach/
- https://medium.com/artists-and-machine-intelligence/neural-artistic-style-transfer-acomprehensive-look-f54d8649c199
- https://www.evie.ai/
- https://www.welcome.ai/meet-sally
- https://x.ai/
- https://www.theverge.com/2019/1/4/18168565/amazon-alexa-devices-how-many-soldnumber-100-million-dave-limp
- https://www.statista.com/statistics/276306/global-apple-iphone-sales-since-fiscalyear-2007/
- https://www.treehugger.com/can-elephants-really-paint-4864229
- https://www.adobe.com/sensei.html
(n)K 分辨率:
对于超高像素的迫切需求
现代计算科学的发展历程堪比一部屏幕像素提升史。第一台 IBM 个人电脑根本没有配备图形显示器;它的 MDA(单色显示适配器)只能显示文本。后续推出的电脑产品相继采用了 320×200 像素 CGA(彩色图形适配器)和 640×350 像素 EGA(增强图形适配器)格式,直至 1987 年,功能更为强大的 640x480 像素 VGA 显卡问世,图形显示进入了一个全新时代。
在此之后,美国电视行业古老的 NTSC 标准(由 525 条模糊的扫描线组成)以及 PAL 标准(由 625 条模糊的扫描线组成,在美国之外的其他地区使用)于 1998 年彻底被高清 (HD) 所取代。差不多也是在这个时间段,电脑和电视标准开始合并,朝着更高的像素密度迈进。随后,720P(1280x720 像素)和 1080P(1920x1080 像素)在很短的时间内相继登场。如今,4K(3840x2160 像素,也称超高清)占据了市场主导地位,而 8K(7680x4320 像素)成为主流似乎也只是时间问题。
这一现象背后的逻辑很简单:像素越高,显示效果越好。现代技术使内容创作不再受分辨率限制,图像能够按比例扩大来适应各种显示设备的尺寸。“我们看到很多行业都在从视频播放转向实时 3D,因为从本质上来说,后者已不再受分辨率所限,”Epic Games 虚幻引擎总经理 Marc Petit 说道,“你可以按需生成任意数量的帧数,也可以获得分辨率分别为 2K、4K 或 8K 的内容——只需要告诉渲染器要渲染的像素数量就行了。”
图像分辨率不设限
我们正在进入一个图像分辨率无边界的时代。从 4K 到 8K 到 32K 再到 (n)K,我们对视觉内容的分辨率要求只会越来越高。
与分辨率相关的应用不可胜数。高分辨率的捕捉能够让创作人员可以在后期改变图像的构图和取景,甚至可以模拟出多角度拍摄的效果。通过这种方式得到的内容能够无缝适应未来的显示格式。当然,分辨率的应用并不仅仅局限于视频采集;它对于图形和视觉效果同样有着不可替代的作用。例如,纹理也是创意人士需要考虑的另一个维度。特别是在像游戏这样的实时环境中,对象可能具有多种纹理,需要在用户于环境中移动时实时加载这些纹理,尽可能地让人察觉不到虚拟与现实的区别。
“用户希望我们创造出越来越逼真的内容,”Adobe 3D 和 AR 工程总监 Ross McKegney 说道,“在过去,由于硬件的限制,我们会因为 GPU 内存不足、计算能力不够而选择下采样。但现在情况已经不一样了,用户对于逼真内容的期望推动了对高质量几何图形和高分辨率纹理的需求。”
虚拟现实提升对分辨率的需求
这类问题同样也反映在虚拟现实 (VR) 中,同时这项技术在工业领域的应用正在显著增长。第一代消费者连机型 VR 系统于 2016 年左右上市,可以在 100 度视野中显示 2160x1200 像素画面。1 但人类的视野至少为 180 度,有时甚至能达到 210 度。如果无法显示周边视野,那么戴着头戴式装备的用户就会感觉眼前的(虚拟)世界像被截断了一样。为了让 VR 更具沉浸感,分辨率需要随着视野 (FOV) 的增加而提高。
而这一问题已经有所改善;例如,近期推出的 HP Reverb VR 头戴式装备可提供更广阔的 114 度视野,单眼显示分辨率为 2160x2160 像素。相比于第一代单眼像素仅为 1080x1200 的头戴式装备(如 HTC Vive),甚至是在此之后推出的独立型头戴式装备 Oculus Quest,都称得上是不小的进步。
从 4K 到 8K 到 32K 再到 (n)K
但是,在增强 VR 现实感方面仍然有着巨大的改进空间,我们可以通过一些简单的计算得出这个结论。如果要把 100 度视野翻倍到 200 度(人类视野上限),则需要把分辨率提升四倍,从 2880x1700 增加到 5760x3400 像素,这样以大尺寸显示时才能保持相同的像素密度。为了让头戴式装备在如此高的分辨率下正常运行,不仅需要新的显示技术,还需要经过升级的显示适配器、处理器和内存,以便通过 90 帧/秒的速度(下限值)移动这些像素。
而这还只是众多 VR 问题之一。现实世界的分辨率实际上是无限的,因为无论离一个物体有多近,都能看清楚微小的细节。如果 VR 设计师想要模拟真实世界,他们就需要模拟真实世界中近乎无限的分辨率,而这意味着其必须具备实时缩放纹理的能力。
“老实说,在过去,实时引擎的目标并不是提供像照片一样真实的画面,”McKegney 说道,“而现在,尤其是未来,已能在 VR 和其他领域以实时方式提供非常逼真的画面。”Petit 对此表示同意:“即使你是在创造一个虚幻的世界,一个根本不存在的世界。也需要提供超乎寻常的现实感。”
我们无法存储分辨率近乎无限的内容,因此,为了让用户在 VR 环境中近距离观察每个对象时都能获得所期望的真实感,只在需要时加载高分辨率纹理就成为了一个不错的解决方案,这是从电子游戏中借鉴而来的有效手段。换言之,(n)K 分辨率,至少在一定程度上,是关于在软件中存储一个纹理分辨率库,以便在给定的情况下提供所需的保真度。
计算摄影
曾经有一段时间,有很多类型的计算摄影都属于小众领域,但现在,计算技术已经成为主流。例如,为了弥补专业相机在缺少替换镜头时难以捕捉好画面的不足,智能手机越来越依赖强大的处理器和计算技术来拍出品质更好的照片,从而让数百万人受惠。全景摄影就是计算摄影的典范。平移手机,其就会拍下一系列照片,然后系统会将照片实时“缝合”在一起,生成一幅长而无缝的图像。
以 Google Pixel 32 为例,按下快门,镜头可以一次性捕捉 15 张照片,然后系统会利用插值算法将它们合成为一张具有超高分辨率的照片。相比于传统方式,通过这种方式拍摄出的照片更清晰、画幅更大。在某种程度上,这项技术是通过比较不同照片中相似的像素区域来实现的。手持手机拍摄时,普通摄像头会出现抖动,这使得软件可以利用同一区域但略微不同的图像画面,进而生成整体效果更好的图像。
另外一种技术是高动态范围 (HDR),主要是使用一系列不同曝光条件下拍摄的照片来增加照片和视频的动态范围。这解决了一个由来已久的问题;人眼的动态范围(用摄影术语来说,大约为 30 档或 1,000,000,000:1)比胶片相机或数码相机(两者的动态范围均可达 12 档或 4000:1)大得多。如果一个场景既包含非常明亮的元素,也有非常黑暗的部分,那么在曝光设置方面必然要做出一些“妥协”,结果就是拍出的夕阳平平无奇、了无生趣。
但是 (n)K 分辨率很好地解决了这个问题。就像在 VR 中进行渲染需要纹理库一样,计算摄影依赖于一个巨大的照片库,相机可以在后台捕捉照片库中的照片并对其进行处理,现代摄影正是在这一技术的助力下才成为可能。而这一数量非常惊人。如果您了解过被频繁引用的统计数据,就会发现,今年一年人类拍摄的照片数量比过去整个摄影史的照片加起来都要多3,很明显,我们正在进入一个处理和存储能力新时代。
“我们的行业终于实现了‘所见即所得’。”
Sébastien Deguy
Adobe 3D 和沉浸式业务副总裁
光线追踪
几十年来,光线追踪一直是计算机图形学中一个神秘的分支。通过追踪进入画面的每一束光线的路径,经过光线追踪处理的图像可以达到以其他方式难以实现的清晰细节和真实感,比如具有高保真度的反射光、水面效果、灯光和阴影。用户可以对半透明材料进行准确建模,也能很逼真地展示不同颜色的光线在通过玻璃、水晶、水和其他材料时的散射情况。经过光线追踪处理的视觉效果与传统的渲染场景有着明显的差别,传统的渲染场景采用快捷方式来模拟场景在虚拟环境中的样子。
通常,光线追踪通常需要强大的计算能力,根据复杂性的不同,几年前渲染一个很短的场景可能需要数小时、数天甚至数周的时间。当时这项技术的主要阵地在好莱坞,因为电影的制作需要充足的时间来渲染冗长的视频序列。但即便如此,也只有少数人愿意采用此技术。
“为了使输出的画面能够在真实感上媲美照片,我们曾经专门编写了复杂的着色器,以便对影片的每一帧进行渲染,”McKegney 说道。但时过境迁。现在,PBR 材料和光线追踪已成为电影、游戏和其他渲染应用中调光工具包的必备元素。Petit 表示:“光线追踪技术特别适合处理反射和折射效果,所以它对全局光照是一个重要的补充。”
得益于新一代图形处理器(比如 NVIDIA® Quadro RTX™ 系列显卡),其能够实时渲染光线追踪场景,有鉴于此,光线追踪图像和以传统方式渲染的视频内容对于实时渲染和缓存的需求都将快速增长,不相伯仲。
在 Adobe 3D 和沉浸式业务副总裁 Sébastien Deguy 看来,这项技术非常关键,“它改变了行业的发展趋势。我们的行业迎来了发展的里程碑,此时此刻,我们终于能够通过 3D 技术体会到什么是 WYSIWYG [所见即所得]。你再也无需按下按钮后,耗费数个小时等待渲染。在创作过程中它们将以非常逼真的方式显示在面前的屏幕上并随时看到所编辑的对象。”
影响
显示分辨率一度曾是实现出色图像质量的主要限制因素。如今,显示分辨率还在继续提高,以适应更大的显示屏和像 VR 这样的新潮应用。(n)K 分辨率有其重要意义,比如摆脱分辨率限制,实现可缩放的逼真纹理贴图,以及在后台产生大量像素,以此支持计算摄影流程。
种种迹象表明,伴随着图形处理、内存和存储需求的指数级增长,与之相关的文件数量也在激增,而这些文件可能会不受限制地继续增长下去。Deguy 说道:“虚拟世界中的万事万物都在变得更加逼真,这意味着我们需要更强大的硬件来打造和提供这种体验。”
结语
创建逼真内容所需的技术与对其消费的需求相互依托:不管脑海中有怎样的奇思妙想,创意人士都可以在虚拟世界中将它呈现出来,当然,前提是他们拥有适当的工具和足够强大的计算能力。这为创意人士创造了巨大的机遇,同时也带来了相应的挑战。
“每个用户都希望我们创造出越来越逼真的内容,”Adobe 3D 和 AR 工程总监 Ross McKegney 说道。这意味着要想取得成功,创意人士不得不花大价钱购买趁手的工具(包括硬件和软件)。越来越多的渲染引擎将对硬件提出远超以往的要求,因为它们能使用机器学习来帮助简化和自动化设计和创作过程。与此同时,为了能够应对越来越大的纹理,越来越复杂的多边形和多面体,以及辅助机器学习算法和显示分辨率的不断发展,内存和存储需求也在快速增长。
与此同时,AI 有希望在这方面发挥更重要的作用:Unity Technologies 人工智能和机器学习副总裁 Danny Lange 说道:“电脑具有无限的创造力。我对此深信不疑。”视觉艺术家、导演和惠普 Z 系列大使 Shane Griffin 也抱有相同的看法,他对即将到来的新生事物充满好奇。“目前市场上还没有能够满足我要求的应用。我想要对我的图像使用深度学习工具,看看会碰撞出什么样的火花。”
然而,这个过程注定不会一帆风顺。有些电脑在设计时并未考虑这类应用相关的需求,因此可能无法应对这一挑战。如果您准备迈入超逼真的未来,拥抱实时渲染、光线追踪技术加持下的光与影、可在各种分辨率下实现无缝渲染的 (n)K 项目,以及使用计算技术来简化和自动化工作流程的数字助手,那么您需要确认自己拥有足够强大的硬件,可以充分满足软件和相关工作的需求。
Z 系列产品可为创意人士提供所需要的强大工具,助力他们将无限创意转化为现实。如需详细信息,请访问 hp.com/creativepros。