回顾近年来几个与「人工智慧」(AI)发展有关的重要时间点,包括:2022年11月30日,美国人工智慧研究实验室「Open AI」发表ChatGPT语言模型并且开放社会大众运用,让人工智慧相对便利运用到一般人的生活中。2024年2月15日Open AI再度发表影片生成模型Sora,透过指令产生对应的动态影像(moving image)内容,其示范影片让已经习惯于电脑合成影像 (Computer-generated imagery, CGI)的大众,对运用人工智慧生成影像,有许多关注和想像。回顾国内,美国科技公司辉达(NVIDIA)的共同创办人暨执行长、台裔美籍企业家黄仁勋,于2024台北国际电脑展(COMPUTEX 2024)发表主题演讲,谈论人工智慧产业的下一阶段,被媒体喻为「AI教父掀起『仁来疯』」,引起国内对于人工智慧更高度的讨论。而人工智慧对于各项现有产业的应用将会产生的影响,乃至于目前尚不存在但会因为人工智慧而出现的未来工作,也成为讨论的焦点。
2024年10月,在法国里昂举办以经典电影为策展主轴的卢米埃影展(Lumière festival),其项目之一「国际经典电影市场展」(Marché International du Film Classique, MIFC),为期4天的活动中,由法国视听中心(National Audiovisual Institute, INA)以论坛型式和影像修复相关专家,讨论人工智慧运用在推广影视听文化资产,与未来相关法令议题。其关注的焦点在于,法国视听中心开发以AI用于宣传其视听文化资产的工具,并探讨法国和国际间围绕在使用AI相关领域时的法律和监督架构。负责该电影市场展节目策划协调项目的杜萧萨(Gérald Duchaussoy)也在媒体报导中表示,愈来愈多影像修复单位运用AI加速影视内容的数位修复速度,也促使修复工作能以更低的成本进行。当各界开始讨论人工智慧在各领域的运用,影视文化资产保存和运用范畴中的「动态影像修复」将如何运用AI,有什么可能的想像?
修复动态影像是人力密集的作业,AI辅助可望提升量能
动态影像的修复,在类比讯号的时代过往所涵盖的范围在于电影、电视的影像为主,这两项媒体以其原本记录影像内容的载体和播映的管道做为区别。简言之,电影以底片拍摄,之后冲印成为放映用的胶卷并在电影院透过投影放映;电视在发展的初期,其动态影像内容的记录载体也运用底片拍摄,但其技术很快便发展到以磁带做为载体,透过电波传送到家户。在有线电视发展之后、电视全面数位化的影像制作和网路传输技术之前,仍旧以磁带为主要的载体形式。
回到前述动态影像的修复,所说的也是指上述对于两项类比载体和其影像内容的「修复」,目的是让动态影像内容得以被延续观看、运用,或正确解读。载体随著时间久远而造成的内容破坏所进行的修复,其复原程度有限。但数位化后的技术修复有较大的技术空间,数位化后的影像内容即为「讯息」,针对讯息所做的修复,让许多类比格式所受的限制不在。
因此,在讨论动态影像的修复之前,必须明白修复的是前述哪一个部分、以及进行的程序为何,将影像「数位化」后再以修复软体在电脑上进行的修复,则称之为「数位化修复(digital restoration)」。然而,数位制作技术之后产生的动态影像,在未来是否仍需要「数位化修复」,将是另一项议题;在此可以较为武断的预测,数位制作的动态影像因为其存在形态为资讯,除非是档案受损,否则要被修复的可能性低;但因应播映格式与画质需求做的影像像素「升级」或是观看格式变化,则是产业界开始面临的课题。
传统上对于载体的直接修复称为「物理修复」,是由专业的修复人员对保存条件不佳、或随时间过程而耗损的载体进行清洁、补强等的修复或是维护过程;在胶片的范畴里也会以「影片整饬」(film preparation)做为初步物理维护。整饬人员的养成需要专业培养,进行物理修复的程度也需要有严谨的事前评估,以现阶段的专业设备而言,物理条件过差的胶片或是磁带让数位化无法顺利进行,或是载体在机器操作过程产生损坏,造成影像内容本体无法再被播映。
动态影像需要修复的状态不一,或因为胶片药膜剥落、反复放映造成的刮擦痕迹、保存不佳产生片基扭曲等情况,而需要人的判读来进行「修复」。在此先不做动态影像修复技术或是修复伦理的讨论,但以现行的物理修复过程和透过电脑软体操作的数位化修复而言,「人力密集」是修复动态影像过程的关键词<!–__ANNOTATION__={“text”:”(注)”,”annotation”:”
“,”pureAnnotationText”:”相关现阶段动态影像数位化修复的人力密集作法,国内前已有诸多相关报导,可参阅纪录片《数电影的人》(2019)。”}–>,然而,可以合理预测的是,这项情况将会因为人工智慧的发展与未来应用的平民化,在非常短的期间内有巨大转变,亦即是原本「人力密集」的动态影像数位化修复,将可绝大部分由人工智慧进行。
举例来说,电影数位化修复师在修复时,遇见在数位化后仍留有原始「电影字幕」的拷贝,其需要投入修复的时间可能倍增,原因在于现阶段的修复软体进行部分自动化操作时,并不容易判读字幕是否为影像内容的一部分,而在对影像内容的缺陷(如:抖动、刮痕、因药膜剥落产生的影像残缺)做影像重建或是缺点消除时,无法做出合适的判断,必须仰赖修复人员的再三确认。然而,透过人工智慧,则可有仿佛人脑般的「思考」先解读影像整体内容并做出有意义的判断后,有效降低过度修复的情况;生成式人工智慧的修复模组也会透过「学习」和经验累积而进化,在不同的修复过程后而有技术上的增进。另一方面,以AI进行数位化的影像修复,不会因为生理条件的限制──如长期注视萤幕的视觉和体能疲劳──影响修复进度;随著电脑效能的扩充和AI算力的提升,影像数位化修复的量能也会成长。
未来课题:修复人员的角色转换、跨文化的AI学习
一旦影像的数位化修复大量导入AI的应用时,影像数位化修复人员是否仍旧被需要?我想是肯定的,不过,其工作形态和内容势必与现在所理解的不同。可预测的是:影像数位化修复人员从直接参与「劳动」,变成「指导」、「监督」人工智慧进行工作,修复人员将有更大部分角色在于负责关于动态影像美学的判准和考据,并对AI下达指令,与之进行协调、沟通和验收修复后的成果。
虽说生成式人工智慧在未来可预期发展出对于美学的独立判准能力,乃至于透过背后资料库的搜寻和运算而对拟修复的动态影像做考掘和复原,但最终仍牵涉修复人员的判准。修复人员未来需要具备的专业,更多在于影像内容的探讨,指导、并和人工智慧做更好的讨论,得出更适合「当下脉络」的修复结果。也因为AI的运用可使数位化修复速度加快,数位化修复未必只能独尊於单一版本、多版本的修复情形必然会普遍,过去套用文物或古迹概念的「修复伦理」也将更加不适合动态影像的修复,而需重新加以审视。
另外可以推测,当AI在数位化修复技术成熟运用所累积生成的「经验」,是否能应用到不同国家电影、电视内容的修复上?人工智慧模型间是否能对话,以决定哪一个版本的修复结果为合适,将会是另外一项值得观察的有趣议题。在以人工进行数位化修复为主的过去,跨国的合作间最常需要沟通讨论的部分,常常在于影片「调光」的决定,技术人员对于经典电影画面的色调设定,会因为其背景与对不同文化、美学的理解而有不同的认知。
举例而言,我曾经参与过的经典电影数位修复过程中,欧洲的合作团队对于台湾电影中的「色彩」──特别是在武侠电影中的运用,在调光的讨论中有较为夸饰的诠释与预设,而亚洲团队则倾向在讨论初始,即能抓住相对符合合作双方预期的设定。这样的情形,似乎可以理解为不同合作团队对台湾电影中,色彩美学的预设想像,当然,也与执行修复团队对于特定导演作品风格的考究程度有关;但此一部分和监修团队自身的研究有更直接的关联。
当跨国间不同的人工智慧模型还能保有各自的文化内容取向与性格时,可推测类似的情形或许还是会存在,修复人员所扮演的角色亦难被取代。然而,随著透过不同人工智慧模型进行修复的情况增加,人工智慧在跨文化间的学习也进步时,是否还对影像内容能存在有所谓的美学判断「标准」,则可能衍伸出其他的讨论;跳跃一点的比喻,饮食的跨文化发展过程里所谓「正宗口味」该如何判准或坚持,差可比拟。
机器人能否加入物理修复行列?
另外可大胆预言的是,伴随生成式人工智慧的发展,发展中的机器人科技也将更为进步提升,透过人工智慧的导入更具拟人化的思考模式后,影像载具的物理修复,如:胶片的整饬、录影带的清洁等,可预期有朝一日将由灵巧的「机器人(眼和手)」搭配具学习能力的人工智慧来操作。
针对影像载体的物理修复是项精巧的「技艺」,纵使透过人类双眼和双手,也需要准确的判断和操作以免损害部分已相当脆弱的胶片拷贝,机器人现行虽然已经能够处理精密的高科技产品,但生产或组装高科技产品的「动作」有规格化过程可以依循,胶片拷贝或是磁带的物理修复动作则很难规格化。机器人在未来施展精细的技艺于影像载体的物理修复,在技术的应用范围必然还有许多需越过的障碍,但从逐步辅助现行人工操作的物理修复、到以机器人独当一面,毋宁抱持相对乐观的态度以对。
台湾位处亚热带和热带交界,以自然环境而言,相对高温与高湿度的气候原本就不利于各种类比影像载体(胶片、磁带等等)的存放。设若没有在载体状态尚佳时,即存放于温度和湿度控制良好的专门设置典藏空间进行保存,影像载体因外在环境影响随时间产生的损害情况,对于影像内容的保存即相当不利。目前可知在国内各相关机构典藏库房里胶片、磁带的保存情形,也触及影像载体酸化、劣化、脱磁等各式议题;修复人员面对影像文化资产的保存和延续应用,需具备高度专业、甚至开发独门技术的视野,为台湾所面临的挑战和可贡献给国际影像文化资产典藏社群的知识做努力。优先将载体里的影像进行「数位化」后,再思考后续如何进行诸如:研究、推广运用、更高阶的数位化修复,是目前世界各国在运用影像文化资产时可见的一致趋势。
在台湾因为前述大环境条件所致,动态影像数位化前需要做的物理整饬、修复是目前想要加快数位化进程的瓶颈之处,在机器人能辅助或完全取代人工整饬前,仍有待更好的策略进行解决;但载体状态合适进行数位化的影像资产,其后续的修复、运用,是目前相对成熟的领域,结合对人工智慧整体发展的乐观未来,我们将有机会对动态影像的数位化修复和影像文化资产典藏的整体技术、作法,做全盘性的思考和预备。