1882年,张园出现上海第一盏电灯,让上海成为世界上最早使用电能照明的三大城市之一。140多年后,首届上海国际光影节于近期拉开帷幕,建筑投影秀、光影秀、光影艺术装置展、灯光音乐会等超百场活动,让上海的夜晚更加流光溢彩。
光影节期间,“静安光影奇妙夜”系列活动——《千年之约·入画屏》数字光影展,以其独树一帜的“AI换脸入画”体验,吸引了众多观众前来探索。来自阿根廷的游客吴飞得连连称赞:“能把AI技术、中国传统文化,以及光影这些不同的元素结合在一起,我觉得是一个非常棒的体验。”
《千年之约·入画屏》由上海广播电视台商业创新中心携手上海图书馆历经半年打造,深度挖掘宋朝生活风貌与民俗特色,并依托SMG生成式人工智能媒体融合创新工作室的尖端技术,以超高清和AI技术还原宋画场景。
“融合现代科技与宋式文化,希望这一沉浸式展览能以‘场景化’的创新方式,让典籍中的传统文化焕发出新的生命力。”上海广播电视台商业创新中心总经理潘伟说。
作为全球首个将实时互动视频生成技术应用于线下展览的案例,《千年之约·入画屏》实现了AI即时互动的突破。
据介绍,由SMG人工智能专家顾问、上海交通大学教授倪冰冰领衔的技术团队,采用AI面部特征编辑、生成与驱动技术,通过高精度摄像头捕捉观众静态面部特征,并采用人脸编辑和生成技术,将这些特征融入古画中随机选取的人物形象之中,最后借助表情驱动技术,模拟出栩栩如生的面部动作,使得科技与艺术在光影交错间实现了完美的融合。
“千年之约”项目技术负责人、交大文创学院元宇宙创新中心首席科学家陈炫宏博士告诉记者,该算法模型是目前业界最为知名的换脸算法之一,基于simswap++/simswap技术,以其卓越的实时性、保真效果出众以及人脸身份一致性高度稳定为显著特点,高度契合消费级市场对于高效时效性的迫切需求,这也是用户能在短短几十秒甚至十几秒实现入画穿越的核心技术保障。“未来,系统还将实现多模态的用户输入交互,以声光电、屏显等多模态的输出方式,为用户提供更高度的沉浸式中华文化体验。”
除了对前沿技术的革新展示,《千年之约·入画屏》还有致敬宋朝文化的艺术实践,即采用4K超高清视频技术,结合数字艺术家的精妙笔触,对宋徽宗《听琴图》等传世名画进行深度二次创作。
在这一过程中,创作团队首先从碑帖、宋画中提炼出背景元素,按比例复原宋代妆容、服饰及民俗场景,并通过特效演员的情景实拍和数字图像的精准拟合,借助超高清4K分辨率,将古画中记录的一千多年前的真实场景栩栩如生地展现在观众面前。
值得一提的是,AI换脸技术的巧妙运用,让每位观众都能成为画中人,不少观众更身穿应季汉服前来,体验“一秒魂穿回宋朝”。
传统文化推广者徐悦尔与20多位外国友人一起参观了展览。“amazing”“beautiful”……外国友人体验了穿汉服、看国风光影展后,纷纷表示被中国文化和文字吸引。
在徐悦尔看来,“千年之约”促成了古今中外在这里的相交和融合,让现代人用视听手段“遇见”宋代,也让不同国家不同民族不同文化的小伙伴,都能被宋式美学深深震撼和感动,与那个久远的年代产生独属于自己的连接点,构建起个人与传统文化之间独特的情感纽带。
作为联合出品方,上海图书馆也为《千年之约·入画屏》提供了丰富的文化支持与资料保障。由馆长陈超领衔,上图团队深入挖掘宋朝文人雅士的日常生活与民俗特色,通过引入现场语音导览系统、复原宋朝韵味的香氛设计,以及体验空间的精心布置,全方位调动观众的感官体验,使展览成为一场可观、可感、可触的文化盛宴。
“《千年之约·入画屏》展览既是SMG从为播出服务向为传播服务的重要实践,也是SMG在媒体数字化转型道路上的一次大胆尝试与创新展示,充分发挥了媒体在城市美好建设和流量创造中的独特价值。”潘伟希望,未来超高清与AI技术能应用于更多文化场景,搭建起连接过去与未来、艺术与科技的桥梁,为市民游客提供更多沉浸式的文化体验。