师丹青:新媒体艺术---跨界融合的“穿墙术”

来源:科普中国-我是科学家 作者: 时间:2022/03/09

  道家自古就被世人看作是一个神秘的学派,他们有一门绝技叫做穿墙术。动画片《崂山道士》中,道士在师傅的指点下可以从墙上穿过去,这到底是真的还是假的呢?清华大学美术学院信息艺术设计系副教授师丹青现身说法,他不仅从墙里穿过去而且将为你揭秘穿墙术背后的秘密。师丹青为大家带来演讲《新媒体艺术:跨界融合的“穿墙术”》。

  以下为师丹青演讲实录:

  大家下午好,今天的主题叫做“看到别样之美”,我想无论从我的名字“丹青”,或者说我来自清华大学美术学院,我想我在各位嘉宾当中应该是离美最近的一位了。我具体的专业是新媒体艺术,学院的这个系叫信息艺术设计系,听起来媒体、信息这两个关键词跟科技不太一样,但是好像又跟科技非常沾边。

  实际上在美术学院,我的专业稍微有一点另类,别人有时候会吐槽我们有点不务正业,你们也不老老实实拿笔画画,天天在那写代码,天天在那搞一些传感器,马达小机器人什么的。新媒体艺术到底是什么?或许有人觉得我们这个专业更应该去计算机系,自动化系,其实这是真的。我认为新媒体艺术天然地就跟科学家们共享一种基因,我们说着一种共同的语言。那具体是什么呢?我先卖一个关子。

  

  演讲嘉宾师丹青:《新媒体艺术:跨界融合的“穿墙术”》

  大家先跟我一起设想一个场景:你跟我兴致勃勃地说,“来,我们不听讲座了,来下一次棋。”刚刚摆好棋子发现我的一匹黑马丢了,棋盘上少一个子。我们是不是就不能下这盘棋了?不是的,捡个石子替代黑马就可以了。

  

  通过这个案例,大家想一想,左边这个非常棒的、雕工非常精美的大理石黑马,不论从它的材料、造型,都是一个艺术之美、一个造型之美或者形式之美,那么右边的一块破石头,它有什么美的?但是在下棋过程当中,我们体验的是马走日,象走田这种规则之美。

  在这种规则的系统下,从古至今千千万万盘棋从来不重复,大家乐此不疲地享受着这种规则之美。我这里引出了一个词叫做规则,也就是我刚才想跟大家说的,新媒体艺术跟科学或者技术两者之间,它们有的一种共同的基因就是规则上的设计。

  

  演讲嘉宾师丹青:《新媒体艺术:跨界融合的“穿墙术”》

  新媒体艺术的创作,它的重心往往并不在最终画面或者最终形式的结果之美,而是去关注在艺术创作过程中,艺术家、设计师如何设计出一种优美的规则,让这种规则运行起来,并且让观众参与到设计的规则当中,来获得一种艺术的体验之美。基于这样一种共同的语言,或者我们叫共同的基因,我们可以看到科学家和设计师、艺术家之间其实并没有壁垒。

  举个例子,程序员就是在设计一种规则,他不论用java还是用C都在设计一种计算机能执行的规则来生成各种各样的应用。机器人也是在按照各种各样的规则来做动作,甚至生物学家去剪辑一段基因,也是改变了基因的规则来生成新的物种或者品种,也是在针对规则进行创新的设计。因此,挡在文科生跟理科生、挡在科学家跟艺术家之间的这堵墙,其实在这个层面上是不存在的。

  

  下面我跟大家分享几个案例。我的第一个案例的作品名字叫做墙。它有一个灵感的来源,就是下面这个动画片《崂山道士》。

  “快、快穿过去,不要怕穿过去。 咦真的穿过来了,真的过来啦。”

  这个笑声有点鬼畜。这个故事讲的是崂山道士跟老道士学穿墙术,老道说:“这个事其实很简单,你看那有堵墙,你就玩命一头撞过去好了。但是你心里边一定要觉得你眼前没有这堵墙,你只要能够达到百分之百认为你眼前没有这堵墙你就穿过去了。”他练了很多次终于做到心中无墙,他真的穿过了这座实在的墙。这个小故事讲了东方哲学中关于唯物跟唯心的一点很有意思的思辨。

  

  咦,真的穿过来了,真的过来啦。

  我带学生的时候就想,我们能不能也做一个这种实验。我们做一个墙,前面放着一个跑道,跑道旁边有速度传感器,当你玩命地向这个墙冲过去的时候,不许犹豫,不许减速,只能加速。甚至当你最后离那个墙还剩一步两步的时候,你也不要有丝毫的减速,到最后那一刹那,墙里边的机关会根据你的速度判断是打开墙让你穿过去,还是把你拦在墙的这边。

  

  一件艺术装置能不能读你的心,我想即使是最前沿的脑科学家,也很难从纷杂脑波当中读取某一个具体东西在你心里是否存在。但是通过艺术家的一个创意,这个创意并不是墙的造型,而是整个互动的规则,根据观众奔跑的速度变化来决定墙开或者合。

  

  沿途20米传感器所捕获的人奔跑速度的变化。

  上面这条曲线是在沿途20米传感器所捕获的人奔跑速度的变化。奔跑速度同时也是映射着你心里边的速度。你的每一次减速,每一次停顿都是内心在挣扎:我真的能穿过去吗?

  

  我们也运用一些简单的科学技术,比如沿途的超声波传感器,能够迅速断开的电磁铁,能够迅速把门打开的机械装置。我们做了一系列的硬件、软件和算法的设计,最终呈现了一个作品。在最权威的奥地利的林茨电子艺术节上,我们在广场上展示了这个作品。

  观众参与互动,穿墙而过。

  你不断加速并且中途不能减速,到最后一刹那,门会一下打开。如果中间突然减速或者慢慢停顿都会把你给卡在门的这边。大家玩得不亦乐乎,这就是自己在跟自己挣扎的过程。

  这件艺术作品规则很简单,开或者关,好像不是很高科技,但是大家一眼看到这个装置就觉得高科技来了。

  

  这个大家都认识,苹果的Siri,我们手机里的一个助手,它可以帮我们报天气,报股票,查路线,它除了是我们的助手,其实它是一个不太有存在感的AI。

  有一部美剧《西部世界》,在美国的西部小镇的居民,其实都是AI驱动下的机器人。编剧给这些机器人植入一个一个的故事,而且这个故事并不是一个写死得像看电影剧本一样的故事,而是非线性发展的故事。游客扮演其中一个角色进到乐园里边,相当于回到了过去的西部时代,在这里边你可以跟这些AI的角色去说话去互动,你的每一个举动每一句话都会影响情节朝不同方向发展。

  

  《西部世界》剧照。

  这样一个全智能的未来式的游乐场的构思启发了我们的团队,我们有没有可能设计一个编剧的软件呢?通常编剧会有起因、经过、发展、高潮跟结果,但是在这个过程当中观众是被动地去感受悲欢离合,是一个旁观者。如果观众作为第一人称视角,进到这个故事里边跟角色去互动,那情节就会朝不同方向发展。

  

  上面大家看到这些有点像电路上的线是我们这套系统的一部分。在每个黄颜色的关键节点上,观众语音的输入或者他行为的输入会导致情节朝不同方向发展。针对我们设计的这套系统,我们做了一个APP叫做必果世界,手机APP可以下,它分别有几个版本,一个版本叫如果英语,还有一个叫魔岛英语,面向的对象是小朋友。这一款由艺术家创意构思出来的一个非线性的剧情编辑器,正在面向语言学习的市场进行商业化。

  

  我想我们在座的各位都经历过从小背单词学语法的痛苦,我也是一样,出国留学前去考托福,感觉自己英语不错,一下飞机却懵得一塌糊涂。但是如果从小学或者从中学就出国的小朋友就不会有这种感觉,因为他天天生活在那个语言环境里边,而不是在记单词。

  所以我们创造这个叫blingo world,不是西部世界了,叫必果世界。我们设计了一系列的虚拟人物,在这里边有第一人称视角的角色扮演,比如你是一个特工,你要潜伏到美国,混过海关的检查等开启你讲英语的第二人生。

  为什么这个设计很重要?因为当你说英语的时候,在真正的语言情境当中你会获得一种反馈,这正是在普通的英语课堂里所缺少的。比如说在海关的时候,你可以扮演各种各样的身份,你可以跟他说我是学生,也可以跟他说我来出差,也可以跟他说我来旅游。如果你是学生,这个海关警察会来问你去哪儿上学、要学什么专业等。如果你来旅游,警察会问你去哪里旅游,所以这是一个真正的实景训练。

  

  人机互动,真正的实景训练。

  再举个例子,生活中的很多情节,比如买机票、改机票、直飞还是连乘、然后时间对不对、这个票价怎么样,都可以跟这个AI去互动。甚至是在酒店里边找房间,你一定要竖起耳朵听,到底是第二个路口左转,还是第三个路口左转,不然你就敲错门了,进到别人家房间里。

  上面提到的都是艺术创作编剧、语音语义的理解和 AI进行的一个高度的结合,科技让艺术的边界进行了无限扩展。

  不论是新媒体艺术专业还是更多的从事这种交互设计的专业,它们打开了一扇巨大的门去跟各个科学领域拥抱,不仅仅是计算机领域,未来,我们也会尝试跟更广阔的领域,更多不同的学科进行交叉跟互动。

  

  演讲嘉宾师丹青:《新媒体艺术:跨界融合的“穿墙术”》

  艺术能跟各个学科发生哪些跨界呢?

  第一,我们跟生物学家一起探讨在未来的动物园里,你有没有可能跟动物去讲话。因为生物学家已经破解了萤火虫尾巴上闪光的密码,我们把人工的LED光源放在野外的环境,让音乐家做一段音乐控制LED的闪光,这种闪光的频率让萤火虫可以听得懂,它可以是吸引萤火虫,也可以是吓唬萤火虫,在自然光和这种生物之间建立一种美妙的艺术化的体验。

  

  第二,我们跟心理学家合作研究梦境。我们做梦的时候其实是一个身临其境的虚拟现实的体验,它甚至比任何一款VR头盔的体验都来得真实。那么我们有没有可能在我们做梦的时候,通过人眼快速转动期以及清醒梦的科学理论的研究,利用一款软件跟一个智能耳机跟睡梦中的人产生交互,被导演并且产生新的故事。

  

  第三,跟月亮互动。我们现在说的都是地球上的事,那么艺术能不能做到月亮上去,能不能走得更远?我们的同学设计了一款手机,当你抬头的时候可以拿着手机跟头顶上的那个月亮进行互动。月亮上有什么?我们做的互动装置叫做月亮上的日晷,通过日晷向地球报月亮时这么一个方式来建立地球上的观众跟月亮之间的一个互动。

  

  艺术的探索边界已经远远超过了美术馆,远远突破了画框,突破了放雕塑的台子,扩展到了生物、心理学、潜意识,甚至到了外太空。其实早在几百年前达芬奇的文艺复兴时代,艺术跟科学就不分家。所以我希望在这个时代,艺术跟科学更紧密地结合在一起,产生对未来更有趣更美好的一个幻想。所以今天我在《我是科学家》这个演讲舞台上来定义自己到底是科学家还是艺术家,也许说不清楚,也许永远不需要说清楚,谢谢大家。

  

  演讲嘉宾师丹青:《新媒体艺术:跨界融合的“穿墙术”》

师丹青:新媒体艺术---跨界融合的“穿墙术”

来源:科普中国-我是科学家 作者: 时间:2022/03/09

  道家自古就被世人看作是一个神秘的学派,他们有一门绝技叫做穿墙术。动画片《崂山道士》中,道士在师傅的指点下可以从墙上穿过去,这到底是真的还是假的呢?清华大学美术学院信息艺术设计系副教授师丹青现身说法,他不仅从墙里穿过去而且将为你揭秘穿墙术背后的秘密。师丹青为大家带来演讲《新媒体艺术:跨界融合的“穿墙术”》。

  以下为师丹青演讲实录:

  大家下午好,今天的主题叫做“看到别样之美”,我想无论从我的名字“丹青”,或者说我来自清华大学美术学院,我想我在各位嘉宾当中应该是离美最近的一位了。我具体的专业是新媒体艺术,学院的这个系叫信息艺术设计系,听起来媒体、信息这两个关键词跟科技不太一样,但是好像又跟科技非常沾边。

  实际上在美术学院,我的专业稍微有一点另类,别人有时候会吐槽我们有点不务正业,你们也不老老实实拿笔画画,天天在那写代码,天天在那搞一些传感器,马达小机器人什么的。新媒体艺术到底是什么?或许有人觉得我们这个专业更应该去计算机系,自动化系,其实这是真的。我认为新媒体艺术天然地就跟科学家们共享一种基因,我们说着一种共同的语言。那具体是什么呢?我先卖一个关子。

  

  演讲嘉宾师丹青:《新媒体艺术:跨界融合的“穿墙术”》

  大家先跟我一起设想一个场景:你跟我兴致勃勃地说,“来,我们不听讲座了,来下一次棋。”刚刚摆好棋子发现我的一匹黑马丢了,棋盘上少一个子。我们是不是就不能下这盘棋了?不是的,捡个石子替代黑马就可以了。

  

  通过这个案例,大家想一想,左边这个非常棒的、雕工非常精美的大理石黑马,不论从它的材料、造型,都是一个艺术之美、一个造型之美或者形式之美,那么右边的一块破石头,它有什么美的?但是在下棋过程当中,我们体验的是马走日,象走田这种规则之美。

  在这种规则的系统下,从古至今千千万万盘棋从来不重复,大家乐此不疲地享受着这种规则之美。我这里引出了一个词叫做规则,也就是我刚才想跟大家说的,新媒体艺术跟科学或者技术两者之间,它们有的一种共同的基因就是规则上的设计。

  

  演讲嘉宾师丹青:《新媒体艺术:跨界融合的“穿墙术”》

  新媒体艺术的创作,它的重心往往并不在最终画面或者最终形式的结果之美,而是去关注在艺术创作过程中,艺术家、设计师如何设计出一种优美的规则,让这种规则运行起来,并且让观众参与到设计的规则当中,来获得一种艺术的体验之美。基于这样一种共同的语言,或者我们叫共同的基因,我们可以看到科学家和设计师、艺术家之间其实并没有壁垒。

  举个例子,程序员就是在设计一种规则,他不论用java还是用C都在设计一种计算机能执行的规则来生成各种各样的应用。机器人也是在按照各种各样的规则来做动作,甚至生物学家去剪辑一段基因,也是改变了基因的规则来生成新的物种或者品种,也是在针对规则进行创新的设计。因此,挡在文科生跟理科生、挡在科学家跟艺术家之间的这堵墙,其实在这个层面上是不存在的。

  

  下面我跟大家分享几个案例。我的第一个案例的作品名字叫做墙。它有一个灵感的来源,就是下面这个动画片《崂山道士》。

  “快、快穿过去,不要怕穿过去。 咦真的穿过来了,真的过来啦。”

  这个笑声有点鬼畜。这个故事讲的是崂山道士跟老道士学穿墙术,老道说:“这个事其实很简单,你看那有堵墙,你就玩命一头撞过去好了。但是你心里边一定要觉得你眼前没有这堵墙,你只要能够达到百分之百认为你眼前没有这堵墙你就穿过去了。”他练了很多次终于做到心中无墙,他真的穿过了这座实在的墙。这个小故事讲了东方哲学中关于唯物跟唯心的一点很有意思的思辨。

  

  咦,真的穿过来了,真的过来啦。

  我带学生的时候就想,我们能不能也做一个这种实验。我们做一个墙,前面放着一个跑道,跑道旁边有速度传感器,当你玩命地向这个墙冲过去的时候,不许犹豫,不许减速,只能加速。甚至当你最后离那个墙还剩一步两步的时候,你也不要有丝毫的减速,到最后那一刹那,墙里边的机关会根据你的速度判断是打开墙让你穿过去,还是把你拦在墙的这边。

  

  一件艺术装置能不能读你的心,我想即使是最前沿的脑科学家,也很难从纷杂脑波当中读取某一个具体东西在你心里是否存在。但是通过艺术家的一个创意,这个创意并不是墙的造型,而是整个互动的规则,根据观众奔跑的速度变化来决定墙开或者合。

  

  沿途20米传感器所捕获的人奔跑速度的变化。

  上面这条曲线是在沿途20米传感器所捕获的人奔跑速度的变化。奔跑速度同时也是映射着你心里边的速度。你的每一次减速,每一次停顿都是内心在挣扎:我真的能穿过去吗?

  

  我们也运用一些简单的科学技术,比如沿途的超声波传感器,能够迅速断开的电磁铁,能够迅速把门打开的机械装置。我们做了一系列的硬件、软件和算法的设计,最终呈现了一个作品。在最权威的奥地利的林茨电子艺术节上,我们在广场上展示了这个作品。

  观众参与互动,穿墙而过。

  你不断加速并且中途不能减速,到最后一刹那,门会一下打开。如果中间突然减速或者慢慢停顿都会把你给卡在门的这边。大家玩得不亦乐乎,这就是自己在跟自己挣扎的过程。

  这件艺术作品规则很简单,开或者关,好像不是很高科技,但是大家一眼看到这个装置就觉得高科技来了。

  

  这个大家都认识,苹果的Siri,我们手机里的一个助手,它可以帮我们报天气,报股票,查路线,它除了是我们的助手,其实它是一个不太有存在感的AI。

  有一部美剧《西部世界》,在美国的西部小镇的居民,其实都是AI驱动下的机器人。编剧给这些机器人植入一个一个的故事,而且这个故事并不是一个写死得像看电影剧本一样的故事,而是非线性发展的故事。游客扮演其中一个角色进到乐园里边,相当于回到了过去的西部时代,在这里边你可以跟这些AI的角色去说话去互动,你的每一个举动每一句话都会影响情节朝不同方向发展。

  

  《西部世界》剧照。

  这样一个全智能的未来式的游乐场的构思启发了我们的团队,我们有没有可能设计一个编剧的软件呢?通常编剧会有起因、经过、发展、高潮跟结果,但是在这个过程当中观众是被动地去感受悲欢离合,是一个旁观者。如果观众作为第一人称视角,进到这个故事里边跟角色去互动,那情节就会朝不同方向发展。

  

  上面大家看到这些有点像电路上的线是我们这套系统的一部分。在每个黄颜色的关键节点上,观众语音的输入或者他行为的输入会导致情节朝不同方向发展。针对我们设计的这套系统,我们做了一个APP叫做必果世界,手机APP可以下,它分别有几个版本,一个版本叫如果英语,还有一个叫魔岛英语,面向的对象是小朋友。这一款由艺术家创意构思出来的一个非线性的剧情编辑器,正在面向语言学习的市场进行商业化。

  

  我想我们在座的各位都经历过从小背单词学语法的痛苦,我也是一样,出国留学前去考托福,感觉自己英语不错,一下飞机却懵得一塌糊涂。但是如果从小学或者从中学就出国的小朋友就不会有这种感觉,因为他天天生活在那个语言环境里边,而不是在记单词。

  所以我们创造这个叫blingo world,不是西部世界了,叫必果世界。我们设计了一系列的虚拟人物,在这里边有第一人称视角的角色扮演,比如你是一个特工,你要潜伏到美国,混过海关的检查等开启你讲英语的第二人生。

  为什么这个设计很重要?因为当你说英语的时候,在真正的语言情境当中你会获得一种反馈,这正是在普通的英语课堂里所缺少的。比如说在海关的时候,你可以扮演各种各样的身份,你可以跟他说我是学生,也可以跟他说我来出差,也可以跟他说我来旅游。如果你是学生,这个海关警察会来问你去哪儿上学、要学什么专业等。如果你来旅游,警察会问你去哪里旅游,所以这是一个真正的实景训练。

  

  人机互动,真正的实景训练。

  再举个例子,生活中的很多情节,比如买机票、改机票、直飞还是连乘、然后时间对不对、这个票价怎么样,都可以跟这个AI去互动。甚至是在酒店里边找房间,你一定要竖起耳朵听,到底是第二个路口左转,还是第三个路口左转,不然你就敲错门了,进到别人家房间里。

  上面提到的都是艺术创作编剧、语音语义的理解和 AI进行的一个高度的结合,科技让艺术的边界进行了无限扩展。

  不论是新媒体艺术专业还是更多的从事这种交互设计的专业,它们打开了一扇巨大的门去跟各个科学领域拥抱,不仅仅是计算机领域,未来,我们也会尝试跟更广阔的领域,更多不同的学科进行交叉跟互动。

  

  演讲嘉宾师丹青:《新媒体艺术:跨界融合的“穿墙术”》

  艺术能跟各个学科发生哪些跨界呢?

  第一,我们跟生物学家一起探讨在未来的动物园里,你有没有可能跟动物去讲话。因为生物学家已经破解了萤火虫尾巴上闪光的密码,我们把人工的LED光源放在野外的环境,让音乐家做一段音乐控制LED的闪光,这种闪光的频率让萤火虫可以听得懂,它可以是吸引萤火虫,也可以是吓唬萤火虫,在自然光和这种生物之间建立一种美妙的艺术化的体验。

  

  第二,我们跟心理学家合作研究梦境。我们做梦的时候其实是一个身临其境的虚拟现实的体验,它甚至比任何一款VR头盔的体验都来得真实。那么我们有没有可能在我们做梦的时候,通过人眼快速转动期以及清醒梦的科学理论的研究,利用一款软件跟一个智能耳机跟睡梦中的人产生交互,被导演并且产生新的故事。

  

  第三,跟月亮互动。我们现在说的都是地球上的事,那么艺术能不能做到月亮上去,能不能走得更远?我们的同学设计了一款手机,当你抬头的时候可以拿着手机跟头顶上的那个月亮进行互动。月亮上有什么?我们做的互动装置叫做月亮上的日晷,通过日晷向地球报月亮时这么一个方式来建立地球上的观众跟月亮之间的一个互动。

  

  艺术的探索边界已经远远超过了美术馆,远远突破了画框,突破了放雕塑的台子,扩展到了生物、心理学、潜意识,甚至到了外太空。其实早在几百年前达芬奇的文艺复兴时代,艺术跟科学就不分家。所以我希望在这个时代,艺术跟科学更紧密地结合在一起,产生对未来更有趣更美好的一个幻想。所以今天我在《我是科学家》这个演讲舞台上来定义自己到底是科学家还是艺术家,也许说不清楚,也许永远不需要说清楚,谢谢大家。

  

  演讲嘉宾师丹青:《新媒体艺术:跨界融合的“穿墙术”》