相信大家对迪士尼/皮克斯(Pixar Studio)推出的动画系列电影《玩具总动员》(Toy Story)并不陌生,对里面聪明可爱的小主人公Andy也记忆犹新,可是不知读者朋友们是否知道,片中Andy的名字来自于现实中的一位著名学者Andries Van Dam——他是布朗大学教授、计算机和动画艺术的先驱,本片的很多制作人员都是他的学生。微软亚洲研究院有幸邀请到Andries Van Dam教授,与广大研究员和实习生共同探讨用户界面的演变与革新(User Interface: Evolution and Revolution)。
Andy教授
Andries van Dam(Andy)是一名荷兰裔美国教授,1960年以优异成绩取得斯沃斯莫尔学院工程学学士学位,1966年获宾夕法尼亚大学博士学位。他从1965年开始就执教布朗大学,是布朗大学计算机科学系的创始人之一,于1979-1985担任该系第一任主席,并于2002-2006年担任布朗大学负责科研的第一副校长。
Andy教授现在是美国工程院、美国艺术与科学学院会员,还是美国电气与电子工程师协会(IEEE)与美国计算机协会(ACM)院士。他是ACM SIGGRAPH大会创始人之一。Andy的学术成就使他荣誉满身,他不仅获得了IEEE的百年奖章、ACM SIGCSE杰出贡献奖等众多奖项,还荣获多所大学颁发的荣誉博士学位。
从1991年微软研究院成立起,Andy教授就与研究院有着紧密的联合与合作,并担任研究院技术咨询委员会委员15年之久。他还是微软研究院科研基金的顾问,他的很多科研项目也得到了研究院的大力资助。
聆听大师
Andy教授以“用户界面的演变与革新(User Interface:Evolution and Revolution)”为主题,为微软亚洲研究院的研究员和实习生们举办了两场讲座。第一场以对话为主,第二场Andy则根据这一主题进行了更为深入的阐述。
40多年前,标准的点击式图形用户界面(GUI,Graphical User Interface)诞生于施乐公司的帕洛阿尔托研究中心。Andy教授认为,40年来,该技术除了加装一些像flick-pan和pinch-zoom之类的简单操作,一直都没有进行过大的改进。然后,Andy大致介绍了传统意义上计算环境(computing environment)的动态趋势,并简要讲述了用户界面尤其新型界面的发展历史。
Andy在谈到WIMP(window,icon,menu,pointing device)和post-WIMP两种图形用户界面的不同时,他从如下几个方面对二者进行了比较。
WIMP用户界面是单用户、单设备,更加专注于look,而不是feel;而post-WIMP的交互信道多,数据带宽大,输入不间断,并需要根据以往历史和当前状态来正确推断出用户意图。相比而言,post-WIMP能更好地贴近用户习惯,带来更自然的交互体验。从二者的比较出发,Andy着重介绍了post-WIMP图形用户界面、自然用户界面(NUI,Natural User Interface)所应具备的内容以及新特性。
早期的自然用户界面的典型代表包括基于笔输入的手势识别系统,该系统多是用来在平板电脑上进行文本与命令的输入;还包括多点触控式智能手机、微软电脑桌面以及Kinect游戏控制中的简单的姿态识别系统。这些用户界面都经过了特别的设计,与传统的WIMP图形用户界面有着根本的不同。Andy指出,二者之间很重要的一点不同在于,计算机对于后者的输入可以做确定性解析,而对前者的理解则基于对来自不同交互信道的一连串事件进行统计推断,甚至需要回溯(backtracking)以往的交互历史。
Andy更为深入地讲解了自然用户界面的相关设计和研究议题,他还对一些近期成果进行了展示,并特别展示了基于平板电脑和微软电脑桌面能力的一些项目。Andy特别强调,使用户界面合适于人类的能力仅仅是一个方面,更为重要的是要减少用户操作该界面所要花费的时间。
接下来,Andy教授与大家探讨了用户界面研究领域另外四个研究课题。首先,如何模拟多模式的交互,也就是说用多重输入模式来指定某个指令或询问;第二,如何在图形用户界面(GUI)基础上构建用于自然用户界面(NUI)的研发环境;第三,如何改进以往人机交互领域中“每次只能一个人与一台电脑进行交互”的传统模式;最后一点是,如何实现不同环境下情境与状态的有效迁移。
在谈到用户界面的复杂度管理时,Andy给出了自己的建议。他说,应该把任务从认知转移到感知或动作能力(Move tasks from cognitive to perceptual and motor skill level)。他还向在座的听众推荐了一本关于多点触控和空中用户界面的入门书籍Brave NUI World(作者:Daniel Vigdor,Dennis Wixon,Elsevier出版社)。
讲座中,Andy教授还向大家介绍了一个由他和别人合作开发的产品:FluidMath 数学应用软件。该软件主要为适用于平板电脑和交互式白板界面,可用来进行创建、推导并解决数学和物理等相关领域的问题,并可以简便地进行图表绘制。有兴趣的读者不妨一试。
精彩对话
Q:请问您选研究生的标准是什么?
A:非常简单。只要是毕业于优秀大学的计算机相关专业的学生就可以。
Q:您的实验室里都有什么设备?
A:一些普通的硬件,其中包括一台两点触摸仪器。
Q:在读博阶段如何找到合适的题目?
A:多尝试,寻找你的兴趣点。
Q:不是所有的研究都会有结果的,在这种情况下我们怎么办?
A:这就是科学研究。从失败中我们仍然能有所收获。
Q:您对我们有什么建议么?
A:我认为计算机专业的学生需要了解人的行为方式。过去,HCI在大学不受重视。现在,我建议计算机专业的学生多去了解一些与人行为方式有关的知识,例如:认知心理学、用户界面、用户体验、社会动力学等等。特别是对于本科生来说,他们需要学习更广泛的课程。
Q:到现在为止,我还不知道我感兴趣的是什么。我正在学习计算机,也许会成为一名工程师,但是将来,我或许又想去经商了,或者从事管理工作。在读研以前,我应该如何确定研究生阶段的方向?
A:有很多工程师在工作几年之后,都去学习MBA课程。这种经历能够帮你从不同学科的角度看待问题。现在,你确实需要做一个决定,不过这并不是承诺。将来你可以随时更改。
Q:你如何度过艰难时期?
A:没有人可以不碰壁。所有人都会遇到麻烦,我也不例外。我们必须学习如何处理这些麻烦。
Q:如何找到自己的兴趣?
A:你可以在一个领域工作几年,如果你发现你不喜欢了,就换到其他领域。
Q:你在挑选学生的时候,最看重技术以外的什么品质?
A:和人沟通的能力,以及联络他人的能力。因为我们不是一个人在工作,我们有小组,我们需要向别人推销我们想法。所以所有人都应该懂得如何表达自己的观点。
Andy的建议
Learning how to learn new technique is the most important thing in school. 掌握学习新技术的方法才是最重要的事情。
Follow your passion. 追随你的热情。
If you like it, go for it. 如果喜欢,就去做吧。
Life is a series of accidents. It’s OK. Relax. 一系列的意外串联成了人生。所以不要担心,放轻松。