本文整理自 QCon 北京 2026 吕菲分享《从WIMP到RMCP交互范式演变》，通过AI音视频总结工具 Ai好记 进行转录整理，以下为视频转文字整理后的会议笔记内容。

我们每天在用电脑和手机时，窗口、图标、菜单、鼠标指针这四个东西已经默认到感觉像呼吸一样自然。但有没有想过，这套我们用了40年的交互范式，可能正在被一种全新的模式取代？

什么是WIMP范式

WIMP是四个家伙的缩写：Window（窗口）、Icon（图标）、Menu（菜单）、Pointer（指针/鼠标）。

这四样东西定义了1970年代至今整整40多年的人机交互方式。它真正把计算机从少数人才能用的专业工具变成了人人都能用的日常工具。

WIMP的发展脉络

• 1973年：Xerox PARC在Alto计算机上首次使用窗口和鼠标
• 1981年：施乐推出第一台商用机Star——「天才的概念和商业的失败」
• 1984年：苹果Macintosh让它走向大众
• 1985年：微软Windows进一步普及

WIMP为何成功

它完美解决了认知心理学家唐纳德·诺曼提出的两大交互鸿沟：

执行鸿沟——用户知道想做什么，但不知道怎么让机器执行。WIMP通过图标和菜单把功能摆在用户面前，用户不用记住命令，只要识别按钮就行。

评估鸿沟——机器执行完操作，用户怎么知道执行结果？窗口弹窗、进度条给用户及时反馈。

吕菲的原话：「GUI界面的最大贡献，是将回忆命令变成了识别功能。记住一个命令需要学习，识别一个图标靠直觉就行」。

WIMP的局限性

四十年后的今天，WIMP的瓶颈越来越明显。

桌面隐喻束缚。从设计之初就基于办公室桌面场景，扩展到移动端、车载、VR/AR空间后，隐喻的解释力明显不足。

输入输出带宽不匹配。信息输出端一直在增长——高清屏幕、HDR、高帧率，输入还是集中在鼠标和键盘。

不支持自然交互。最后一个P（Pointer鼠标指针）把交互定死在了点击反馈循环上，语音、手势、姿态等自然交互方式没有接口能接进来。

后WIMP时代：学术界30年的探索

从1990年代开始，学术界就开始探索下一代交互范式，但到现在也没形成一套能跟WIMP相提并论的统一范式。吕菲梳理了四条主要探索路径：

1990年 Non-WIMP：

来自两位学者在ACM SIGGRAPH的论文，核心想法是完全不使用WIMP范式，探索跳出桌面领域的新交互形态。

1993年 Non-Command UI：

van Dam提出用户不必发出明确的命令，计算机主动理解人的意图。现在看来这个想法已经部分被AI实现了——大模型正在让我们从「命令」转向「表达」。

1997年 Post-WIMP：

Green和Jacob提出的概念——超越WIMP但不是完全替代，可能是并存关系。这个定位更务实，也是目前学界的主流判断。

2008年 Reality-Based Interaction：

Jacob在ACM CHI上进一步提出，核心思想是让人类跟计算机的交互就像跟自然世界交互一样。自然的动作、自然的反馈。

智能交互的困境：自然反而难用

今天智能音箱、体感游戏、多模态AI产品已经普及了，自然语言交互把操作门槛降得很低。但吕菲提出了一个非常尖锐的问题：自然交互带来了新的困境。

问题一：功能预设性消失

GUI界面里每个按钮都在告诉你它能做什么——「这是保存」、「这是删除」、「这是设置」。但语音交互或手势交互里，功能是隐形的。你不知道说哪句话能触发什么功能，也不知道做什么手势。用户面对空白界面的第一反应往往是：「现在能做什么」。

问题二：认知负担逆增长

GUI最大的贡献是让用户从回忆命令变成识别功能。但语音交互似乎在逆转这个过程——用户需要记住唤醒词、记住操作指令、记住特定的说法。认知负担反而更高了。

核心矛盾

「自然交互的灵活性与界面引导的缺失是一对根本矛盾。交互方式越自由，用户越不知道边界在哪」。

从RMCP看未来方向

吕菲团队提出RMCP（Rich Multimodal Conversational Paradigm）的概念方向。核心思路不是用某一种交互方式替代WIMP，而是在不同场景、不同设备上使用最合适的交互方式。

范式	核心交互方式	适合场景
CLI	键盘+命令行	专业工具、开发环境
WIMP/GUI	窗口、图标、菜单、鼠标	桌面办公、通用操作
Touch	手势触控	移动端、平板
RMCP	多模态对话（语音+视觉+触控）	AI助手、智能空间
NUI	体感、视线、脑机	VR/AR、无障碍场景

关键的判断是：未来不会是某一种范式统治一切，而是多种范式共存。GUI适合需要稳定操作的办公场景，对话适合快速查询的场景，手势适合远距离操控的场景。产品设计时需要根据场景选择响应范式。

给技术团队的启发

1. 不要盲目追求自然交互。自然不等于好用，交互方式越自由就需要越强的引导机制。

2. 多模态是方向但不是终点。整合语音、视觉、触控需要更复杂的系统架构和更周到的体验设计。

3. WIMP不会消失。40年积累的认知基础用户已经习惯了，新的交互方式应该跟它互补，而不是完全替代。

4. AI对交互设计的影响才刚开始。大模型让对话式交互的质量大幅提升，但对话本身不是最终形态，交互范式还会有新的演化。

常见问题

Q：WIMP模式真的会消失吗？
A：学术界的共识是不会。WIMP会跟新的交互模式共存，就像命令行到今天也没有完全消失一样。

Q：多模态交互的技术门槛高吗？
A：主要是架构复杂度。融合语音、手势、触控多个通道需要做通道同步和意图融合，比单一通道复杂得多。

Q：RMCP跟LUI（语言用户界面）是一回事吗？
A：不同。LUI是单一的语言通道，RMCP是多模态融合，不只用语言，还包括视觉、触控、手势。

---

以上内容由 Ai好记 转录整理。

Ai好记 是一款音视频转图文笔记的AI音视频转录总结工具，支持解析B站、抖音、小红书、小宇宙等平台链接及本地/网盘音视频文件，转录后自动视频转文字生成精华速览、思维导图和结构化笔记等内容形式，帮助你把几小时的视频内容变成可搜索、可复习的图文笔记。