visionOS 27的隐藏更新也太猛了：一文弄清苹果没说的那些重磅升级

虽然苹果在WWDC 2026的主舞台演讲中几乎没怎么提到Vision Pro的操作系统，但其开发者文档和技术讲座显示，visionOS 27 是迄今为止最重大的升级之一。新功能包括：预配置的手持物体追踪、基于红外LED的追踪配件框架、无注视点屏幕录制，以及多项底层技术改进。

据了解，visionOS 27 将于“今年秋季”面向 Apple Vision Pro 的 M2 和 M5 机型推出。首个测试版现已可用，但部分功能需等待稳定版。

一、AI 与智能交互

Siri AI 与视觉智能

虽然不会在初始版本中出现，但苹果表示“今年晚些时候”，基于大语言模型重构的 Siri AI 将登陆 visionOS。Siri AI 由下一代 Apple Foundation Models 驱动，该模型与 Google 合作开发（据报道每年10亿美元协议），部分任务在设备端运行，复杂任务则交由 Private Cloud Compute。

在 visionOS 中，Siri AI 表现为一个可固定在物理空间中的持久球体。你只需看着它直接说话即可，无需唤醒词。同时支持视觉智能功能，可针对物理和虚拟环境进行搜索、提问和操作。其能力定位介于 Meta AI（Quest 3）和 Gemini（Samsung Galaxy XR）之间。

此外，visionOS 27 还新增了一个专用 Siri 应用，可以查看历史对话，作为第三方AI聊天机器人的预装替代方案。

评论：将AI助手以“可锚定的空间物体”呈现，比传统的浮空面板或语音条更自然，也体现了眼动追踪的优势。

值得注意的是，下一代Foundation Models还带来了：Image Playground 中更逼真的图像生成、Safari 自动整理标签页、一键升级密码强度以及信息中的智能回复。

二、空间环境与视觉体验

空间全景环境

visionOS 2 能为2D图片添加立体效果，visionOS 26 则能通过高斯泼溅将2D图转为具有深度感的“空间场景”。visionOS 27 将此功能扩展到了iPhone拍摄的全景照片。你可以将这些全景图设为共享空间的主环境，让窗口和虚拟内容以真实全景为背景。

新环境：Þórsmörk（索斯默克）

visionOS 27 将增加第10个虚拟环境——冰岛的 Þórsmörk 山谷（意为“雷神之谷”），被认为是地球上最美的景观之一。夜间版本带有极光效果。

评论：至此，visionOS 环境库已覆盖月球、火山、沙漠、森林、极光等多种场景。

曲面窗口（仅限苹果原生应用）

此前只有Mac虚拟显示器的超宽模式是曲面。visionOS 27 在 Safari、Freeform 和 Apple TV 的多视图中加入了曲面窗口支持。Safari 的标签页浏览体验会略微环绕用户。但此为私有API，第三方开发者无法在共享空间使用。

visionOS 27 上的 Safari 浏览器支持曲面窗口

评论：这可能是苹果为了保持系统统一性而做的限制，但也让人期待未来向第三方开放。

三、追踪与配件生态

高帧率物体追踪

visionOS 2 已支持追踪预设的3D物体，但主要用于静态物体，更新率约5Hz。visionOS 27 增加了高帧率模式（约30Hz），适用于移动和被手持的物体。为了追踪手持物体，苹果推荐使用“扩展训练”模式，该模式大幅提升追踪性能，但训练时间显著增加（例如一个鱼形玩具需训练约18小时）。

评论：30Hz 虽仍低于手部追踪的帧率，但已足以支撑许多互动场景。

红外LED追踪配件开放

visionOS 26 硬编码支持了PS VR2 Sense手柄和Muse数字笔。visionOS 27 通过新API，允许任何公司制造自己的红外LED追踪配件，就像SteamVR的Lighthouse生态。追踪与IMU融合，达到90Hz光学追踪质量。

visionOS 27 中的跟踪式红外 LED 配件

这种配件包含两种集成方式：

配套应用：硬件商发布 visionOS 应用注册设备，供其他应用调用（适合消费类）。

内置于应用：开发者将设备信息直接编入自己的应用（适合企业）。

此外，DFRobot 和 MikroE 将推出参考套件与开发板，降低入门门槛。

参考 visionOS 27，支持 DFRobot 和 MikroE 的跟踪配件

评论：这是苹果向开放配件生态迈出的重要一步，未来可能出现各种专用控制器、触控笔甚至体感设备。

四、录制与开发工具

无注视点屏幕录制

由于 Vision Pro 始终使用注视点渲染，屏幕录制中非注视区域是模糊的。visionOS 27 新增“高质量录制”选项，可录制最长3分钟的无注视点4K画面，完全在头显上完成，无需Mac。这是开发者和内容创作者最期待的功能之一。

Mac 3D 物体预览 API

macOS 27 新增API，允许在 visionOS 27 中直接生成3D物体进行预览。苹果自带的“预览”应用已支持，开发者只需几行代码就能为自己的Mac应用加入此功能。支持双向编辑（visionOS 侧修改会同步回macOS），还支持SharePlay多人协作。

此外，Cinema 4D 和 SketchUp 正在集成。

评论：这大幅降低了Mac端3D创作工具适配Vision Pro的门槛。

设备中心（开发者）

Xcode 27 为开发者带来“设备中心”应用，可远程启动 Vision Pro 上的体验，无需再引导用户操作。这填补了iPhone/iPad配套应用无法启动App的空白。

Wi-Fi 初始化速度提高3倍

苹果承认 Vision Pro 启动后连接Wi-Fi较慢，visionOS 27 将连接速度提升至原来的3倍。

五、界面与交互改进

全新控制中心

分为三个面板，界面更宽敞：

左侧：日期时间、电量、Wi-Fi、通知

中间：Wi-Fi/蓝牙/AirPlay/飞行模式快捷开关、音量滑块、Mac虚拟显示器等快速控制

右侧：环境控制（日间/夜间、透视程度）

配件小组件（超小型）

visionOS 26 引入了可固定的迷你窗口。visionOS 27 新增更小的“配件小组件”，可用于电池电量、计时器、股票价格、智能家居开关等。苹果还提供了一个第一方的Mac虚拟显示器小组件，即使Mac处于锁定状态也能一键连接。

评论：如果智能家居应用支持，你可以在家中每个物理设备旁边“贴”一个虚拟开关，看着它捏合即可控制。

注视展开通知

只需看着通知，它就会自动展开，显示更多信息和操作，无需捏合。

自动视频字幕（辅助功能）

使用设备端语音识别模型，为任意视频实时生成字幕。

车辆运动提示

此前出现在iOS上的功能——通过屏幕边缘动画点模拟车辆加减速和转弯以减轻晕车——现登陆 visionOS。但具体在头显上的表现形式尚不明确。

眼控电动轮椅

visionOS 27 支持使用眼动追踪原生控制特定电动轮椅。首批支持 Tolt 和 LUCI 驱动系统（美国），支持蓝牙和有线连接。苹果表示将继续扩展兼容的轮椅驱动系统。

评论：这是空间计算在无障碍领域的杰出应用——用本来用于注视交互的传感器，直接转化为行动能力。

六、RealityKit 底层技术大升级

RealityKit 是 visionOS 共享空间和许多全空间应用的底层引擎。visionOS 27 为其带来了以下关键升级：

1. 物理空间光照

应用不仅可以在物理环境中投射阴影，现在还可以投射光线（点光源和聚光灯）。支持投影纹理和动画图案，可实现彩色玻璃、水下焦散、星空投影等效果。底层利用LiDAR扫描的3D网格和环境光传感器。

2. 原生高斯泼溅渲染

此前开发者需自己编写高斯泼溅（Gaussian Splatting）的渲染代码。现在 RealityKit 原生支持，大幅降低了实现高质量3D重建的门槛。苹果已在“空间场景”和 Personas 中使用了该技术。

3. 实时布料模拟

集成可变形织物模拟：布料可在重力下悬垂、折叠、起皱、与物体碰撞，并可被拉动或交互。可调节刚度、摩擦力和材质参数。

4. 沉浸式音频升级（混响网格API）

应用可描述虚拟环境的几何形状和声学特性（为表面指定吸音、散射、反射等参数）。RealityKit 会模拟声音在该空间中的传播和混响，使音频与视觉场景更加匹配。

评论：有趣的是，Meta 的 XR Audio SDK 已于今年早些时候“冻结”开发，而 Valve 的 Steam Audio SDK 仍在持续更新。苹果此时推出类似功能，显示出对专业XR音频的重视。

七、其他值得注意的更新

Safari 网页环境：开发者可为网页指定一个3D环境（类似 favicon），用户可选开启，与 WebXR 无关。

Microsoft / Meta 类似功能未发货：原文顺便提到微软和 Meta 在2024年曾宣布 Windows 11 与 Horizon OS 的类似功能，但至今未发布。

M5 Vision Pro 体验：作者称 M5 型号“非常快速”，只有 Wi-Fi 启动慢的毛病已被修复。

小结

visionOS 27 并非一次小修小补，而是从 AI、追踪生态、开发者工具到底层渲染引擎的全面进化。苹果在主题演讲中仅用数分钟带过，但文档和开发者会议揭示的细节表明，这可能是 Vision Pro 自发布以来最具实质意义的一次系统更新。

无论是眼控轮椅、开放配件生态，还是高斯泼溅与实时布料模拟，都让 Vision Pro 向着“空间计算的通用平台”迈出了一大步。

注：本文原作者：David Heaney，原文发表于WWDC 2026之后，作者认为苹果在主题演讲中严重低估了visionOS 27的重要性。本文基于原文翻译整理，所有信息均来自苹果官方文档及开发者报告。