前言
苹果 WWDC 2024 发布的 Apple Intelligence,是一款强大的 AI 系统,广泛应用于 iOS、macOS 和 iPadOS,包括强大的个性化写作、图像生成、全新的 Siri、集成 Chatgpt等各项功能,可以了解用户的各种日常习惯、社交关系和日常通讯等内容,通过一个流畅的 AI 操作系统来响应用户各种场景下的使用诉求。
Apple Intelligence 有哪些体验?
一、AI 与操作系统融合
现有的 AI 大模型专注于一个领域下的智能生成,如 Chat GPT 的文本处理能力、 Midjourney 文生图能力,都是根据用户的指令去完成单独的命令,而 Apple Intelligence 将 LLM 大模型的能力与用户的操作系统深度结合,从内容智能到行为智能,强调了人工智能在手机上的行动生成和整合能力,通过对手机里的各个 App 进行全面的跟踪和分析,完成用户的操作指令。
二、多模态交互能力2.1 文本处理
Apple Intelligence 为用户开启了提升写作能力和更高效沟通的新方式。借助 iOS 18、iPadOS 18 和 macOS 的全新全系统写作工具,写作工具几乎可在任何书写位置使用,包括邮件、备忘录、Pages、 Safari 浏览器和第三方应用。
交互方式:键盘输入
一款AI键盘
文字润色、语气改写
除此之外,它还有亮眼的文字总结功能,收件箱顶部的新部分会显示最紧急的电子邮件,例如当天的晚餐邀请或登机牌。在收件箱中,可以把长邮件内容总结成摘要,用户无需打开邮件,只需轻点一下即可查看相关详细信息。智能回复功能也会提供快速回复建议,并会识别电子邮件中的问题以确保所有问题都得到解答。对语言的深入理解也延伸到了通知上,桌面摘要可帮助用户在锁定屏幕上扫描通知的详细信息,并自动识别通知的重要等级并重新排序,减少不必要的干扰。
交互方式:自然语言交互
邮件摘要概览
网页摘要
桌面消息摘要:自动识别重要等级并排序
桌面消息摘要:重要消息优先推送
2.2 语音处理
新版 Siri 采用了全新的设计,当 Siri 处于活动状态时,优雅的发光灯会环绕屏幕边缘。 Siri 新增了连续对话功能,能够更自然地理解上下文内容,同时支持跨软件操作。此外,用户可以输入文字给 Siri,并在文本和语音之间切换,以任何当时感觉合适的方式与 Siri 交流。
交互方式:语音输入、自然对话
1、唤醒
Siri 全新形态:唤醒状态下,屏幕四周环绕动态光效
2、输入
自由切换语音/文本输入,双击底部 bar 唤起键盘
3、反馈
自然语言直接转指令
2.3 图像处理:文生图、图生图、故事编排
a、图像生成
利用苹果自带的Image Playground应用软件可以制作原创图像,支持文生图功能,可以通过文字描述、推荐概念特征、照片库里的人物来制作,借助 Image Playground,用户可以在几秒钟内创建有趣的图像,从三种风格中进行选择:动画、插图或素描。Image Playground 提供了非常流畅的操作手势,通过简单的点选来进行参数的调控,还可以圈选手绘插图进行一键风格化绘制,它还提供专用应用程序,非常适合尝试不同的概念和风格。所有图像均在设备上创建,让用户可以自由地尝试任意数量的图像。
交互方式:手势交互
点选:易上手的操作方式
圈选:有趣自然的交互手势
b、图像处理
以下是小编们体验的真机测评
一键涂抹消除
图片主体识别
Image Playground 图片生成
除此之外,甚至可以在相册中编辑创作影片, 感兴趣可以看一下链接中博主的体验测评
(https://www.bilibili.com/video/BV1KNYfenENL/?spm_id_from=333.337.search-card.all.click&vd_source=1e2b4a1a24958fcc40f6a7007d3cb89b)
c、视觉搜索
苹果发布的视觉智能(Visual Intelligence)功能,这个功能对标Google Lens,视觉智能本质上是人工智能视觉,其中语言模型可以分析和理解图像。这一点 Claude、Gemini 和 ChatGPT 也能很好地做到。但苹果通过深度整合到手机系统中,提供了新的硬件交互方式,用户可通过新设的相机控制按钮(Capture Button)点击访问其视觉搜索功能,方法更加用户友好。
交互方式:物理按键+拍照/图片输入
应用场景:
应用场景 1:物品识别,无需拍照,对准可识别
应用场景 2:识别餐厅门头,直接看到评价、推荐菜
应用场景 3:视觉搜索,拍照海报,直接记录日程
三、跨应用、跨设备
屏幕感知:借助屏幕感知功能,Siri 可以轻松执行与屏幕上的信息相关的操作,例如将信息中收到的地址添加到朋友的联系人卡片;将图册中的图片加入到笔记。
跨应用执行指令
语音指令——图册搜索——定位图片——插入笔记
跨设备执行指令
手机投屏到电脑上,用电脑控制手机打开 app 执行操作
四、结语
体验了 Apple Intelligence,小编有以下感悟:
1. 语言理解——个性化服务——参与决策
随着 AI 的自我进化,其理解和反应能力不断提升,从最先的语言理解,到提供个性化的服务,现在甚至还能预测我们的需求,并在必要时替我们做出决策。
2. 依赖 App——寻求整合服务
苹果为手机系统的交互引入了新的模式,超越了应用 App 服务,提高给用户许多想象,随着人工智能技术的发展,用户可以直接用 AI助手对话或提供指令,而不是依赖应用商店的app来完成任务。
3. 新型的操作系统
随着 AI 能力整合,移动端设备变成一个AI 终端的系统,多终端(手机、设备、手表、手环、PC、pad),跨设备执行指令和操作,多模态(文字、语音、图像、手势),根据用户的个人习惯、喜爱偏好,总结推理,在不同的时间地点给予用户最合适的建议和答案,并且能够不断地学习优化,类似“Apple Intelligence”成为用户的“智能贴身管家”,深入理解和预测用户行为,不断成为“私人专属"的终端。
https://www.apple.com/apple-intelligence/
https://www.bilibili.com/video/BV1KNYfenENL/?spm_id_from=333.337.search-card.all.click&vd_source=1e2b4a1a24958fcc40f6a7007d3cb89b
https://www.apple.com/hk/en/apple-intelligence/
https://www.apple.com/newsroom/2024/06/introducing-apple-intelligence-for-iphone-ipad-and-mac/
https://www.youtube.com/watch?v=Q_EYoV1kZWk