《Her》电影，讲述了一个关于现代世界中亲密关系的演变和风险的爱情故事。故事设定在稍有未来感的洛杉矶，主角Theodore Twombly是一个富有复杂感情的男人，靠为他人写感人的私人信件谋生。在一段感情结束后，他对一种新型的先进操作系统产生了兴趣。通过这个系统，他与一个名为"Samantha"的聪明、敏感且有趣的女声相遇并建立了友谊，随着他们的需求和欲望的发展，他们的友谊逐渐深化为一段非传统的爱情。
昨天，OpenAI发布了GPT-4o，可以理解为更为强大的GPT4模型的发布。多模态的输入和输出，响应时间与人类相似。多模态意味着，Her电影里的AI我们很快就能体验到了。
1倍速的语音聊天是什么体验 ？
GPT-4o（“o”代表“omni”）是迈向更自然的人机交互的一步——它接受文本、音频和图像的任意组合作为输入，并生成文本、音频和图像的任意组合输出。 在短至 232 毫秒的时间内响应音频输入，平均为 320 毫秒，与人类的响应时间相似。 它在英语文本和代码上的性能与 GPT-4 Turbo 的性能相匹配。 与现有模型相比，GPT-4o 在视觉和音频理解方面尤其出色。
端到端全新模型
在 GPT-4o 之前，ChatGPT的语音模式对话，最低延迟为 2.8 秒。这个版本的语音模式是由三个独立模型组成的：一个模型将音频转录为文本，GPT接收文本并输出文本，第三个模型将该文本转换回音频。这个过程意味着GPT丢失了大量信息——它无法直接观察音调、多个说话者或背景噪音，也无法输出笑声、歌唱或表达情感。
借助 GPT-4o，一个全新的模型，跨文本、视觉和音频端到端完成训练，这意味着所有输入和输出都由同一神经网络处理。—— 相应速度更快，理解更准确。
在OpenAI使用了几个例子来演示GPT-4o的潜在应用场景： 面试准备、 两个 GPT-4os 互动并唱歌、 实时翻译、客户服务概念证明等。
应用场景
另外，还有一些例子，几乎所有场景都覆盖了：
视觉叙事，用来创作漫画之类的，变得更为简单轻松。
海报创作，电影风格的海报信手拈来。
角色设计，排版，纪念币设计，照片生成漫画，修改文字字体，3D生成，品牌周边产品生成，多个发言者的会议纪要，讲座总结。
安全性
GPT-4o通过过滤训练数据和通过训练后细化模型行为等技术，内置了安全性。另外，还创建了新的安全系统，为语音输出提供防护。 安全性方面通过内部和外部专家的合作，微调和测试了模型的安全性。 需要注意的是，音频模式是一种全新的模式，可能会带来了各种新的风险。
在哪里可以使用？
GPT-4o 的文本和图像功能今天开始在 ChatGPT 中可用。
未来几周内，将在 ChatGPT Plus 中推出新版语音模式 GPT-4o 的 alpha 版。
开发人员可以在 API 中访问 GPT-4o 作为文本和视觉模型。GPT-4o 速度提高 2 倍，价格降低一半。
社群交流
备注：gpt4