机器之能报道
编辑：灰喜鹊
以大模型、AIGC为代表的人工智能浪潮已经在悄然改变着我们生活及工作方式，但绝大部分人依然不知道该如何使用。 因此，我们推出了「AI在用」专栏，通过直观、有趣且简洁的人工智能使用案例，来具体介绍AI使用方法，并激发大家思考。 我们也欢迎读者投稿亲自实践的创新型用例。
今天，我们分享 X 用户 @gabchuayz 的案例—— 利用 Claude 3 Opus （最贵的一款）视觉推理能力，读懂宜家家具安装说明书！
案例地址：
https://twitter.com/gabchuayz/status/1766143549794357458
作者透过 Workbech 来接入 Claude 3 Opus
首先，进入 Claude 3 Opus ，输入提示（ Prompt ）：
you are a friendly assistant
这也是 OpenAI 官方认可写好 Prompt 的重要策略之一，让模型充当某个角色，它往往会表现地更专业，回答也更明确。
然后，上传说明书图片并附上简单文字提示：
These are instruction manuals. List out the steps clearly.
这位作者按顺序（步骤 1 — 14 ）上传了七张说明书图片。这是其中一张图片的内容：
这是 Claude 3 Opus 返回的结果：
下面是翻译过来的内容。对于不善阅读图片说明的用户来说，这个回答显然大幅降低了安装门槛，它甚至识别出了螺丝的型号。
使用提供的工具（100092），将2颗螺丝（104521、104522）固定在圆形零件上，如图所示。
使用4颗螺丝将锤形零件（101339）连接到步骤1中组装的结构上。
使用4颗螺丝将另一个锤形零件（101339）连接到相反的一侧。
使用4颗螺丝连接两侧的零件。
将带箭头标记的零件插入组装结构的开口处，使用4颗螺丝（101339）固定。
使用提供的工具（101339），将带箭头标记的零件固定在组装的框架结构上。
使用4颗螺丝进一步固定框架结构的零件。
框架结构现在已经完全组装好了。
使用工具（101339）驱动另外四颗螺丝，以加固连接。
10、使用四颗螺丝（101339）固定盒子结构的顶部。
11、插入带箭头标记的零件，关闭盒子的一侧。
12、使用工具（101339）驱动16颗螺丝，将所有零件紧密固定。
13、附加的图示显示了组装框架结构内部创建的细分隔间。
14、最后的图示提供了组装完成的整体尺寸，包括六颗螺丝固定的手柄。
当然，结果绝非完美。 例如划线部分所示，什么是“锤形零件”？ 什么又是“带箭头标记的零件”？ 前面一个问题源自模型无法清楚区分图片中的螺丝和锤子工具； 后面一个问题在于系统搞不清楚箭头 其实表示的是这个零部件的插入方向。
有人说宜家最酷的不是家具，而是家具说明书——没有文字，只有图，一些顾客常常在组装过程中陷入沮丧。现在，可以考虑找一个帮手了。
我们 透过 Poe 调用 Claude 3 Opus。输入提示 “you are a friendly assistant ”。
然后，直接上传了下面这张图片，没有任何文字提示作为补充，看看大模型能否提供安装说明：
这是我们得到的结果。虽然还是存在明显的问题，比如识别不了 d （不是螺丝，而是会随商品赠送的扭螺丝简易工具），但并不妨碍我们对安装步骤有一个大体了解，并且知道这是一种比较典型的宜家家居安装风格。
如果是乐高安装说明书呢？我们按顺序（步骤 1-5 ）输入了下面五张乐高安装说明书：
这是结果，非常清楚明白：
接着让模型推理一下咱拼的什么东西，结果也靠近答案（玩具小汽车）。
Claude 3 Optus 可以做到，其他领先大模型是否也可以呢 ? 还真未必。 下面是 Gemini Pro 的“答卷”，差强人意，已经“臆想”是飞机的搭建了。目前 GPT-4 不接受这么多张图的输入，微软 Copliot 也只允许上传一张。
同样是看图说话， Claude 3 Optus 能否看懂漫画呢？输入提示：“请按顺序解释每幅图片的意思”：
结果确实读懂了这是一幅吐槽宜家家居很难安装的漫画。不过，从第 9 幅图开始，模型就开始出错——正确答案是，用户饮弹自尽后，抢救无效，葬礼上的工人开始安装说明建造棺材和十字架，结果呢，确实不好装，十字架都歪了.......
Claude 3 Opus 也有不灵光的时候。尤其是当 输入只有一张说明书时，Opus 并不能稳赢 GPT-4 。 比如，这个茶几安装说明。
从返回结果来看，不仅文字识别存在问题（“层板”被识别为“房板”），拧螺丝的简易工具也识别不出来。解读安装步骤也有问题，比如步骤 3、4 其实是在固定腿部，但被识别为固定板子。
相比之下，如果使用 GPT-4 ，结果要好很多：
这是宜家早期的 Tune 椅子说明书：
Claude 3 Opus 返回的结果如下。椅子被识别为桌子，安装步骤也和图片内容不吻合。
同样的提示， GPT-4 的效果要好得多：
我们的新专栏会带来更多不同大模型的案例演示，欢迎大家留言评论并给出改进建议。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：content@jiqizhixin.com