链载Ai

标题: AI识图，提取标题、点赞等数据，哪家效果好？ [打印本页]
作者: 链载Ai    时间: 昨天 21:18
标题: AI识图，提取标题、点赞等数据，哪家效果好？
前两天，我们团队小伙伴一直在获取蝴蝶号的一些数据。主要用的是传统的一些方法。
搞完后我突然想起来，获取数据这件事，能不能用AI识图的功能来做呢?
毕竟，目前能展示到屏幕上的数据，都能够被AI看到。
获取数据需要下拉、翻页，这不是障碍：要么手动截图，要么录屏之后自动截图，这整个过程也可以自动化。
这证明了用AI识图来获取数据，目前在一些场景下是能跑通的。这就一定程度上，改变数据抓取这个行业，比如传统的Python、rpa等方法。
为了进一步看看这件事情目前的边界在哪里，我对目前6个主流的大模型进行了一次识图抽取数据的测试。
任务介绍
这个任务是，获取某个视频号主页的视频标题以及点赞量（电脑端）。
我们可以看到，主页下面有12个视频，每个视频是小方格，下面是标题，里面的小心心旁边就是点赞量。
标题还是比较显眼和清楚的，但是这个点赞数据展示得比较小。
AI能应付不？
我花了三个小时，使用GPT4o、claude3、kimi、文心一言、通义千问、gemini进行了逐个测试。
下面是测试的部分过程，完整测评表文末获取。
Kimi测试结果
在此前那篇文章中，kimi显示了较强的识图获取数据的能力，这次效果如何？

prompt：

列出这个主页中各个视频的标题、主题以及点赞量。请注意，阅读量是指有小心心的图标旁边的数字。

结果：
这次的结果有点遗憾。
我想，是不是提示词的原因，于是进行了两次改进。

改进prompt1：

识别并列出这个主页中各个视频的标题、主题以及点赞量。

结果：上述三个问题依然存在。

改进prompt2：

这个截图中有12个视频，每个视频是一个小方格。列出其中各个视频的标题、点赞量。请注意，点赞量是指有小心心的图标旁边的数字。

结果：上述三个问题没有改善的迹象。
结论，Kimi识图的缺点：
1、待提取的内容与背景颜色较难区分的时候，AI也难以识别，这点跟人类一样，且能力远不如人类。
2、无法理解空间方位。
通义千问测试

prompt：

列出这个主页中各个视频的标题、主题以及点赞量。请注意，点赞量是指有小心心的图标旁边的数字。

结果：
结论：
1、通义千问的识图取数的能力略高于Kimi，但Kimi可以一次处理多张图，通义千问一次只能看一张；
2、依然有Kimi存在的空间错乱问题，无法正确对应和排序。
GPT4o测试
GPT4o是openai最新模型，全网刷屏，真实能力如何？来。

prompt：

列出这个主页中各个视频的标题、主题以及点赞量。请注意，点赞量是指有小心心的图标旁边的数字。

结果：
结论：识图能力目前各大模型中最强。能正确识别上下左右，已经有一定的空间感知能力，能将视频与点赞数对应，能做排序。
但对数字提取的准确度还需要提高。
___________________________________
根据对6大模型的测试，整体看来，在本场景中的识图能力如下：
GPT4o > claude-3-sonnet> 通义千问 > Kimi > gemini1.0 >文心一言3.5





欢迎光临 链载Ai (https://www.lianzai.com/) Powered by Discuz! X3.5