【MJD-047】ビンタでイク女 手机能跑GPT-4V了？国产端侧模子又出力作！实拍视频秒交融
发布日期：2024-08-08 06:25 点击次数：110
作家 | ZeR0裁剪 | 漠影【MJD-047】ビンタでイク女
智东西8月6日报谈，本日，面壁“小钢炮”MiniCPM-V 2.6模子重磅上新，以8B参数，取得20B以下参数的单图、多图、视频交融3 SOTA成绩，初度在端侧拆伙单图、多图、视频交融等多模态中枢智力全面杰出GPT-4V，单图交融越级并排Gemini 1.5 Pro和GPT-4o mini。
模子经int4量化后端侧6G内存可用，端侧推理速率高达18tokens/s，比上代模子快33%。发布即复古llama.cpp、ollama、vllm推理，且复古多种谈话。
及时视频交融、多图勾搭交融、多图ICL视觉类比学习、多图OCR等功能初度被搬上端侧多模态模子，使得模子约略愈加充分地阐述端侧AI传感器富集、逼近用户的上风，能边拍视频边交融录像头捕捉的笔墨，能从多张小票像片快速识别票额并算出总账，还能读懂单张或多张梗图。
MiniCPM-V 2.6的单token编码像素密度（token density）达到GPT-4o的两倍，这收成于视觉token比拟上一代下落30% ，比同类模子低75%。
GitHub地址：https://github.com/OpenBMB/MiniCPM-V
HuggingFace地址：https://huggingface.co/openbmb/MiniCPM-V-2_6
llama.cpp、ollama、vllm部署教程地址：https://modelbest.feishu.cn/docx/Duptdntfro2Clfx2DzuczHxAnhc
MiniCPM系列开源地址：https://github.com/OpenBMB/MiniCPM
一、单图、多图、视频交融SOTA，端侧多模态并排GPT-4V水平新一代MiniCPM-V 2.6以仅8B的参数目取得了失色GPT-4V的详尽性能， 单图、多图、视频交融三项多模态中枢智力全面杰出GPT-4V，且均拆伙20B参数以下模子性能SOTA。
在知识压缩率方面，MiniCPM-V 2.6取得了两倍于GPT-4o的最高多模态大模子像素密度（Token Density）。 Token Density = 编码像素数目 / 视觉token数目，是指单个token承载的像素密度，即图像信息密度，获胜决定多模态模子骨子的开动效果，数值越大，模子开动效果越高。
▲闭源模子的Token Density由API收费模样估算得到，规则高慢MiniCPM-V 2.6是悉数多模态模子中Token Density最高的
1）单图：在详尽评测泰斗平台OpenCompass上，单图交融智力越级杰出Gemini 1.5 Pro和GPT-4o mini。
2）多图：在多图评测泰斗平台Mantis-Eval榜单上，MiniCPM-V 2.6多图勾搭交融智力拆伙开源模子SOTA ，且杰出GPT-4V。
3）视频：在视频评测泰斗平台Video-MME榜单上，MiniCPM-V 2.6的视频交融智力达到端侧SOTA，杰出GPT-4V。
此外，在OCRBench上，MiniCPM-V 2.6 OCR性能拆伙开源+闭源模子SOTA，延续并加强了小钢炮系列最强端侧OCR智力的传统上风。
在幻觉评测榜单Object HalBench上，MiniCPM-V 2.6的幻觉水平（幻觉率越低越好）优于GPT-4o、GPT-4V、Claude 3.5 Sonnet等宽广商用模子。
二、及时视频交融初度上端，快速汇总视频里的密集笔墨信息手机、PC、AR、机器东谈主、智能座驾等端侧配置自带的录像头，具有自然的多模态输入智力，因此比拟云表，端侧视频交融自带上风，离用户更近，链路更短，效果更高，同期具有更强的阴私安全。
而MiniCPM-V 2.6让及时视频交融功能第一次开动在端侧，及时拍摄即可精确识别出录像头捕捉到场景中的笔墨。
丝袜制服该模子也能快速转头长视频中的要点信息。比如其视频OCR功能，不错在没听到任何语音的情况下，识别出48秒天气预告视频画面里的密集笔墨，给出不同视频段落中不同城市的良晴天气态状。
▲该规则为代码环境中复现
三、多图勾搭交融初度上端，能算小票，会读梗图最新发布的MiniCPM-V 2.6初度将多图勾搭交融、多图ICL（曲折文少样本学习）功能集成在端侧模子，可拆伙绽开的多图多轮交融。
比如遭受浅薄记账或报销的事，把多张小票拍照，然后交给MiniCPM-V 2.6。基于广博的OCR智力 + CoT（念念维链），它不仅能识别出每张小票的金额，还能把总账算出来。
端侧多模态复杂推聪敏力也被刷新。比如遭受这谈GPT-4V官方演示经典命题：诊治自行车车座。这个问题对东谈主来说很浅陋，偷拍图片对模子却很难，终点考验多模态模子的复杂推聪敏力和对物理学问的掌抓智力。
MiniCPM-V 2.6通过和模子进行多图多轮对话，能澄澈奉告完成调低自行车车座的每一个良好才略，还能凭据证明书和器具箱帮你找到符合的器具。
MiniCPM-V 2.6的多图复杂推聪敏力也很出色，不仅能勾搭识别多张图片的名义信息，还能“读懂”梗图背后的槽点。
比如让模子证明底下两张图背后的小故事，MiniCPM-V 2.6能将多图勾搭交融和OCR智力勾搭，通过OCR精确识别到两张图片上的笔墨：“WFH Employees 8:59 AM”和 “WFH Employees 9:00 AM”，推理出“WFH”居家办公情状，然后勾搭两张图片的视觉信息勾搭推理出“责任在家时，8:59还在床上睡眠，9点立马出当今视频会议上”的居家办公的“抓狂”情状。
单图也不在话下。MiniCPM-V 2.6能恣意“读懂”梗图中好多未显明走漏的潜台词。
四、多图ICL初度上“端”！大模子学会算计效法好多场景单用谈话说不澄澈，需要视觉信息来扶助交融。这时多图ICL（In context learning）曲折文少样本学习功能就很有必要，能让模子无需微调，即可快速适配到特定界限和任务，显贵提高模子的输出稳固性。
举例，给出两组神转换画面，并对画面中的“梗”给出暗示笔墨态状：一个戴入辖下手套、怜爱卫生的厨师，下一秒却用戴手套的手获胜去拿骨子有些污秽的纸币；一个看似热衷环保的东谈主，却把塑料瓶装水大开装进环保水壶……
MiniCPM-V 2.6能自动从前边两组图文关系，揣摩出题东谈主的意图，并自动学会“答题模版”，给出相通的“神转换”谜底： 一个东谈主手抓无数加密数字货币，可你猜怎么着，他外出购物，但是商店却只收现款。
五、谐和高清视觉架构，拆伙高效智力挪动与知识分享MiniCPM-V 2.6的单图、多图、视频交融等中枢智力全濒临标GPT-4V，除了Qwen2-7B基座模子的性能加持外，要归功于收受了谐和高清视觉架构。
它将MiniCPM-V单图场景的“180万高清图像知道”进行智力挪动和知识分享，无缝拓展至多图场景和视频场景，并将这三种视觉交融场景谐和模样化为图文轮流的语义建模问题，分享底层视觉清晰机制，拆伙比拟同类型模子，视觉token数目省俭进步75%。
在OCR信息索求的基础上，MiniCPM-V 2.6还能进一步对表格信息进行雷同CoT（念念维链）的复杂推理。
比如让模子计较2008年奥运会赢得金牌数最多的3个国度一共赢得了几许枚金牌，CoT的历程是：先应用OCR智力识别并索求出奖牌榜中金牌数目的前三名国度，再将前三名国度的金牌总和相加。
还有8.2%的超低幻觉率，以及增强的复杂推聪敏力和通用域多图勾搭交融智力，收成于面壁RLAIF-V高效对皆时间。
在多模态复杂推聪敏力对皆方面，MiniCPM-V 2.6通过复杂题筹算CoT解答数据，构造高效对皆种子数据，并通过模子自迭代完成数据净化和知识学习。
在多图勾搭交融方面，MiniCPM-V 2.6从通用域当然网页中勾搭文本痕迹挖掘多图关连语义，拆伙多图勾搭交融数据的高效构造。
结语：下载量进步百万，端侧模子屡创标杆在端侧最强多模态的谈路上，小钢炮MiniCPM-V系列已成为国内端侧模子典范之一，自24年2月1日初度始创端侧部署多模态先河以来，短短半年曲折连完成了端侧模子从单一、到全濒临标GPT-4V的打破。小钢炮系列的下载量已逾百万。
MiniCPM端侧模子系列是面壁永久以来“大模子科学化”道路的执行【MJD-047】ビンタでイク女，一方面通过科学耕作熟谙要领与数据质地，贬抑耕作大模子“知识密度”，得到同等参数，性能更强、老本更低的高效模子；另一方面，钻研OCR、多图与视频交融等中枢多模态智力革命时间，继续打破端侧的能耗与内存极限。