近期，谷歌颁布新一代开源模型Gemma 4，蕴含E2B、E4B、26B、31B四个规格，其中两个「幼模型」E2B和E4B，能够直接在智能手机、树莓派等端侧设备部署和离线运行。

谷歌Gemma 4两款「幼模型」已经推出，就被不少人誉为迄今为止最好用的端侧模型。雷科技（ID：leitech）也先后发了两篇实测内容：一篇荟萃逻辑推理和多模态能力，一篇聚焦国产千元机上的履历阐发。

而在使用一段功夫后，雷科技（ID：leitech）编纂幼同伴也有了更多新感触和体味。

图源：雷科技摄造

端侧模型，比百科全书好用100倍

近日，苹果颁发掌管硬件工程的高级副总裁约翰·特努斯将接替蒂姆·库克，担任公司首席执行官。其后，国内表连篇累牍的「为何库克选他当交班人？」解读文章，那么把这个问题抛给Gemma 4E4B，它又能给出怎么的解读呢？

在谈天框输入对应提问后，谷歌的端侧模型简直是靠近「零延长」，立马就起头了信息输出，单说这一履历设定，简直让人面前一亮。（注：履历设备为iPhone 17 Pro Max，下同）

图源：雷科技

不外，由于输出的文本量不算少，故而前后用了46秒功夫，谷歌端侧模型才给出了齐全版的答案。

图源：雷科技

粗看之下，已经能够较好解答相当多人的疑难，而这就是端侧模型的主题优势：

在最低的硬件成本（本地运行+0 Token亏损）前提下，给出一个「相对好」的答案，或一个「够用」的解决规划。

今年有部热播国产剧《太平年》，有关的会商和内容好多，前段功夫也抛给了谷歌端侧模型一个问题：

吴越国若何能在沉税政策下反而能够维持八十余年的太平繁华？

这是一个相对专业和细化的问题，不少大学学历（非汗青系）的人，都不定相识和明显，看下E4B模型的水平：

图源：雷科技

能够看出，端侧模型不仅是离线的大百科全书，并且能够凭据用户的分歧问题甚至方向，去更有侧沉地进行解答，蕴含各类领域的专业问题征询。

谷歌Gemma 4E4B模型的知识截止点功夫为2023年10月，在此之前产生的所有被纪录和公开的事务、科学发现、汗青信息和文化知识等，理论来说你都能够问它。

雷科技（ID：leitech）以为，这也是端侧模型作为工具利用，在当下比力有效的一大使用场景，尤其是对古今中表各类信息和知识感兴致和有好奇心的用户群体。

而在初步履历了这款App（Google AI Edge Gallery）后，雷科技（ID：leitech）编纂就把其放在了手机主屏的Dock底栏，由于险些天天都用得到。

值得一提的是，谷歌暗示固然Gemma 4的主题训练数据有一个知识截止点，但其系统会不休进行更新和微调，以提高模型的理解和回覆能力水平。

处置单一问题，端侧模型变乱频发

本以为，在基础知识领域，端侧AI模型已经能够齐全胜任，了局现实给了沉沉一锤。

Gemma 4 E4B模型，连唐诗名篇《将进酒》，都能够给错全文和作者信息。

图源：雷科技

原因很单一，端侧模型整体参数量偏幼，发展至今，依然无法涵盖所有知识领域，强如谷歌Gemma 4也如此，所以不少领域的细节信息也就会出现「失真」和「幻觉」景象。

对于这类的古诗文、古籍或资料信息，与其去问端侧模型相应的原始文本信息，不如把原始文本信息直接丢给它，例如古诗或文言文等，而后让其给出翻译或解读内容。

基于端侧模型参数量幼带来的知识库信息量少问题，谷歌也尝试在端侧模型上初次引入了「智能体」能力。

不外关于信息检索类的，目前只能联网到在线百科网站（例如维基百科等），并没有提供能够下载的作为「增量」的各类离线知识库资源。

图源：雷科技

除了通例的知识信息问答，以Gemma 4 E2B/E4B等为代表的端侧AI模型，也在发力工作协助和干活场景。

工具利用层面，本以为查抄文章根基语病这类工作，齐全能够丢给端侧模型去进行协助，但现实阐发同样不能让人安心，尤其是长段落文字的语病查抄。

究其原因，像查抄语病这类的高精度工作，由于必要大量编纂语料和强说话散布影象，端侧模型常把查抄语病造成了文本批改（润色），或者混合了两者之间的区别，由于对它来说给出文本润色和批改建议反而更容易。

值妥贴心的是，当你把「进行根基语病查抄和建改」的指令发给端侧模型后，它可能很难「理解到位」，但若是换成「进行根基语病查抄（无语病不要改）」的指令，端侧模型的输出了局，就会了然不少。

图源：雷科技

谷歌Gemma 4有system role、function calling等节造能力，但前提是你要把提醒模板、工作天堑、输出体式等尽量写单一和清澈。

另表，经过实测，固然Gemma 4原生支持超过140种说话，但在查抄长文语病等复杂精密度工作上，英文比中文支持得更好，这可能是因其预训练语料仍以英文为主。

端侧模型更适合专用场景？

除了以上列举情况，雷科技（ID：leitech）此前已履历过Gemma 4E4B模型的原生多模态（图像、音视频）能力，它能够直接看图识物，也能够听懂单一的音频信息、看懂单一的视频信息。

在离线和网络较差的环境下，发一张相册中的图片，谷歌端侧模型就能够给出图像的根基信息。

例如在飞行场景，若是对机上杂志或报纸上的某张图片佑赘单一」的解读信息需要，那么就能够直接发给端侧模型，让其尝试进行解答。

至于较复杂的图像、音频信息，目前的端侧模型依然难以理解「更多」的信息量。

图源：雷科技

那么，端侧模型目前最善于的技术是什么呢？

毫无疑难是这几项：离线翻译、推算器、单一解题和测试训练等工具，以及相对专业领域（蕴含健康等领域）的基础信息科普、征询等。

此前，谷歌就基于Gemma 3构建了专用的翻译模型TranslateGemma。而得益于专项训练流程，TranslateGemma 4B模型机能可与规模较大的Gemma 312B基准模型机能相媲美Ｄ芄坏却，谷歌后续很快会推出基于Gemma 4的新一代专用翻译模型。

谷歌端侧模型和联网翻译工具的翻译成效对比（图源：雷科技）

独一无二，腾讯混元也在近日开源手机端离线翻译模型Hy-MT1.5-1.8B-1.25bit，把支持33种说话的翻译大模型压缩至440MB，用户免费下载之后，可在手机直接运行，无需联网，官方称其翻译成效「比肩」商用翻译模型。

Gemma 4：端侧模型迈出的「不美满」第一步

最近几个月，各家的云端大模型迭代飞快，参数量和智能化比拼也来到新阶段。相比之下，不是新概想的端侧模型，也在致力前行，力求早日真正落地了局。

在履历一段功夫后，雷科技（ID：leitech）的最大感触是，谷歌Gemma 4的推出，标志取端侧模型落地移动终端设备迈出的那「不美满」的第一步。

至于目前能力水平的端侧模型，推荐的人群有两大类：

1.天天都要查问古今中表大量信息的「百科向」用户，目前的端侧模型能够在一些领域更快、更直接、更定向地给出你想要的一个「初始版本」答案。

2.手机上装了大量离线app的「工具向」用户，目前的端侧模型能够在翻译、推算器、单一解题和测试训练，以及相对专业领域的基础信息科普征询等工具利用领域有较好的阐发。

当然，你想尝鲜，或者说见证端侧模型的一路成长，也能够下载履历。

对于iPhone用户，苹果即便在未来推出自家的端侧模型产品，或许率也就是谷歌Gemma端侧模型后续能够实现的水平Ｄ芄坏却摹冈隽俊够颉讣忧俊辜际，重要也就端侧模型对于手机各项操作指令的「美满联动」和「无缝接入」。

图源：谷歌

必要指出的是，谷歌Gemma 4端侧模型的回覆和响应速度，与你手机的运行内存和算力水平有着莫大关系。

iPhone用户，建议运存8GB起步，推荐12GB；安卓用户，建议运存12GB起步，推荐16GB。这样的配置，能够履历目前端侧模型的最佳运行阐发。

至于若何在手机高低载谷歌Gemma 4端侧模型，步骤极其单一，所有国内用户均可履历：

先在国区App Store或安卓利用商店下载配套的App，即Google AI Edge Gallery；其后可在App中对谷歌有关端侧模型直接进行本地部署（下载）和使用履历。

图源：雷科技

端侧模型，成了谷歌面向中国内地用户齐全盛开下载、并可直接使用的大模型产品。

而这似乎也预示着谷歌端侧模型（注：经过审查和登记后），未来有可能全面部署甚至预装到更多国产终端硬件设备，蕴含幼型物联网终端设备等。

在这方面，谷歌已经在发力。Gemma 4模型支持业界通畅的Apache 2.0许可，这意味着开发者能够越发自由地使用、批改和分发该模型，解除了以往贸易化利用中的各项顾虑。

而通过与谷歌Pixel硬件团队以及高通、联发科等移动终端芯片平台企业合作，谷歌试图让Gemma 4端侧模型能够在更多安卓移动设备（尤其非高运存设备）上实现真正的「近乎零延长」使用履历。

图源：雷科技摄造

能够设想，伴随未来旗舰手机（蕴含iPhone）运行内存全面迈入16GB阶段，「幼模型」更多、更强、更高效的技术阐发（尤其是与智能体的更成熟联动），以及更大的本地知识库信息储蓄量，端侧模型也将给用户带来全方位的加强版履历。

这一天，已经为时不远了。