浏览器开始原生支持小模型推理,意味着一些 AI 功能可以在用户设备上直接完成,而不必把数据上传到云端。这个变化对企业应用的影响,比技术本身更值得关注。
三个直接的好处
隐私更可控。数据不出本机,处理客户信息、合同文本、内部资料时减少了合规负担。这对受数据保护要求约束的行业尤其重要。
响应更快。省去网络传输环节,实时性要求高的场景体验更好,比如输入时的即时校对、页面的实时翻译、表单内容的即时检查。
成本更低。不需要为每一次交互支付云端调用费用,长期使用成本明显下降。
适合放在端侧的任务
- 文本分类与打标,比如给表单内容自动归类;
- 格式转换与字段提取,比如从粘贴的文本中抽取联系方式;
- 实时校对与提示,比如内容合规性检查;
- 简单的问答与检索,基于本地的知识片段进行回答。
这些任务的共同点是对准确率要求可控、任务边界清晰、不需要庞大的世界知识。
还留在云端的事务
需要强推理能力的复杂分析、依赖大规模知识库的问答、需要多任务协同的智能体流程,仍然更适合在云端完成。端侧小模型的优势是快和私密,不是全能。
企业该怎么看这件事
短期不必急着改造系统。更实际的准备是:梳理哪些数据处理涉及敏感信息,这些场景未来可以优先考虑端侧方案;检查现有的 AI 功能里,有多少只是为了完成简单的文本处理而调用了昂贵的云端模型,这些是可以优化的部分。
技术落地的价值往往不在于采用了最新的模型,而在于把合适的任务放到合适的位置。
