模型运行软件 LiteRT-LM 的新版本,为开发图像和语音功能的开发者增加了模型运行选项。它在 Artisan GPU 运行路径上支持处理图像和语音的 Gemma 4 模型。该版本扩展了视觉处理方式,也新增了对语音处理组件与 GPU 文本处理组件组合使用的支持。
1. 将 Gemma 4 的视觉与语音输入引入 GPU 运行路径
谷歌的 LiteRT-LM 项目于 2026 年 11 月 5 日发布了 v0.19.1。
发行说明的首项变更是在 Artisan GPU 后端支持多模态 Gemma 4 模型。这里的多模态指的是处理视觉和语音这两种不同类型的输入。
后端是处理模型运算的运行基础。本次新增模型支持的对象是 Artisan GPU 后端。
2. 为视觉处理启用双向注意力
视觉处理方面的变更是为 GPU Artisan 模型启用了双向注意力。双向注意力不只沿单一方向参考输入,而是同时参考前后信息。如果说第一项涉及支持的模型,这一项则涉及模型内部处理视觉信息的方式。
3. 支持语音输入与文本处理组件组合使用
音频相关的变更是支持将 LiteRT 音频编码器与 Artisan GPU 文本解码器组合使用。这意味着可以将处理语音输入的组件与负责文本输出的组件搭配使用。支持项目中不仅列出了模型名称,也明确列出了组件组合。
4. 检查分发文件并确定采用配置
发布页面提供了包括源代码包在内的 7 个分发资源。框架压缩包有 CLiteRTLM.xcframework.zip 和 CLiteRTLM_mac.xcframework.zip 共 2 个,运行时加载使用的动态库是 libGemmaModelConstraintProvider.dylib。面向 macOS ARM 系列 64 位处理器的 arm64 分发资源分为压缩包和可执行文件。其余 2 个是 zip 和 tar.gz 格式的源代码包。
发行说明未列出具体的受支持模型标识符、硬件清单或运行步骤。也未提供性能测量结果与资源使用量,因此难以根据这份资料量化速度、准确度的提升幅度或额外的资源成本。
本次变更分为模型支持、视觉处理方式和音频组件组合三个层面。
