AMD Lemonade SDK 10.5 发布:macOS 支持转正,集成 ROCm 7.13 技术预览

AMD主导的开源AI推理SDK Lemonade发布10.5版本,macOS支持从beta升级至GA状态并完善Metal后端,同时集成ROCm 7.13技术预览版以优化Llama模型效率。

AMD 工程师主导的开源项目 Lemonade SDK(面向本地 AI 推理)近日发布了 10.5 版本。该项目致力于在 GPU 和 NPU 上提供优化的大语言模型(LLM)推理服务,自 3 月推出 10.0 版本后,开发力度明显加大,仅两个多月便迭代至 10.5。此次更新主要包含两方面的变化:macOS 平台的支持从测试阶段提升至一般可用(GA)状态,以及集成 ROCm 7.13 技术预览版。

macOS 版本正式发布,Metal 后端功能完善

根据项目发布说明,Lemonade SDK 10.5 中 macOS 版本已从 beta 毕业,所有主要功能均获得完整支持。此次更新为 macOS arm64 架构的 Metal 后端添加了对 whisper、kokoros、stable-diffusion.cpp 等多个模型的支持,这意味着在 Apple Silicon 设备上运行语音识别、图像生成等 AI 任务将获得更稳定的原生体验。同时,团队对自定义/导入模型及 recipe 的管理方式进行了彻底改革,改善了用户整理和调用第三方模型的流程。

ROCm 7.13 技术预览上线,优化 Llama 推理效率

另一项关键更新是将底层 AMD ROCm 运行时升级至 7.13 版本。该版本作为技术预览(Tech Preview)发布,并专门针对 Llama 系列模型进行了优化。ROCm 7.13 被用于 llama.cpp 和 stable-diffusion.cpp,有助于提升 AMD Radeon 显卡运行大语言模型和图像生成模型时的性能。结合此前版本已支持的 NPU 加速,Lemonade SDK 在 AMD 硬件平台上的本地 AI 推理能力得到进一步巩固。

Lemonade SDK 10.5 现已在 GitHub 上发布,用户可获取源码或预编译包。该项目定位为“极速本地 AI”,旨在让开发者和用户在消费级硬件上便捷部署 AI 应用,此次更新在跨平台兼容性和性能优化方面迈出了务实的一步。

本文参考来源:Phoronix

发表回复