2024年11月12日，RALEIGH – 开源解决方案的全球领导者Red Hat公司（Red Hat, Inc.）正式宣布已与 Neural Magic 达成最终协议，收购这一在生成式AI（gen AI）推理工作负载加速技术方面具有前沿地位的公司。此举展示了Red Hat致力于在混合云环境中随时随地为客户交付各类应用和工作负载的承诺，尤其是 AI 相关的任务。从本地部署到公共云、边缘计算，Red Hat都希望为客户提供更加开放、灵活的平台支持。
打破 AI 推理性能瓶颈的关键合作
Neural Magic 专注于 AI 推理性能工程，通过创新的算法提升生成式AI模型的推理速度和效率，这正契合了Red Hat的混合云 AI 战略。双方的合作旨在为客户提供随时、随地都能高效运行的 AI 工作负载能力。
Red Hat公司总裁兼CEO Matt Hicks 表示：“随着 AI 不断普及，灵活、标准化的开放平台和工具是关键，能让企业根据数据分布选择最佳的环境和架构。”当前，生成式 AI，特别是大型语言模型（LLM）的广泛应用已成为科技领域的热点。然而，随着模型规模的扩大，构建高效、稳定的LLM服务对计算资源和专业技能提出了极高的要求。因此，Red Hat收购 Neural Magic 旨在打破这一瓶颈，帮助企业通过创新的开源工具以更低的成本接触并应用 AI 技术。
vLLM：推动生成式 AI 的社区驱动开源平台
在 UC Berkeley 开发的 vLLM 项目（开源的模型推理框架）将成为此项收购的关键组成部分。vLLM 支持主流模型及各种推理加速硬件，涵盖 AMD GPU、AWS Neuron、Google TPU、Intel Gaudi、NVIDIA GPU 和 x86 CPU 等。Red Hat希望利用 vLLM 及其开源社区的力量，让更多企业能够构建并部署符合自身需求的 AI 策略，并能无缝地在混合云环境中运行。
共同推动混合云就绪的生成式 AI 未来
Neural Magic 成立于2018年，源于 MIT 的研究项目。其目标是构建高性能的深度学习推理软件。在其技术支持下，Red Hat将进一步丰富自己的 AI 技术组合，以应对企业级 AI 的广泛需求。这包括：
• 开源模型，参数规模从1B到405B，能在混合云环境中无缝运行；
• 通过微调功能，帮助企业更轻松地将LLM与私有数据整合，保障安全性；
• 优化推理性能，提升运营效率并降低基础设施成本；
• 通过开放的生态系统，为企业在LLM、工具、服务器硬件和芯片架构方面提供更广泛的选择。
Neural Magic 还在 vLLM 领域处于领先地位，通过此技术，客户可以在混合云环境中优化、部署和扩展LLM工作负载，从而完全控制基础设施的选择和安全策略。此外，Neural Magic 还开发了 LLM Compressor 等工具，能有效提升模型的稀疏性和量化效率，并提供了可直接部署的预优化模型库。
Red Hat AI：降低 AI 成本与技能门槛
Red Hat通过多项创新平台帮助客户降低 AI 成本和技术门槛，包括：
• Red Hat Enterprise Linux AI（RHEL AI）：支持在Linux服务器上开发、测试和运行IBM Granite等开源LLM；
• Red Hat OpenShift AI：提供全面的AI平台，方便用户在 Kubernetes 环境中快速开发、训练和管理机器学习模型；
• InstructLab：由Red Hat和 IBM 联合发起的开源 AI 社区项目，任何人都可以使用 InstructLab 的微调技术改进 Granite 开源LLM模型。
通过这些举措，Red Hat AI 将为客户提供优化、开源的推理平台，使 LLM 的部署能够覆盖企业数据存在的任何位置。
支持性发言
Red Hat CEO Matt Hicks 强调：“AI 工作负载需要能在数据所在的任何位置运行，这使得开放、灵活的标准平台和工具变得不可或缺。”Neural Magic CEO Brian Stevens 表示：“开源通过社区协作推动创新，而加入Red Hat不仅是理念上的契合，更将为大大小小的公司提供更强大的 AI 支持。”
IBM 研究高级副总裁 Dario Gil 补充道：“未来的混合云环境中，开源架构的虚拟化 LLM 将成为行业标准。”他认为，Red Hat在开源领域的领导地位，加上像IBM Granite和Neural Magic这样开放高效的模型，将帮助企业在AI部署中获得所需的灵活性和控制力。
此次交易尚需通过相关监管审核，Red Hat与 Neural Magic 的携手，将进一步推动混合云时代的生成式 AI 应用，为企业提供更加开放、强大的 AI 解决方案。
#AI #Red Hat