什么是企业级 AI？

企业 AI 是指将人工智能（AI）工具和机器学习软件集成到大规模运维和流程中。  

几乎在每个行业，企业组织都在采用 AI 技术来提高效率，利用现有的人员和资源完成更多工作。特别是大型企业，亟需能够在更大规模上运行、适用于不同团队和工作负载的 AI 解决方案。

探索红帽 AI

医疗卫生、电信和银行等行业正在利用 AI 来获取竞争优势。无论是为了优化财务管理、改善客户体验，还是单纯提高工作效率，企业都在迅速学习如何应用生成式 AI 与预测性 AI，助力完成日常任务，并攻克复杂的长期问题。 

查看红帽 AI 客户案例

企业 AI 提供了以全新视角审视业务的契机。如今，企业解决问题的时间大幅缩短，仅需数周即可攻克以往需耗时数年的难题。 

AI 技术兼具速度与准确性，使大型企业能够高效处理海量数据，并满怀信心地快速试验新的商业构想。了解这些机遇的具体表现形式、它们将如何助力您的业务发展，以及如何克服 AI 在此过程中可能带来的挑战，将会非常有帮助。 

同样重要的是，必须认识到推理具有同等关键的地位。简而言之，没有推理就没有 AI。当需要大型模型来执行企业级战略时，情况就会变得复杂。因此，支撑企业 AI 推理能力的硬件和软件，关系到 AI 战略的成败。

能否成功大规模部署 AI 工作负载，取决于各移动组件之间协同工作的效率和效果。具体而言，能够支持更大的 AI 模型（如 LLM）和更复杂的推理功能的推理服务器，对于扩展企业的 AI 工作负载至关重要。

这些 AI 工具可以增强推理能力，帮助工程师更高效地利用资源： 

• llm-d：LLM 提示词往往复杂且不统一，处理海量数据通常需要大量计算资源与存储支持。llm-d 这类开源 AI 框架让开发人员可借助分布式推理等技术，满足 LLM 等复杂大型推理模型日益增长的需求。
• 分布式推理：分布式推理通过将推理任务分配给一组互联设备，从而使 AI 模型更高效地处理工作负载。这相当于软件领域的“众人拾柴火焰高”。 
• vLLM：vLLM（虚拟大型语言模型）是由 vLLM 社区维护的开源代码库。它能够更高效地利用 GPU 存储，帮助 LLM 更高效地大规模执行计算。

为什么要关注 AI 推理 

企业 AI 解决方案具备诸多优势，可助力企业打造更优质的商业模式，并减少阻碍企业发展的障碍。 

其中一些优势包括： 

• 降低成本。 借助 AI 自动化，可自动执行日常任务，减少重复性工作，从而使员工能够专注于那些需要全身心投入的任务。
• 优化客户体验。 AI 擅长分析数据并识别模式，包括人类行为。凭借这些实时洞察信息，可改善客户与企业品牌的交互体验。
• 预防差错。 AI 不仅能够识别模式，还能预测接下来可能发生的情况，包括异常情况。预测性 AI 能够防患于未然，在错误或故障发生前精准识别，从而避免长时间停机，防止生产力出现大幅滑坡。 

了解预测性 AI 用例

AI 在企业中的一个关键优势在于简化跨职能协作。倘若缺乏这一优势，在企业层面，其他诸多益处都将难以充分实现。企业 AI 平台应当打破以往团队间沟通不畅的局面，让各团队能够更轻松地展开协作。 

一旦团队能够以更敏捷、更智慧的方式开展工作，整体运营效率低下的问题便会得到全面改善，尤其当所有成员都能借助同一个平台协作时，效果更为显著。 

深入了解企业 AI 的用例

企业 AI 解决方案能为企业带来增长机遇，但也可能引发潜在隐患。了解其中的风险可以帮助您做好准备，降低不可预测事件的发生率。

常见风险包括：  

• 偏见弊端。  由于机器学习模型是从历史数据中学习，它们可能会习得偏见与歧视，进而对决策产生不良影响。这种偏见既可能体现在生成式 AI 中，表现为给出错误答案；也可能出现在预测性 AI 里，导致预测结果失准。优质数据有助于提升准确性，从而实现更精准的预测。
• 信息谬误。AI 有时会产生“幻觉”，即输出一些看似合理却错误的信息。其中一些结果只是视觉上的违和（生成一只手有 6 根手指的人物图像），但有的结果却会造成实际危害（如聊天机器人为医疗求助者提供错误的指导建议）。

• 安全和法律风险。 AI 系统存在安全隐患。 用户在安全性欠佳的应用中输入敏感信息，容易引发数据泄露问题。此外，生成式 AI 在回复内容时，若未经授权复制受版权保护的内容，或擅自使用他人声音、身份，都将引发法律纠纷。 

  如何保护 AI 工作负载

企业 AI 平台蕴含着巨大的发展潜力，但要产生实质性影响，不仅需要大量的资源投入，还离不开各方持续紧密的协作。 

企业面临的一些常见挑战包括：

• 技能和人才短缺。要驾驭 AI 并利用其优势，需要一套全新的技能组合。招聘合适人才、完成入职培训以及开展团队培训，均需耗费大量时间与资源。
• 成本居高不下。 管理 AI 系统并确保其高效运行，需要企业投入巨额资源。维持技术运转所需的强大算力，以及为专业人才提供的资金支持，均成本高昂。
• 规模化困境。 在企业层面扩展 AI 可能需要投入大量的计算和存储资源。精密的大型推理模型可能比较复杂且不一致，这会导致推理速度变慢。像 llm-d 这样的框架可以解决分布式推理的挑战，为开发人员和 AI 工程师提供一个弹性且可观测的系统，以大规模加速推理。
• 对 AI 信任不足。 面对快速变革与诸多不确定性，人们往往难以迅速适应。AI 似乎神秘莫测，不值得信赖。若想赢得团队支持，推动跨部门协作并最终取得成功，需付出更多努力。 

了解代理式 AI 如何助力您实现企业级规模化扩展

AI 推理正应用于高吞吐量、高动态变化的用例。但是，要大规模地一致部署 LLM，需要投入大量计算能力和资源，同时还需具备专业的运维技能。 

vLLM 能够更高效地利用支持企业级 AI 推理所需的硬件资源，从而有效应对这些挑战。正因如此，对于在追求推理速度的同时，还需兼顾灵活性与控制力的行业，vLLM 极具吸引力。

作为一种开源解决方案，vLLM 能够让企业实现以下目标： 

• 自主拥有并管理 GPU 资源。
• 完全掌控自身数据。
• 在尖端模型发布后，第一时间对其进行实验。

vLLM 可部署于多种硬件平台，包括 NVIDIA 和 AMD GPU、Google TPU、Intel Gaudi 和 AWS Neuron。其兼容性不受特定硬件限制，可在云端、数据中心乃至边缘环境中稳定运行。

这三家知名企业组织已运用 vLLM 实现规模化部署 

提及 AI，其内部包含诸多复杂且不断演进的部分。不过，和其他技术栈一样，企业所构建的 AI 技术栈，会整合来自不同厂商、不同渠道的工具、服务、平台以及软件，这些要素相互协同，共同打造出一个功能完备的解决方案。 

具体而言，AI 技术堆栈包含多个层级，例如大语言模型、运行时环境、硬件加速器，当然还包括企业自身的专属数据。诸如模型上下文协议（MCP）这样的协议可帮助 AI 技术栈的不同部分协同工作。 

技术堆栈的构成具有灵活性，其最终构成形式主要取决于多方面因素，包括企业的具体用例、期望达成的目标，以及当前所具备的资源条件。 

需要注意的是，AI 技术栈不是僵化固定的。其各个组成部分并非像三明治那样，必然一层紧挨一层地堆叠。技术栈中的各层应相互协同、配合默契，为实现整体目标各司其职。 

无论 AI 技术栈具体呈现形态如何，其核心目标都是为 AI 解决方案中的各类动态组件提供一个整合平台。这将使您和您的团队能够确定需要改进的具体领域，并评估整个技术栈的协同运作情况。 

AI 战略包括组建专门的 AI 赋能团队，或者从预算中拨出一部分资金用于 AI 产品和服务。 

企业在采用、实施或扩展 AI 时，需要注意以下几点： 

• 明确目标。 在了解 AI 对企业的潜在助力之后，您就能确定希望业务如何发展。明确最终目标后，可借助逆向思维规划路径，从而确定行动起点。 

• 严格审视数据质量。 数据是成功实施 AI 战略的关键。缺乏高质量数据，软件与平台将沦为无源之水。依托及时更新、精准且无偏见的数据，方可充分释放技术栈的优势。 

• 从小规模开始。 如果您尚未准备好在所有环境中进行扩展，不妨先在自己的硬件上用小型模型进行试验。从基础层面掌握 AI 技术，有助于为后续规模扩展储备应对挑战的能力。 

• 借助专家力量。 AI 领域并非易事，其复杂性往往会迅速显现。与具备深厚技术底蕴的专业团队合作，已成为行业共识与推荐实践。 

了解红帽 AI 服务 → 

• 实现 AI 运营化。专注于运营化 AI 的平台能够简化 AI 应用的生命周期管理。此类平台不仅强化了我们之前提到的跨职能协作机制，还支持企业与各业务团队协同推进规模扩展工作。 

如何制定有助于实现长期增长的 AI 战略 → 

最重要的一点是，每家企业都不尽相同。您的企业独具特色，您的 AI 目标也会是独一无二的。 

红帽® AI 是一个包含各种产品与服务的平台，能够在您企业 AI 旅程的任何阶段提供帮助，无论您是刚刚起步，还是准备进行扩展。针对您企业独特的用例，它既能支持生成式 AI，也能支持预测性 AI 相关工作。

借助红帽 AI，您可以使用红帽 AI 推理服务器，在混合云环境中优化模型推理，从而实现更快、更经济高效的部署。推理服务器由 vLLM 提供支持，可最大限度提高 GPU 利用率，加快响应速度。

了解有关红帽 AI 推理服务器的更多信息