Substratus 是一个 ML 模型部署和优化平台，侧重于 LLM。它能在几分钟内安装 ML 平台，运行和优化最新的 LLM 只需一条命令。该平台提供完全托管的私有 LLM，支持自动扩展，基于开源的 Lingo OSS，可在自己的云账户或 K8s 集群上运行，节省成本并保护数据。

团队名称匹配

Giskard 是一家面向企业的开源测试框架，专注于 LLM 和 ML 模型的快速测试。它能自动探测幻觉与偏见，并提供企业测试中心服务。可自主托管或云端部署，与多种工具集成，全面覆盖从表格模型到 LLM 的测试。

Giskard 是一家做 ML 模型部署和优化的团队，支持自动扩展

OpenRLHF 是一个基于 Ray、DeepSpeed 和 HF Transformers 构建的高性能 RLHF 框架，具有简单易用、支持多种模型和数据集等特点

OpenRLHF 是一个高性能 RLHF 框架，具有简单易用等特点，但不支持自动扩展。

PowerInfer is a high-speed inference engine for deploying large language models locally. It is designed for efficient local deployment on consumer-grade hardware, achieving low-latency LLM inference and serving on a single GPU.

PowerInfer 优化了移动设备上的模型推理效率，这与 Substratus 有相似之处，但不支持自动扩展。

BentoML 是一家专注于 AI 应用的开发者平台，致力于为开发者和企业客户提供构建、部署和扩展 AI 应用程序的能力，其产品包括 Serverless 云平台等。

该团队专注于 AI 应用开发，提供 Serverless 云服务助力部署，但未明确是否支持自动扩展。

CMU Catalyst 团队专注于 LLM 大模型推理优化，通过硬件利用和性能优化策略，提升 LLM 推理的效率。该团队推出了一篇关于高效 LLM 推理的综述，覆盖了 300 余篇相关论文，从 MLSys 的研究视角介绍了算法创新和系统优化两个方面的相关进展。

该团队是做 ML 模型部署和优化的，和 Substratus 类似，都专注于模型推理优化，符合搜索要求。

该团队专注于检索增强生成（RAG）技术，提供学习笔记和相关文章，包括优化内容提取方法、优化 chunking、优化 embedding 模型等。团队成员在 LLM 应用落地方面有丰富经验，分享了客户场景落地中的心得，探讨了实现 AI Agents 的方式，以及如何解决 LLM 应用落地中的问题。

该团队专注于 RAG 技术，并提供 AI 应用落地方案和优化服务，但未明确提及支持自动扩展。

LMDeploy 是一个用于压缩、部署和服务大型语言模型（LLMs）的工具包

该团队可提供 ML 模型部署和优化服务，与 Substratus 部分功能类似。

Dialog 是一款面向程序员的应用程序，旨在简化 LLM 的部署，使用最现代的框架进行网络和 LLM 交互，让用户无需具备服务器维护知识，就能更轻松地训练模型。它提供了一个 API，支持部署任何 LLM，并提供了一些教程帮助用户快速上手。

Dialog 是做简化 LLM 部署的团队

Taylor AI 是一家提供优化开源 LLM 的平台，可在几分钟内完成对包括 Llama2、Falcon 等模型的微调。使用该平台，用户可以专注于实验和构建更好的模型，无需在 Python 库中挖掘或跟踪每一个开源 LLM，并且可以拥有自己的模型。

该团队是做 ML 模型部署和优化的团队，类似于 Substratus。

LLM360 是邢波团队提出的全面开源 LLM 的倡议，旨在提供训练代码和数据、模型检查点以及中间结果等，以促进开放和协作式的人工智能研究

团队名称与 Substratus 不匹配。

PAIBladeLLM 是阿里云 PAI 平台提供的大模型推理引擎，致力于让用户轻松部署高性能、低成本的大语言模型服务。它对 LLM 推理和服务的全链路进行了深度的性能优化和工程优化，确保不同模型在不同设备上都达到最优性价比。

PAIBladeLLM 团队提供对 LLM 推理和服务的全链路进行深度性能优化和工程优化，可视为是做 ML 模型部署和优化的团队，但团队信息中未提及支持自动扩展。

MLC LLM 是一个用于大型语言模型的机器学习编译器和高性能部署引擎。它的使命是让每个人都能在自己的平台上原生地开发、优化和部署 AI 模型。MLC LLM 编译并在 MLCEngine 上运行代码，这是一个跨平台的统一高性能 LLM 推理引擎，提供了 OpenAI 兼容的 API，可通过 REST 服务器、Python、JavaScript、iOS、Android 等使用。

mlc-llm 团队是做 ML 模型部署优化的，可实现跨平台部署 AI 模型，和 Substratus 在业务上有相似之处。

AbacusAI 是世界上第一个 AI 平台，利用生成式 AI 和其他新型神经网络技术，让 AI 能够大规模构建 LLM 应用、生成式 AI 代理和预测性应用 AI 系统。其产品包括 ChatLLM、AI 代理、预测和规划、营销和销售 AI、异常检测、语言 AI、视觉 AI、离散优化、预测建模、个性化 AI 等，涵盖多个行业和领域。

团队 AbacusAI 可进行 ML 模型部署和优化，但不支持自动扩展

澳鹏是一家位于澳大利亚的科技公司，提供弹性工作职位，涵盖翻译、语言、工程师、市场、金融、销售等领域。其业务包括数据标注与采集、智能 LLM 开发平台、MatrixGo 数据标注平台等，为 AI 生命周期提供高质量数据，拥有全球众包团队和多种优势。

该团队提供 ML 模型部署和优化服务，但未提及是否支持自动扩展。

专注于 LLM 部署和优化的团队，提出并开源 OpenRLHF 框架，解决大规模 RLHF 训练问题。

团队 OpenLLMAI 专注于 LLM 部署和优化，但未明确表示支持自动扩展