专题：模型推理
共11篇相关文章
沐曦C500上如何高效管理GPUStack的vLLM和SGLang推理服务及生产化运维？
在当前大模型推理逐步走向生产化的背景下，如何在多样化硬件环境上高效、稳定地管理推理服务，在工程落地中尤其关键。尤其是在国产 GPU 场景中，不同推理引擎、驱动栈与部署方式之间的组合复杂度明显提升，单纯依赖手工部署或脚本维护，往往难以兼顾效率...
阿里PPU加入GPUStack，国产算力版图统一调度里程碑，这难道不是异构算力的重磅突破吗？
GPUStack 2.1.0 正式新增对阿里 PPU（平头哥）的支持，在 PPU 平台上实现 vLLMSGLang 多版本切换、高性能模型推理、AI 网关访问控制、监控运营等企业级 MaaS 平台能力。 在 NVIDIA、AMD、华为...
3.28北京Meetup，GPUStack、SGLang、MiniCPM核心成员，深度对话AI Infra改如何进行？
会议主题 本次 GPUStack、OpenBMB 和 SGLang 社区联合举办的线下 Meetup，我们将围绕大模型部署中的关键挑战展开分享，重点探讨异构 GPU 管理与推理效率优化等核心痛点，深入解析如何构建面向企业生产环境的统一模型服...
本周六北京SGLang Meetup，关于AI Infra的深度对话，你将赴约吗？
会议主题 本次 GPUStack、OpenBMB 和 SGLang 社区联合举办的线下 Meetup，我们将围绕大模型部署中的关键挑战展开分享，重点探讨异构 GPU 管理与推理效率优化等核心痛点，深入解析如何构建面向企业生产环境的统一模型服...
如何将GPUStack离线部署镜像适配国内加速源？
通过选择 GPU 类型、计算框架版本、推理后端、服务器架构等条件，动态生成对应的 GPUStack 容器镜像列表，并提供镜像准备与离线部署参考命令。...
PaddleOCR-VL 0.9B GPUStack部署，如何实现高效推理登顶SOTA？
在全球多模态文档解析的激烈竞赛中，百度凭借 PaddleOCR-VL 模型给行业投下了一颗重磅炸弹。这个仅有 0.9B 参数量的轻量级多模态模型，不仅在 OmniDocBench V1.5 榜单上以 92.6 的综合得分登顶全球，更在文本识...
如何详细部署GPUStack Windows在WSL2上？
在 WSL2（Windows Subsystem for Linux） 中配置 NVIDIA GPU 并部署 GPUStack。...
GPUStack 自定义后端系列，MinerU 能否打造顶级 PDF 解析服务？
GPUStack v2 自定义后端功能实战！本文以 MinerU 为例，手把手教你快速接入并运行超强 PDF 解析工具，轻松构建私有化文档提取服务。...
如何用n8n接入本地模型，零成本打造AI资讯助手？
通过 n8n 接入 GPUStack 本地模型，构建一个自动抓取 RSS、生成摘要并邮件推送的 AI 资讯助手。全流程本地运行，零 API 成本，数据不出域，快速体验私有化 AI 自动化。...
如何用GPUStack和OpenClaw搭建一个永不停止的本地AI助手？
关注🌟⌈GPUStack⌋ 💻一起学习 AI、GPU 管理与大模型相关技术实践。 这两年，越来越多团队把 AI 接入了日常工作流。 但很快，一个现实问题摆在了面前： 模型用得越...
GPUStack 是一个开源的GPU加速库，旨在为开发者提供简单易用的接口来利用GPU进行并行计算。它通常用于科学计算、机器学习、图像处理等领域，允许用户在不深入GPU编程细节的情况下，利用GPU的强大计算能力。以下是关于GPUStack的一些基本信息：1
通过 GPUStack 提供高效的模型部署与管理能力，并将模型接入 MaxKB，即可轻松构建具备知识库检索 + 智能问答能力的 AI 助手。...