专题：llm
共160篇相关文章
Ollama穿上GPT外衣，会是怎样的呢？以下是一个示例：Ollama披上GPT外套，效果如何？
上一篇我们介绍了如何在本地部署 ollama 运行 llama3 大模型。过程是相当简单的。但是现在给大模型交流只能在命令行窗口进行。这样的话就只能你自己玩了。独乐乐不如众乐乐嘛。我们接下来说一下如何部署 open-webui 给 olla...
AutoGen Studio能打造私有团队专属定制工具吗？
AI Agent 无疑是今年最火爆的概念，从科技巨头的战略布局到创业公司的创新产品，AI 智能体正在重塑我们与机器交互的方式。无论是自动化任务、个性化服务，还是复杂问题的协同解决，AI Agent 都展现出了前所未有的潜力。 而在众多备受瞩...
如何用Neo4j构建问答系统？
大家好！ 在这个全民 RAG 的时代，人们似乎找到了一条蹭 AI 的捷径。大模型加上领域知识分分钟包装成知识库，智能体，垂直大模型？但在实际应用中，传统 RAG 并不能解决所有问题，尤其是需要复杂推理和关系分析的场景。知识图谱（Knowle...
如何用 Azure AI Foundry 微调模型应对挑战？
Hello 大家好。好久不见。最近在工作中碰到一点挑战。目前我们的技术是基于 RAG 来处理问题。但是效果不是太好。原因是 RAG 对领域知识的召回率不够。导致 LLM 对用户问题的理解出现偏差。于是就想着能否微调一个小模型来处理特定领域的...
如何给Agent Skill添加MAF快速入门（19）中的脚本执行功能？
根据上一篇我们知道，Agent Skill就是大模型随时翻阅的说明文档，它还可以包含一些资源文件，而脚本就是其中的一种重要资源。本文介绍了Agent Skill的脚本执行，脚本 和 工具的对比，最后通过一个MAF中Agent Skill 结...
LLM大模型发展历程中，有哪些关键节点和里程碑？
(人工智能 LLM 大模型发展图 2018 - 2023，https:arxiv.orgpdf2304.13712.pdf) 大模型 LLM（Large Language Model，大规模预训练模型）是人工智能领域近十年最具突破性...
如何配置NVIDIA Container Runtime并运行GPUStack容器？
GPUStack 是一个设计用于运行大模型的开源 GPU 集群管理器，提供私有部署的大模型服务，支持大语言模型、Embedding 文本嵌入模型、Reranker 重排序模型、Vision 多模态模型等各种模型。它可以聚合不同平台（如 Ap...
GPUStack v0.4支持文生图、语音模型、推理引擎版本管理、离线支持及本地模型部署吗？
GPUStack 是一个专为运行 AI 模型设计的开源 GPU 集群管理器，致力于支持基于任何品牌的异构 GPU 构建统一管理的算力集群。无论这些 GPU 运行在 Apple Mac、Windows PC 还是 Linux 服务器上，GPU...
GPUStack v0.5的模型Catalog和图生图功能，是不是多维优化后提升了产品能力和使用体验？
GPUStack 是一个专为运行 AI 模型设计的开源 GPU 集群管理器，致力于支持基于任何品牌的异构 GPU 构建统一管理的算力集群。无论这些 GPU 运行在 Apple Mac、Windows PC 还是 Linux 服务器上，GPU...
GPUStack v0.6更新，有哪些新功能让你想试试？
GPUStack 是一个100%开源的模型服务平台，支持 Linux、Windows 和 macOS，支持 NVIDIA、AMD、Apple Silicon、昇腾、海光、摩尔线程等 GPU 构建异构 GPU 集群，支持 LLM、多模态、Em...
如何将GPT OSS私有部署推理性能提升100倍的教程忘掉Ollama?
基于开源大模型服务平台 GPUStack 与自定义安装的 vLLM 版本完成 GPT OSS 系列模型的生产部署推理。并对比 Ollama 与 vLLM 在生产并发场景下的吞吐性能差异。...
AI推理融资背后，系统化与治理趋势是否显现？
最近，推理引擎领域出现了两件具有标志意义的事件：vLLM 和 SGLang 相继走向公司化。vLLM 核心团队成立 Inferact，完成 1.5 亿美元融资，估值达 8 亿美元： 图源：Inferact SGLang 团队也成立了 Rad...
GPUStack v2.1如何实现从模型推理到开源AI基础设施平台的全面演进？
随着大模型进入生产环境，AI推理基础设施的复杂度快速上升。GPUStack v2.1 重点增强六大核心能力，为企业构建统一、高性能的AI模型服务平台...
如何用昇腾多机推理快速部署 DeepSeek R1 超大规模模型？
在昇腾 NPU 上部署超大规模模型，往往面临一个现实难题：目前主流的官方推理引擎 MindIE 的多机分布式推理虽然性能表现尚可，但配置流程异常复杂。从环境准备、配置初始化到参数细节调整，每一步都需要格外谨慎，否则极易因细节遗漏或配置错误而...
如何通过策略微调大型语言模型？
本文主要分享一下大模型微调相关的基本概念，包括大模型(GPT)训练流程、微调(SFT)方法&分类&框架&最佳实践、强化学习(RLHF)，最后则是分享了如何训练垂直领域大...