微软Foundry Local本地AI推理解决方案是什么？
摘要：微软在其 2025 Build 大会上发布了 Foundry Local，能够在本地设备上执行 AI 推理，意味着可以利用本地的 AI 算力，如：CPUGPUNPU；也让用户在隐私方面得到了充足的保障，还能有改善成本效益！Foundry
微软在其 2025 Build 大会上发布了 Foundry Local，能够在本地设备上执行 AI 推理，意味着可以利用本地的 AI 算力，如：CPU/GPU/NPU；也让用户在隐私方面得到了充足的保障，还能有改善成本效益！Foundry Local 默认除了支持 CLI外，还支持 SDK、REST API 和 Catalog API，用户可以自行基于 Foundry Local 进行开发。在未来 Foundry Local 还将内置对 Agent/MCP 的支持。
Foundry Local 还支持跨平台，除了能够运行在Windows 11 上，还能够运行在 macOS。由于需要本地存储和运行模型，请确保有足够的算力和存储，Foundry Local 支持硬件加速：NVIDIA GPU（2000系列或更高版本）、AMD GPU（6000系列或更高）、Intel iGPU、Intel NPU（32GB或更多内存）、高通 Snapdragon X Elite（8GB或更多内存）、高通 NPU，以及 Apple 系列。
要在本地以 Foundry Local 运行 AI 模型，首先需要安装 Foundry Local。
Windows：
winget install Microsoft.FoundryLocalmacOS：
brew tap microsoft/foundrylocalbrew install foundrylocal 运行模型只需要执行：
foundry model run <model>
在 Foundry Local 上可运行的模型有很多，可使用以下命令查看：
foundry model list
还可以加载 --filter 参数对显示列表进行筛选。
其他有用的参数还有：
foundry model info <model> 显示有关特定模型的详细信息
foundry model download <model> 在不运行模型的情况下只下载模型到本地缓存
foundry model load <model> 将模型加载到服务中
foundry model unload <model> 从服务中卸载模
要查看本地已经下载缓存的模型，可执行：
foundry cache list
要检查 Foundry Local 服务状态，可执行：
foundry service status
Foundry Local CLI 详细使用可参考：Foundry Local 文档。
Foundry Local SDK 目前支持 JavaScript、Python、C# 和 Rust，也可以使用 REST API 去调用 Foundry Local Service。这是一个用于演示或本地实验的示例项目，可能展示如何在本地环境中使用或集成“Foundry”相关功能。