如何用WinUI和BotSharp构建多AI协同的桌面机器人助手实现智能照明控制？

前言 大语言模型（Large Language Models, LLMs）近年来在各行各业中展现出了巨大的潜力和影响力。从自然语言处理到自动化客服，从内容生成到智能助手，LLMs正在改变我们与技术互动的方式。随着技术的不断进步，LLMs的应用场景也在不断扩展，成为未来发展的重要趋势。这篇文章将介绍如何使用WinUI（WASDK）和BotSharp开发一个多AI Agent协同的桌面机器人管理助手，展示LLMs在实际应用中的强大功能和广阔前景。 技术介绍 .NET .NET 是免费的、开源的、跨平台的框架，用于构建新式应用和强大的云服务。 WinUI（WASDK） Windows 应用 SDK 是一组新的开发人员组件和工具，它们代表着 Windows 应用开发平台的下一步发展。 Windows 应用 SDK 提供一组统一的 API 和工具，可供从 Windows 11 到 Windows 10 版本 1809 上的任何桌面应用以一致的方式使用。 Windows 应用 SDK 不会用 C++ 替换 Windows SDK 或现有桌面 Windows 应用类型，例如 .NET（包括 Windows 窗体和 WPF）和桌面 Win32。 相反，Windows 应用 SDK 使用一组通用 API 来补充这些现有工具和应用类型，开发人员可以在这些平台上依赖这些 API 来执行操作。 有关更多详细信息，请参阅 Windows 应用 SDK 的优势。 BotSharp BotSharp 是一个开源应用程序框架，可加快将 LLM 集成到您当前的业务系统中的速度。本项目涉及自然语言理解和音频处理技术，旨在推动智能机器人助手在信息系统中的开发和应用。开箱即用的机器学习算法使普通程序员能够更快、更轻松地开发人工智能应用程序。 BotSharp 是一个高度兼容且高度可扩展的平台构建器。它严格按照组件原则，将平台构建器中需要的每个部分解耦。因此，您可以选择不同的 UI/UX，或者选择不同的 NLP 标记器，或者选择更高级的算法来执行 NER 任务。它们都是基于未加密的接口进行调制的。 大语言模型的函数调用（这个是理解BotSharp框架的核心知识点） 函数调用允许您将模型连接到外部工具和系统。这对于许多事情都很有用，例如为 AI 助手提供功能，或在应用程序和模型之间构建深度集成。 openai官方文档函数调用介绍文档 助手功能介绍 助手名为电子脑壳本身是负责开源硬件ElectronBot桌面机器人和瀚文键盘的操作配置。 新版本重构方向是深度集成多智能体交互的能力，目前新版本重点优化功能如下： 增强对话能力，添加大语言模型对话能力。 增强交互，添加生图和自然语言理解进行硬件控制，例如生图之后直接设置到桌面机器人屏幕上或者键盘屏幕上。 增强语音对话能力。 以前硬编码的逻辑，现在都可以通过大语言模型的函数调用进行语义化理解，更灵活。 目前软件还在开发中，但是BotSharp和大语言模型交互的功能已经开发差不多了，所以编写这篇博客记录一下。 博客演示的代码是在电子脑壳源码的dev分支。 目前文字大模型使用的是阿里的通义千问2.5 72b（qwen2.5-72b-instruct）社区开源版本，图片大模型使用的是通义万相（wanx-v1）。 可以通过聊天进行天气查询，开关等，以及学单词，生图片等等其他功能，这些功能可以和上图的一些机器人进行互动。 演示效果如下： 代码实现过程 1. 实现BotSharp的LiteDB存储 做这个实现的原因是我想替换掉框架本身默认的文件存储，因为我是开发桌面程序，所以mongodb这类的数据库也不在考虑范围，LiteDB也是文档数据库，使用上也比较简单，就作为数据存储的选项了。而且原本的软件的数据也可以都迁移到LiteDB上，算是统一了一些。 源码我fork到我的名下了修改代码在litedb分支 2. 针对OpenAI插件进行改造 做这个操作的原因是为了兼容国内的大语言模型，有些时候OpenAI访问不了，可以通过国内的一些模型进行替换，例如智普清言，通义千问，以及讯飞的一些模型。 通过代码兼容自定义Endpoint，就可以随意切换兼容的模型了。