如何用小龙虾操控猿编程遥控车实现编程教学？

使用小龙虾来操作猿编程的遥控车 摘要 给孩子报的猿编程Python C1的课程，最近学到了用Python来控制组装的遥控车。 正赶上最近OpenClaw很火，很多人都用它来做很多你想不到的事情，所以我就想，是否可以用小龙虾来操作这个遥控车呢？ 龙虾就位 我自己已经有一个部署好了的OpenClaw，为了省钱，购买的火山引擎Coding Plan。比较幸运的是，正赶上最近腾讯的小龙虾QClaw也上线了，我发现其不只部署很容易，而且安装技能也很简单，甚至每天腾讯都会给几百万的token让你去用。 于是给孩子部署了QClaw，决定围绕这个平台来做相关的操作。 方案研究 首先大致研究了下猿编程的遥控车，发现其目前尚未暴露出可操作的编程接口，所有的包都只能在猿编程的app里面用，拿不出来，在网上也找不到任何可用的包，能在其它IDE里用。 这个就很犯难，因为OpenClaw必须通过命令CLI的方式来操作，所以只能尝试其它简介的方法。 方案一：最直接的方案 以前部分手机都有红外模块，可以捕获比如电视和空调的红外信号，来充当万能遥控器的功能。那么最直接的方法就是让Python来模拟遥控车的遥控器操作，让其python捕获遥控器对应按钮的信号，然后再发给遥控车。然而目前的电脑不像2000年那阵的电脑，基本都没有现成的红外硬件。查了下可以在网上买那种外接的红外模块，虽然不是很贵，但实在是懒得折腾了，更主要的是买来的硬件，是否是python能调用的那种，还需要不断的去尝试。 方案二：小龙虾直接操作屏幕 于是开始尝试第二种方法，通过Python来操作GUI，让Python有能力去点击我指定屏幕上的某个按钮的能力，然后再将这个封装成SKILL，让小龙虾来依次点击相应的按钮来模拟孩子在猿编程app里写代码并且运行。 于是打开AI IDE，让AI来帮我生成能操作GUI的方法，这个过程中我了解到可以用pyautogui以及openCV。于是测试了一下，比如让其点击猿编程界面的一个按钮，发现识别误差太大，比如我测试让它去点击猿编程app左面的赛考按钮，结果它总是错误的点击到学习或者创作的按钮上。 后续也尝试了其它开源方案，比如easyocr，他可以识别屏幕上所有文字的位置，然后通过这个位置来计算出鼠标应该具体去点击屏幕的哪个位置，测试了下精准度没问题，但容易产生的问题是，按钮上的文字，可能在其它位置也出现了，这样就容易导致按钮位置识别的失败。 最主要的是通过OCR的方式，代码会异常的复杂，孩子目前还无法参与并且理解这个过程。 所以我开始尝试其它的方法，毕竟这个过程想让孩子参与进来，所以绝对不能过于复杂。 方案三：越简单越好 最终我想到了一个方案，具体是这么拆解的。 让孩子在猿编程里，提前写好控制遥控车的代码，在界面里输入1，车就前进，输入2，车就后退。 这样后续，我们只要有另外一个独立的Python代码，来往这个界面里输入1或者2就可以间接的实现了。 这段代码测试好之后，直接封装成龙虾的SKILL。 其实这个python控制键盘的代码，我也不会写，不过我们有AI IDE，在AI IDE里，我和孩子们可以把需求告诉AI，然后让AI来帮我们生成。 这次的方案拆解，使得这部分的控制代码异常的简单和简洁。 跟孩子一起快速的测试成功后，接下来的就是需要让小龙虾也可以这么操作，而方法就是把Python写成小龙虾的SKILL。这是一个繁琐的过程，好在，我们有AI，我和孩子们直接给AI下指令，让它把这段Python代码直接转换成小龙虾的SKILL，然后回到小龙虾那里，直接命令小龙虾安装这个技能。 到这里整体编程的工作就完成了。 最后，激活猿编程的app, 运行孩子写的代码，然后用手机打开我的飞书，它已经连接好了小龙虾，在飞书里下达指令：遥控车前进。终于，我们的遥控车得到指令开始前进了。 总结 条条大道通罗马，当一条路发现不适合我们，或者压根走不通的时候，我们就要努力的去寻找另外一条适合我们的路。 这条路上不可能由我去实现所有的一切，所以找到一条路，能让孩子们也能参与进来，用他们学到的东西参与进来，这个是最重要的。 更重要的是，在这个过程中，让他们巩固了学到的知识，并且真正了解了AI，而且认识到，AI原来可以帮我们做这么多事情。 相应的演示视频，可以在B站的这里查看：https://www.bilibili.com/video/BV1zQQUBYEyC/?spm_id_from=333.337.search-card.all.click 相关代码分享 以下是小朋友写的代码，结合目前C1的课程里他们学到的。