Qwen3-Embedding国产化部署如何实现优化?

摘要:1. 背景 最近一直在做ToG的项目,其中用到了语义检索,研发环境使用A40和vllm,即可轻松部署Qwen3-Embedding-8B,但客户环境要求国产化环境,因此探索Qwen3-Embedding-8B如何在国产化环境部署。 实不相瞒
1. 背景 最近一直在做ToG的项目,其中用到了语义检索,研发环境使用A40和vllm,即可轻松部署Qwen3-Embedding-8B,但客户环境要求国产化环境,因此探索Qwen3-Embedding-8B如何在国产化环境部署。 实不相瞒,本来以为仅需半天搞定的事情,我居然耗费了3天半的时间(汗颜....),究其原因,主要是包含如下几个方面: 研发环境没有国产化系统及显卡,也没有相关的部署经验, 网上针对特定的300I Duo部署Qwen3-Embedding-8B的教程几乎没找到,多的是910系列。但客户只有Altas 300I Duo的环境。 最初两天一直在探索vllm-ascend进行部署,结果现阶段版本仍不支持。 最后一天转向MIS-TEI,才终于看到曙光。 下面教程就是部署成功的完整流程,各位看官如有同样环境,无脑借鉴即可,省心省力。
阅读全文