Hugging Face开源大模型社区,机器学习平台和AI社区,哪个是AI领域的GitHub?

摘要:0 序 笔者近期在研究实践 AI智能体应用开发的相关技术栈。 AI LLM基础模型的训练、研究也好,AI应用开发也罢,除了Github外,也必然都离不开 Hugging Face(抱抱脸社区) 或 ModelScope(阿里版魔搭社区)
0 序 笔者近期在研究/实践 AI智能体应用开发的相关技术栈。 AI LLM基础模型的训练、研究也好,AI应用开发也罢,除了Github外,也必然都离不开 Hugging Face(抱抱脸社区) 或 ModelScope(阿里版/魔搭社区)。 这类社区的核心价值————提供了: 提供了AI技术开发者的交流平台 提供了丰富的模型 / 数据集 本文对 Hugging Face(抱抱脸社区) 的使用经验m进行一点记录/总结。 1 概述:Hugging Face 简介 Hugging Face(抱抱脸)是一个机器学习(ML)和数据科学平台和社区,帮助用户构建,部署和训练机器学习模型,成立于2016年的人工智能公司。 作为一个流行的自然语言处理 (NLP) 模型库和社区,提供了大量预训练模型、工具和资源,使得 NLP 的开发者和研究人员能够快速高效地构建和应用各种文本相关应用。 抱脸相当于Ai界的GitHub,里面的模型都是开源免费的,非常适合AI开发者使用。 url https://github.com/huggingface https://huggingface.co 专注领域: 开源人工智能库 Hugging Face提供了在实时应用程序中演示、运行和部署人工智能(AI)的基础设施。用户还可以浏览其他人上传的模型和数据集。 Hugging Face通常被称为机器学习的GitHub,因为它允许开发人员公开分享和测试他们的工作。 开源大模型社区: HuggingFace vs ModelScope(魔搭社区) HuggingFace:类似于github,模型比较全,但是需要 ke.xue 上网; https://huggingface.co/ ModelScope/魔搭:阿里开源的大模型平台,模型相对不是很全,速度比较快; https://modelscope.cn/ HuggingFace的优点: 丰富的预训练模型资源: 广泛的适用性:Hugging Face 提供了大量的预训练模型,这些模型已经在海量的数据上进行了训练,能够处理各种自然语言处理任务,如文本分类、情感分析、问答、机器翻译等。无论您是从事学术研究、商业应用还是个人项目开发,都可以找到适合的预训练模型,节省大量从头训练模型的时间和资源。 高质量与不断更新:其预训练模型经过了专业的训练和优化,具有较高的性能和准确性。而且,Hugging Face 平台不断更新和改进模型,以适应不断变化的自然语言处理需求和技术发展。 方便的工具和库: Transformers 库:Hugging Face 的 Transformers 库是自然语言处理领域的重要工具,它支持多种预训练模型的加载、使用和微调,如 BERT、GPT、RoBERTa 等。该库提供了简单易用的接口,使得开发者可以轻松地将这些强大的模型集成到自己的项目中,快速实现自然语言处理功能。 数据集管理工具:Hugging Face 提供了方便的数据集管理工具,如 Datasets 库,可以帮助用户轻松地下载、处理和管理各种公开的数据集。这使得数据的准备工作变得更加高效,减少了数据处理过程中的繁琐操作。 发展历程 2016年,公司成立。 首席执行官&联合创始人为Clément Delangue。 2016年,法国创业者三名创业者Clément Delangue、Julien Chaumond 和 Thomas Wolf 在纽约成立了Hugging Face。 2016-2017:聊天机器人(第一个产品) Hugging Face,它的第一个产品是一个聊天机器人。 到2017年,Hugging Face聊天机器人拥有了独特的功能,并可以进行高效的对话。 团队将其产品定位为为无聊青少年量身打造的个性鲜明的聊天机器人。 2018年5月,完成种子融资。通过本轮融资,Hugging Face团队继续专注于以下领域:改进产品;建立一支优秀的工程师团队;深入研发自然语言对话,并撰写了几篇研究论文。 虽然当时产品还没有带来可观的收入,但团队对核心价值和技术共享的强调为Hugging Face创造了一个转折点。 2018 年,Hugging Face迎来了关键时刻,Hugging Face的创始人在网上免费分享该应用的部分代码,其中一个重要的开源框架名为Transformers,目前已被下载超过一百万次。 GitHub项目获得了上万颗星,这表明开源社区认为它很有价值。 微软、谷歌和 Facebook 的研究人员一直在用它做实验,某些公司甚至在生产中使用了它。
阅读全文