北京网站建设公司是否提供盘锦地区的网站定制服务？

北京网站建设交易,盘锦做网站,wordpress插件+七牛,中信建设有限责任公司 电话文章目录 一、金融大模型背景二、大模型的研究问题三、大模型技术路线四、LLaMA家族模型五、Lora模型微调的原理六、大模型Lora微调实战Reference 一、金融大模型背景 金融行业需要垂直领域LLM#xff0c;因为存在金融安全和数据大多数存储在本地#xff0c;在风控、精度、实… 文章目录 一、金融大模型背景二、大模型的研究问题三、大模型技术路线四、LLaMA家族模型五、Lora模型微调的原理六、大模型Lora微调实战Reference 一、金融大模型背景 金融行业需要垂直领域LLM因为存在金融安全和数据大多数存储在本地在风控、精度、实时性有要求1500亿参数的BloombergGPT BloombergGPT金融大模型也是用transformer架构用decoder路线 构建目前规模最大的金融数据集FINPILE对通用文本金融知识的混合训练。用了512块40GB的A100 GPU训练中备份了4个模型每个模型分了128块GPU。 2度小满5月的【源轩大模型】 使用hybrid-tuning方式首个千亿参数金融大模型在通用能力评测中,轩辕有10.2%的任务表现超越ChatGPT 3.5, 61.22%的任务表现与之持平,涉及数学计算、场景写作、逻辑推理、文本摘要等13个主要维度。 金融大模型GPT落地场景 新闻情感分类 —— 金融机构判断对某事件看法辅助量化策略、投资决策财务类知识问答 —— 辅助金融机构进行信用评估筛选概念股辅助分析师对专业领域的学习财务报表分析和会计稽查 —— 生成财务分析报告和招股书辅助会计和审计 二、大模型的研究问题 LLM的理论基础 如Few/Zero-Shot Learning、In-Context Learning、Chain-of-Thought能力zero-shot是模型训练中没有接触过这个类别的样本但仍能对没见过的类别进行分类few-shot是每个类别中只有少量样本希望模型学习一定类别的大量数据后对于新类别的少量样本数据能快速学习。few-show是meta-learning的一种。 网络架构transformer架构括分词、归一化方法、归一化位置、位置编码、注意力与偏置等常见模块。是否有比transformer更好的架构如有学者受到数学相关方向的启发提出非欧空间Manifold网络框架。大模型的高效计算模型并行、tensor卸载、优化器卸载等微软的deepspeed等工具推理效率模型剪枝、知识蒸馏、参数量化等大模型的高效适配下游任务 prompt learning提示学习如指令微调参数高效微调只调整大模型里的少量参数 大模型的可控生成通过指令微调、提示工程、思维链、RLHF等控制模型生成伦理问题RLHF、RLAIF等对齐方法提高生成质量模型评估专业考题进行评测、更强的模型给小模型打分、人工评测等 三、大模型技术路线 Hugging Face 的 PEFT是一个库LoRA 是其支持的技术之一除此之外还有Prefix Tuning、P-Tuning、Prompt Tuning可以让你使用各种基于 Transformer 结构的语言模型进行高效微调。AIpaca羊驼让 OpenAI 的 text-davinci-003 模型以 self-instruct 方式生成 52K 指令遵循instruction-following样本以此作为 Alpaca 的训练数据最后训练的羊驼只有7B参数量。可以使用LoRA微调优化。LLM技术思路 语言模型llama、bloom、glm等指令微调数据alpaca_data、bella_data、guanaco_data等。目前指令微调数据上很依赖alpaca以及chatgpt的self-instruct数据。数据处理参考上图微调加速 lora如Alpaca-Lora等还可以使用peft库、量化工具包bitsandbytes、deepspeed先读torch.distributed和ColossalAI再搞、llama.cpp量化模型。在LoRA方法提出之前也有很多方法尝试解决大模型微调困境的方法。其中有两个主要的方向 添加adapter层。adapter就是固定原有的参数并添加一些额外参数用于微调由于某种形式的输入层激活。