人工智能大语言模型微调技术:SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法

1.SFT 监督微调
1.1 SFT 监督微调基本概念
SFT(Supervised Fine-Tuning)监督微调是指在源数据集上预训练一个神经网络模型,即…

如何最简单、通俗地理解Transformer?

 
这个东西很难说到底有没有一种简单、通俗地理解方式。
你看这个问题下面现在有60多个回答,我大概翻看了一下,几乎都是长篇大论,原因很简单…

使用Ollama和Go基于文本嵌入模型实现文本向量化

基于RAG+大模型的应用已经成为当前AI应用领域的一个热门方向。RAG(Retrieval-Augmented Generation)将检索和生成两个步骤相结合…

LoRA遇上MoE,大模型再也不会健忘了

最近组里同学在尝试实现LoRAMoE,意在解决大模型微调后遗忘世界知识的问题。参考的是复旦23年年底的这篇论文:"LoRAMoE: Revolutio…

记忆存储-应用大语言模型的长期记忆

论文标题:MemoryBank: Enhancing Large Language Models with Long-Term Memory
论文地址:http…

万字详解,和你用RAG+LangChain实现chatpdf

像chatgpt这样的大语言模型(LLM)可以回答很多类型的问题,但是,如果只依赖LLM,它只知道训练过的内容,不知道你的私有数据:如公司内部没有联网的企业文档…

创业:大模型RAG系统三个月的开发心得和思考

软件工程、Java、Javascript,公众号:八一菜刀
1. 前言

自从和员外上家公司离职后,我们就自己搞公司投入到了RAG大模型的AI产品应用的开发中,…

主打一个不花钱:国产大模型逆向API白嫖

仅限自用,禁止对外提供服务或商用,避免对官方造成服务压力,否则风险自担!
如今的优秀国产大模型在日常使用中完全可以独当一面。
而且都提供了基础的免费网页服务,但…

RAG和微调哪个是LLM优化的最优解

RAG和微调哪个是LLM优化的最优解

序言
随着对大型语言模型(llm)的兴起,许多开发人员和组织都在忙着利用它的能力构建自己的应用程序。然而,当预训练的大语…

一文读懂「Lang Chain」_langchain

一、什么是LangChain?

LangChain是一个强大的框架,旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口,可简化创建…

RAG一文读懂!概念、场景、优势、对比微调与项目代码示例

本文结合“基于 ERNIE SDK+LangChain 搭建个人知识库”的代码示例,为您讲解 RAG 的相关概念。

01
概念
在2020年 Facebook…

AI大模型应用随笔-RAG工作流应用搭建

AI大模型应用随笔-RAG工作流应用搭建
概要
RAG数据增强是我们解决大模型场景知识的缺失或回答不准确,还有最重要且常见的大模型回答幻觉问题的很有用的解决方法…

大模型应用的 10 种架构模式

作者 | 曹洪伟
在塑造新领域的过程中,我们往往依赖于一些经过实践验证的策略、方法和模式。这种观念对于软件工程领域的专业人士来说,已经司空见惯,设计模式已成为程…

领先99%小白的Sora关键信息!

阿里妹导读
Sora是一个以视频生成为核心的多能力模型,本文简单介绍了什么是Sora,主要从Sora有多强、Sora技术突破以及复刻难度、意义和启发三个方向出…

AIGC时代的算力基石,未来的数据平台将如何演进?

阿里妹导读
智能化是数字化的延伸,数据是AI的基石,AI需要借助数据更好地为社会、商业以及每一个人提供服务。基于AI的数据库将逐步演化为一站式的数据平台,这其…

Transformer 一起动手编码学原理


学习Transformer,快来跟着作者动手写一个。
作为工程同学,学习Transformer中,不动手写一个,总感觉理解不扎实。纸上得来终觉浅,绝知此事要…

阿里AI技术10篇精华,从入门进阶至大牛

早上好,美好的一周又开始了~今天选取近期广受欢迎的10篇AI技术文章,分为“基础入门篇”“经典案例篇”“前沿学术篇”,送给一直关注AI技术的你。点击以下图片即可…