人工智能大语言模型微调技术:SFT 监督微调、LoRA 微调方法、P-tuning v2 微调方法、Freeze 监督微调方法

1.SFT 监督微调
1.1 SFT 监督微调基本概念
SFT(Supervised Fine-Tuning)监督微调是指在源数据集上预训练一个神经网络模型,即…

让天下没有难Tuning的大模型-PEFT技术简介

最近,深度学习的研究中出现了许多大型预训练模型,例如GPT-3、BERT等,这些模型可以在多种自然语言处理任务中取得优异的性能表现。而其中,ChatGPT模型因…

如何最简单、通俗地理解Transformer?

 
这个东西很难说到底有没有一种简单、通俗地理解方式。
你看这个问题下面现在有60多个回答,我大概翻看了一下,几乎都是长篇大论,原因很简单…

使用Ollama和Go基于文本嵌入模型实现文本向量化

基于RAG+大模型的应用已经成为当前AI应用领域的一个热门方向。RAG(Retrieval-Augmented Generation)将检索和生成两个步骤相结合…

LoRA遇上MoE,大模型再也不会健忘了

最近组里同学在尝试实现LoRAMoE,意在解决大模型微调后遗忘世界知识的问题。参考的是复旦23年年底的这篇论文:"LoRAMoE: Revolutio…

记忆存储-应用大语言模型的长期记忆

论文标题:MemoryBank: Enhancing Large Language Models with Long-Term Memory
论文地址:http…

程序员系统入门大模型的路径和资源,看这篇就够了

本篇文章面向对大模型领域感兴趣,又不知如何下嘴的程序员。
看一下围绕大模型的应用场景和人才需求:

Prompt工程:
基于提示词对大模型的使用,会问问题就行。…

解读Llama3

今天的大消息莫过于meta发布llama3[1]了,作为一个AI软件系统从业人员,趁热解读一下,总结版本如下:

llama3的发布,更强调了数据工程的重要:…

关于垂类场景下RAG 的思考

写在前面
今天这篇文章不是分享某个技术点也不是分享论文,而是笔者抛砖引玉的提出一些垂类下关于RAG 的瓶颈和一些思考,然后广发英雄帖,感兴趣的读者都可以加入进来…

大模型和向量数据库怎么搭建 RAG 系统?Step by step 例子来了。

RAG 介绍
RAG是一种先进的自然语言处理方法,它结合了信息检索和文本生成技术,用于提高问答系统、聊天机器人等应用的性能。以下是RAG的详细…

选微调、RAG还是微调+RAG?

一、RAG (Retrieval Augmented Generation)
RAG技术是一种结合了检索与生成的方法。它通常依赖于两个核心组件:一个大型语言模型…

万字详解,和你用RAG+LangChain实现chatpdf

像chatgpt这样的大语言模型(LLM)可以回答很多类型的问题,但是,如果只依赖LLM,它只知道训练过的内容,不知道你的私有数据:如公司内部没有联网的企业文档…

一文读懂:大模型RAG(检索增强生成)

RAG
检索增强生成(Retrieval Augmented Generation),简称 RAG,已经成为当前最火热的LLM应用方案。
理解不难,就是通过自有…

一文搞懂大模型RAG应用(附实践案例)

写在前面

大模型(Large Language Model,LLM)的浪潮已经席卷了几乎各行业,但当涉及到专业场景或行业细分领域时,通用大模型就会面临专业知识…

创业:大模型RAG系统三个月的开发心得和思考

软件工程、Java、Javascript,公众号:八一菜刀
1. 前言

自从和员外上家公司离职后,我们就自己搞公司投入到了RAG大模型的AI产品应用的开发中,…

主打一个不花钱:国产大模型逆向API白嫖

仅限自用,禁止对外提供服务或商用,避免对官方造成服务压力,否则风险自担!
如今的优秀国产大模型在日常使用中完全可以独当一面。
而且都提供了基础的免费网页服务,但…

RAG+大模型在电商客服领域-商品推荐的应用

本文是我们项目小组的技术负责人 史蒂夫-彭 贡献的~重点在介绍基于大模型做商品推荐,这个一直是难点,我们到现在还在持续优化方案~

近年来,随着大型…

RAG和微调哪个是LLM优化的最优解

RAG和微调哪个是LLM优化的最优解

序言
随着对大型语言模型(llm)的兴起,许多开发人员和组织都在忙着利用它的能力构建自己的应用程序。然而,当预训练的大语…

一文读懂「Lang Chain」_langchain

一、什么是LangChain?

LangChain是一个强大的框架,旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口,可简化创建…

RAG一文读懂!概念、场景、优势、对比微调与项目代码示例

本文结合“基于 ERNIE SDK+LangChain 搭建个人知识库”的代码示例,为您讲解 RAG 的相关概念。

01
概念
在2020年 Facebook…