利用检索增强生成技术开发本地知识库应用

朱俊仪; 朱尚明

doi:10.11959/j.issn.1000-436x.2024227

您当前的位置：

首页 >

文章列表页 >

利用检索增强生成技术开发本地知识库应用

人工智能应用 | 更新时间：2024-12-31

- 利用检索增强生成技术开发本地知识库应用
- Development of local knowledge base application using retrieval augmented generation technology
- 通信学报 2024年45卷第Z2期页码：242-247
- 作者机构：
  
  1.上海市大数据中心，上海 200435
  2.华东政法大学信息化办公室，上海 201620
- 作者简介：
  
  [ "朱俊仪（1996- ），男，上海人，上海市大数据中心助理工程师，主要研究方向为人工智能、大数据分析。" ]
  [ "朱尚明（1969- ），男，河南虞城人，博士，华东政法大学研究员，主要研究方向为计算机应用、人工智能和网络安全等。" ]
- 基金信息：
  
  中国高校产学研创新基金资助项目(2022MU061)
- DOI：10.11959/j.issn.1000-436x.2024227
  中图分类号： TP391.1
- 收稿日期：2024-10-20，
  
  纸质出版日期：2024-11-30
- 稿件说明：
移动端阅览
朱俊仪,朱尚明.利用检索增强生成技术开发本地知识库应用[J].通信学报,2024,45(Z2):242-247.

ZHU Junyi,ZHU Shangming.Development of local knowledge base application using retrieval augmented generation technology[J].Journal on Communications,2024,45(Z2):242-247.
朱俊仪,朱尚明.利用检索增强生成技术开发本地知识库应用[J].通信学报,2024,45(Z2):242-247. DOI： 10.11959/j.issn.1000-436x.2024227.

ZHU Junyi,ZHU Shangming.Development of local knowledge base application using retrieval augmented generation technology[J].Journal on Communications,2024,45(Z2):242-247. DOI： 10.11959/j.issn.1000-436x.2024227.

摘要

检索增强生成（RAG）技术通过引入外部文档，让大模型具有访问外部知识库的能力，从而生成更真实可靠的回答，有效解决数据过时、语料不足问题。在介绍了大模型的基本架构和微调技术基础上，探讨了利用检索增强生成技术搭建本地知识库系统的应用框架，该应用框架由加载本地文档、文档拆分、拆分片段向量化、根据提问匹配文本、构造提示词和生成回答六部分构成。最后基于ERNIE-4.0大模型和AppBuilder开发平台，设计开发了一个面向校园信息服务的智能问答系统，并给出了具体实现。

Abstract

Retrieval Augmented Generation (RAG) technology can enable large language models to access external knowledge bases by introducing external documents

thereby large language models can generate more authentic and reliable answers

and effectively solve the problems of outdated data and insufficient corpus. On the basis of introducing the basic architecture and fine-tuning techniques of large language models

the application framework of using retrieval enhanced generation technology to build a local knowledge base system was discussed. The application framework consisted of six parts: loading local documents

splitting documents

embedding splitting fragments

matching text based on questions

constructing prompts

and generating responses. Finally

based on the ERNIE-4.0 model and the AppBuilder development platform

an intelligent question answering system for campus information services was designed and developed

and a specific implementation was provided.

关键词

Keywords

references

OpenAI . Introducing ChatGPT [EB/OL ] . ( 2022 ) [ 2022-11-30 ] .

舒文韬 , 李睿潇 , 孙天祥 , 等 . 大型语言模型: 原理、实现与发展 [J ] . 计算机研究与发展 , 2024 , 61 ( 2 ): 351 - 361 .

SHU W T , LI R X , SUN T X , et al . Large language models: principles, implementation, and progress [J ] . Journal of Computer Research and Development , 2024 , 61 ( 2 ): 351 - 361 .

陶建华 , 聂帅 , 车飞虎 . 语言大模型的演进与启示 [J ] . 中国科学基金 , 2023 , 37 ( 5 ): 767 - 775 .

TAO J H , NIE S , CHE F H . The evolution and inspiration of large language model technology [J ] . Bulletin of National Natural Science Foundation of China , 2023 , 37 ( 5 ): 767 - 775 .

徐月梅 , 胡玲 , 赵佳艺 , 等 . 大语言模型与多语言智能的研究进展与启示 [J ] . 计算机应用 , 2023 , 43 ( S2 ): 1 - 8 .

XU Y M , HU L , ZHAO J Y , et al . Research progress and enlightenment of large language models on multi-lingual intelligence [J ] . Journal of Computer Applications , 2023 , 43 ( S2 ): 1 - 8 .

罗文 , 王厚峰 . 大语言模型评测综述 [J ] . 中文信息学报 , 2024 , 38 ( 1 ): 1 - 23 .

LUO W , WANG H F . Evaluating large language models: a survey of research progress [J ] . Journal of Chinese Information Processing , 2024 , 38 ( 1 ): 1 - 23 .

赵月 , 何锦雯 , 朱申辰 , 等 . 大语言模型安全现状与挑战 [J ] . 计算机科学 , 2024 , 51 ( 1 ): 68 - 71 .

ZHAO Y , HE J W , ZHU S C , et al . Security of large language models: current status and challenges [J ] . Computer Science , 2024 , 51 ( 1 ): 68 - 71 .

OMRANI P , HOSSEINI A , HOOSHANFAR K , et al . Hybrid retrieval-augmented generation approach for LLMs query response enhancement [C ] // Proceedings of the 2024 10th International Conference on Web Research (ICWR) . Piscataway : IEEE Press , 2024 : 22 - 26 .

VASWANI A , SHAZEER N , PARMAR N , et al . Attention is all you need [C ] // Proceedings of the 30th Annual Conference on Neural Information Processing Systems . New York : Curran Associates , 2017 : 5990 - 6008 .

BROWN T , MANN B , RYDER N , et al . Language models are few-shot learners [J ] . Advances in Neural Information Processing Systems , 2020 , 33 : 1877 - 1901 .

百度公司 . 百度云千帆AppBuilder产品简介 [EB/OL ] . ( 2024 ) [ 2024-04-16 ] .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

检索增强生成技术支持下的校园问答系统研究

大语言模型在教育信息化中的实践：规范、框架与应用

基于大语言模型的网络威胁情报知识图谱构建技术研究

基于大语言模型的多模态社交媒体信息流行度预测研究