MaXiaoTiao

基于知识图谱和知识库的大模型对话系统（二）

基于知识图谱和知识库的大模型对话系统（二）构建知识图谱构建抽取规则: 定义实体关系类型: 确

学习

2024-05-13

RAG优化技巧

RAG优化技巧 RAG的挑战 RAG通过检索现有的大量知识，结合强大的生成模型，为复杂的问答、文本摘要和生成任务带来了全新的解决方案。然而，尽管RAG有其独特的优势，但在实践过程中也遭遇了多个挑战。 1数据质量差导致检索效果差在RAG模型中，检索阶段的输出直接影响到生成阶段的输入和最终的输出质量。

学习

2024-05-10

基于知识图谱和知识库的大模型对话系统（一）

基于知识图谱和知识库的大模型对话系统（一）数据预处理文本提取：首先从原始扫描版PDF文件开始，通过OCR（光学字符识别）技术将其转换为可编辑的粗粒度文本格式。这一步是必要的，因为直接处理扫描版的PDF文件会面临许多问题，如无法进行有效的搜索、复制或进一步的数据分析等。数据分析

学习

2024-05-08

一、构建知识图谱（实体识别)

一、构建知识图谱（实体识别) 实体识别（Entity Recognition），也称为命名实体识别（Named Entity Recognition, NER），是知识图谱构建过程中的关键步骤之一。它的目的是从非结构化文本中识别出具有特定意义或指代性强的实体，如人名、地名、组织名、时间表达式等。以下

学习

2024-05-01

在问答系统中知识图谱的应用

在问答系统中知识图谱的应用在问答系统中使用知识图谱可以提高系统的回答准确性和丰富度。以下是使用知识图谱构建问答系统的一般步骤： 1. 知识图谱构建在问答系统之前，首先需要构建知识图谱。这包括以下几个步骤：数据收集：从各种数据源（如书籍、文章、数据库等）收集信息。实体识别：从文本中识别出关键实

学习

2024-04-30

语义匹配问题

语义匹配问题对向量知识库中的相关内容与相关实体进行语义匹配难点：如何准确计算用户输入的和知识库相关内容语义相似度。解决方案：使用嵌入技术（如Word2Vec, BERT，m3e等）将文本转换为向量表示，然后计算向量之间的相似度。应用余弦相似度、欧几里得距离或更复杂的相似度度量方法，如基于深

学习

2024-04-19

BERT 模型

BERT 模型 BERT 模型可以作为公认的里程碑式的模型，但是它最大的优点不是创新，而是集大成者，并且这个集大成者有了各项突破，下面让我们看看 BERT 是怎么集大成者的。 BERT 的意义在于：从大量无标记数据集中训练得到的深度模型，可以显著提高各项自然语言处理任务的准确率。近年来优秀预训练语

学习

2024-04-02