本项目选择OpenAI的GPT模型作为Chatbot的大语言模型基座,GPT模型基于Transformer
架构,相较于其他模型,这种架构允许模型在处理长文本时保持较好的性能,同时具有良好的并行
化能力,使得模型的训练和推理速度得到提升。
5.2.1Chatbot后端
基于先前构建的针对电力LCA领域的向量知识库构建Chatbot测试模型性能,主要设计思路是
为了实现检索功能,大致可分为知识库检索功能和在线搜索。
Chatbot功能流程图如图5.1所示。
用户通过Chatbot界面输入他们的问题或请求。对用户输入文本进行清洗,包括去除标点符
号,进行分词等。转化为结构化数据后将预处理后的文本转换为向量形式,以便于机器理解。将向
量化处理后的用户问题构建成搜索向量。使用搜索向量与知识库中已向量化的内容进行匹配,找出
相关的信息。对匹配到的知识库内容进行排序,选择最相关的几个回答候选。为保证性能设置最相
关的问答数量。基于排序和选择的结果,生成回答,将最终确定的回答返回给用户。
对于用户输入的问题语句进行文本预处理,随后将其变成机构化数据后向量化,与先前处理文
献数据类似,因此这里不再赘述。
知识库搜索:
以下是通过Weaviate在名为“Water”的集合中搜索与特定查询文本相近的文档,并返回相
关文档的内容和来源,设置top_k=3,考虑计算机性能与运行速度,只寻找三个匹配项。
这段代码最终返回一个包含匹配文档内容和来源的列表。
在线搜索:
以下是通过在线搜索引擎在互联网上搜索相关内容,并返回格式化的文档列表,其中包含每个
搜索结果的摘要内容和来源链接的代码,同样设置top_k=3,返回三个匹配项。
通过DuckDuckGo搜索引擎在互联网上搜索相关内容,并返回格式化的文档列表,其中包含每
个搜索结果的摘要内容和来源链接。代码利用正则表达式提取搜索结果中的摘要、标题和链接信
息,并对结果进行整理和格式化,以便展示给用户。通过这个函数,用户可以通过输入查询来搜索
互联网上的相关信息,并查看摘要和链接。
Streamlit是一个强大的Python库,主要用于机器学习、数据可视化和Web应用程序的快速
开发。用户在编写代码时可以实时看到应用界面的变化,快速调试和验证结果。内置多种交互式组
件(如滑块、复选框等)方便用户与应用进行互动。支持快速创建数据可视化图表,如折线图、散
点图、地图等,展现数据分析结果。
5.3测试模型与优化