一种基于通用大语言模型的服务质量管理方法与系统

专利主权项内容

1.一种基于通用大语言模型的服务质量管理系统，其特征在于，包括数据端与执行端，所述数据端包括数据处理模块、预测推理模块以及test2sql模块，所述执行端包括业务逻辑模块与交互模块；所述数据处理模块用于在线数据和离线数据的语音转文本、角色切分以及数据储存；所述预测推理模块用于对chat大模型推理功能进行封装，对外提供https服务接口，根据配置的任务提示标签、推理模式、请求缓存时间、最大推理batch、超时时间，将接收的请求缓存组装成对应batch数据进行预测推理；所述text2sql模块用于根据配置来实现业务逻辑控制以及数据整理；所述业务逻辑模块用于通过数据库或者文件配置业务逻辑；所述交互模块用于提供用户交互界面、业务指标监控以及数据看盘，交互模块接收用户的输入并转达至数据端，将数据端的处理结果数据进行可视化展示，并定时统计和监测业务指标。