您当前的位置:首页 > 评估专区 > 评估动态

各级政府门户网站(群)智能问答(智能客服)评估指标体系

时间:2021-06-28 16:43:01  来源:促进网  作者:中国信息化研究与促进网
序号
一级指标
权重
二级指标
权重
指标说明
1
功能完整度
15
智能问答
3
是否能准确理解公众自然语言提问的语义,具备对QA梳理知识的一问一答功能,也支持定位到政务公开、政策文件、办事服务等集成知识展示,自动同步答复知识库范围内的市民和企业等各类人群咨询的问题。
智能提示
1
用户在输入咨询问题的过程中,平台将实时的数据预处理用户输入的内容,根据用户输入内容的变化,进行输入提示即时的为用户提供辅助提问提示功能。
知识推荐
2
用户在浏览系统提供的答案的同时,系统还会将整个网站(群)的跟答案相关的页面进行分析处理,反馈出相关度较高或周边的网页结果,包括知识关联度计算。
智能导服
2
针对常问的热点复杂事项的多种情况进行引导式提问,进一步更加友好、更加便捷、更加精准的办事信息和答案。
热点问题
1
是否针对网民需求进行分析,推出网民关注度高的热点问题,并根据问答记录进行分析更新(热点问题即常见问题)。
移动端问答
2
是否打通网站端与移动端(微信端、APP端)等智能问答数据资源,并为移动端(含微信端、APP端)全方位提供智能问答功能。
语音技术
2
是否具备移动端语音输入和语音阅读能力,移动端包括微信端智能问答和移动自适应端智能问答,各占 1分。
评价功能
1
为网民提供对智能问答满意程度的好差评功能。
问答历史记录
1
是否提供用户问答记录功能。
2
问答准确度
35
民生服务问答精准度
10
从涉及民生服务的问题库中随机抽取社保、医疗、证 件、户口、公积金等多个知识点的 10个问题,考核回答是否准确,每个问答满分 1 分,回答不精准但有一定关联性得0.5分,无答案或答案与问题关联度较低得0分。
涉企服务问答精准度
10
从涉及企业服务的问题库中随机抽取企业开办、税务、企业注销、企业资质申报等多个知识点 10个问题,考核回答是否准确,每个问答满分 1 分,回答不精准但有一定关联性得0.5分,无答案或答案与问题关联度较低得0分。
政务公开问答精准度
10
从涉及政府信息公开的问题库中随机抽取领导、机构、政府工作报告、人事、财政等10个问题,考核回答是否准确,每个问答满分 1 分,回答不精准但有一定关联性得0.5分,无答案或答案与问题关联度较低得0分。
本地(行业)知识特色准确度
5
针对涉及本地(行业)特色知识随机问5个问题,考核回答是否准确,每个问答满分 1 分。
3
理解智慧度
30
关键词意图理解
5
从测试问题库中随机抽取5个关键词进行提问,是否能理解意图并准确推出答案,每个问题满分 1 分,回答不精准但有一定关联性得0.5分,无答案或答案与问题关联度较低得0分。
简单意图理解
10
从测试问题库中随机抽取10个简单问题(不需要理解)进行提问,是否能理解意图并准确推出答案,每个问题满分 1 分,回答不精准但有一定关联性得0.5分,无答案或答案与问题关联度较低得0分。
复杂意图理解
10
从测试问题库中随机抽取复杂问题(需要理解)进行提问,考核是否能理解意图并准确推出答案,每个问题满分 1 分,回答不精准但有一定关联性得0.5分,无答案或答案与问题关联度较低得0分。
意图推理能力
5
从测试问题库中随机抽取5个意图推理问题,考核是否能理解意图并准确推出答案,每个问题满分 1 分,回答不精准但有一定关联性得0.5分,无答案或答案与问题关联度较低得0分。
4
知识全面度
10
知识整体性
3
网站是否有涵盖政府整体业务的数据和知识,政务公开、政策文件、本地特色知识、民生服务、涉企服务等相关知识数据。
知识梳理条理清晰
3
是否清晰的、准确的梳理出涉及民生、企业一问一答相关知识。
知识完备度
4
从上述测试数据结果来看,网站知识是否完备,考核由于缺乏知识不能准确回答的问题所占比例是多少。
5
用户体验度
10
界面友好度
2
界面设计是否美观,问答窗口是否醒目,用户整体体验是否舒服。
使用便捷度
2
智能问答在网站(平台)首页是否放置在显著位置,并为智能问答提供专门的网址域名,方便用户点击进入。
使用帮助说明
1
是否有针对智能问答初次使用者的功能说明。
移动自适应版本
2
是否建设移动自适应版本智能问答,支持移动端访问智能问答。
问候功能
1
是否具备对使用者的问候语功能,提高用户体验度。
机器人形象
1
是否设计机器人形象,形象是否正式、合理。
机器人名称
1
是否针对机器人进行了命名。
栏目更新
栏目热门

关于我们 | 联系我们 | 版权声明 | 广告服务