本报讯 近期,国家统计局南京调查队发挥大语言模型对自然语言的理解能力与深度学习能力,用计算机代替住户调查业务人员对基层辅调员上报的访户日志撰写质量进行检测与判定,筛选出不符合要求的访户日志并加以反馈整改,督促指导辅调员提升日常访户的质量。
据悉,一份访户日志如果由业务人员判断是否合格,每篇访户日志约耗时10秒。南京队平均每月通过住户调查综合管理平台收集的访户日志有4000余条,人工判断需要11.2个工时才能完成相应任务,考虑到连续重复性劳动导致的疲劳与效率下降,实际花费时间远超于此。所以传统模式下,这项工作主要靠随机抽查的方法进行,覆盖面较小。在使用大语言模型后,南京队可以在20分钟以内对所有日志进行质量判断并逐条自动输出日志的判定结果,将抽查转化为全面检查,提升工作质效。
目前,在以深度学习进行多轮参数微调后,模型的判断准确率达到了较高水平。以2023年7月与8月的7743条访户日志为例,对人工判断为合格的3852条日志,AI判断其中的3638条合格,214条不合格,对合格日志的确认准确率为94.4%;对人工判断为不合格的2344条日志,AI判断其中的2074条不合格,270条合格,对不合格日志的检出准确率为88.5%。模型性能在有效检出不合格日志的同时降低了AI对合格日志的误判,基层辅调员在运用反馈的判定结果时反响较好。王科