关于心法后端改进方向的思考

由于本周电脑还是未修好无法配置模型。所以这两天主要简单思考了一下关于后端的改进方向也包括对前期一些模型选择的总结。1. 首先就是关于王筝学姐使用的laur模型。是通过正则化来防止遗忘。可以尝试添加数据回放。差不多就是学新知识时既给重要参数上锁正则化同时又混入少量旧样本一起训练回放来保护旧知识。或者尝试一些别的模型。2.关于语义检索模块1关于引入跨编码器进行精排这个也是之前李捷同学有做过的用的reranker重排序。后面整合模型的时候是先用的bge-large进行提取向量相似度检索再进行reranker重排。之前尝试的效果确实是比单纯使用bge- large好但是缺点就是很大很慢。原本bge-large跑的话就已经很慢了而且很卡加上reranker和话在本机上几乎跑不动大概半个小时才可以启动好。关于部署的最新的问答系统由于只有管理员权限才可以切换模型所以不太清楚现在的bge模型跑的速度和准确率如何还有laur模型也体验不了。2query改写这个之前使用bge的时候好像有这个但是没有使用主要是针对用户问法不规范时先改写为规范的文句再进行检索。3混合检索最开始的bert使用过但是现在前端新增加了功能可以选择语义或者关键词所以感觉应该不需要这个了。小结关于后端改进方向可以尝试在防止遗忘这里、尝试一些新模型或者加入一些新的方式尝试。还有在语义准确性这里之前尝试过的模型虽然有些表现还行但是似乎整体来看都没有bert用的好感觉包括在速度、准确率综合来说。