好未来的向量数据库基于开源 Milvus 构建了自建机房以及公有云的混合云 Milvus 集群,以及购买了少量 Zilliz Cloud产品。当前 Milvus 集群在好未来的应用架构图如下:
类似传统数据库的数据管理工具,Milvus 提供了名为 Attu 的一体化Web管理工具,该工具大大提高了业务在使用 Milvus 时的效率。
由于 Milvus 的云原生属性,我们使用 Prometheus + Alertmanager 配合钩子实现了分钟级告警提醒到知音楼的功能,方便管理员和业务及时了解服务可能出现的情况。
目前我们实现了以下 4 种告警:
告警指标涉及的监控面板如图所示:
目前好未来对向量数据库的需求主要有智能批改、学习资源推荐、基于文档的向量召回等场景,下面主要对智能批改场景进行介绍。
3.1 业务背景
在当前教育领域,试题批改和学习资源管理面临着巨大的挑战。传统的人工批改方式不仅耗时耗力,而且存在标准不统一、效率低下等问题。随着在线教育的快速发展,每天产生的试题数量呈指数级增长,人工处理已经难以满足需求。教师需要花费大量时间在重复性的批改工作上,而不能将精力集中在教学质量提升和个性化辅导上。
3.2 业务痛点
3.2.1 数据规模问题
海量试题管理:教育机构每天要处理数十万道新增试题,包括来自各个学科、不同年级、多种题型的试题。这些试题需要及时处理、分类、存储和检索,传统数据库难以支撑如此大规模的数据处理需求。
多模态数据处理:现代教育中的试题不再局限于纯文本,还包括图片、公式、表格等多种形式。这些多模态数据的存储和处理对系统提出了更高的要求。
动态扩展需求:随着业务的发展,试题库规模持续增长,系统需要能够平滑扩展以支持不断增长的数据量和并发访问需求。
3.2.2 效率瓶颈
人工批改限制:教师平均批改一份试卷需要 15-20 分钟,在大规模考试或作业场景下,人工批改的时效性难以保证。同时,长时间的重复工作也容易导致批改质量下降。
标准不统一:不同教师对同一答案的评判标准可能存在差异,导致评分结果不够客观公正。特别是在主观题的评判上,这种差异更为明显。
资源利用效率:优质的解析和教学资源难以有效共享和复用,导致教育资源分配不均衡,无法实现规模化的教学质量提升。
3.2.3 质量挑战
评判准确性:需要系统能够准确理解学生答案的语义,正确判断答案的等价性,这对系统的语义理解能力提出了很高要求。
解析质量:自动生成的解析需要保证专业性、准确性和教学价值,同时还要考虑不同学生的理解能力和知识水平。
知识体系:需要建立完整的知识图谱,准确识别试题涉及的知识点,并建立知识点之间的关联关系。
3.3 系统设计
3.3.1 数据处理层
数据处理层是整个系统的基础,负责处理各种来源的试题数据。系统支持多渠道的试题录入,包括 API 接口上传、批量导入和 OCR 识别等方式。对于接收到的试题,首先进行标准化处理,包括格式统一化、特征提取和质量检查。之后,通过先进的算法将处理后的文本和图像转换为向量表示。这一层的设计确保了数据的质量和标准化,为后续的向量存储和检索奠定了基础。
3.3.2 Milvus 核心层
Milvus 核心层是系统的核心引擎,采用分布式架构设计,提供高效的向量存储和检索服务。该层通过 ANN(近似最近邻)算法实现毫秒级的相似度检索,支持亿级数据规模。系统采用多级索引机制,确保查询性能的同时保持较高的准确率。同时,通过 MySQL 存储元数据,维护索引关系和版本信息,实现了向量数据和结构化数据的有效协同。该层的设计充分发挥了 Milvus 在海量向量数据处理方面的优势,为上层应用提供强大的技术支持。
目前 Milvus 核心层存储了10亿+向量,20+集合数,以其中一套Milvus集群为例,单日检索请求量如下:
3.3.3 业务应用层
业务应用层直接服务于教育场景的具体需求,主要包括智能批改、相似题推荐和试题查重三大核心功能。智能批改服务通过向量相似度计算,实现答案的智能评分和解析生成。相似题推荐服务基于学生的学习水平和题目特征,提供个性化的练习建议。试题查重服务则帮助维护题库质量,避免重复录入。这一层的设计充分考虑了教育场景的特点,将先进的技术转化为实用的教育工具。业务应用架构图如下所示。
3.3.4 质量评估体系
质量评估体系贯穿整个系统,通过多维度的评估确保服务质量。系统会对每次批改结果进行置信度评估,综合考虑答案匹配度、历史数据对比和人工反馈等因素。同时,建立了完整的反馈处理机制,持续收集用户反馈,分析质量问题,不断优化评分标准和算法模型。这种闭环的质量控制机制确保了系统能够持续提供高质量的服务。
3.4 落地效果
好未来始终致力于通过先进的AI技术推动教育质量的全面提升。在教学场景中,如智能批改、相似题推荐以及试题去重等实际应用中,引入Milvus向量数据库技术后,解决了以往传统数据处理方式在超大规模数据检索中的性能瓶颈问题。Milvus能够处理亿级规模的向量数据,实现毫秒级的相似度检索,并保证高质量的相似数据召回,准确性和稳定性显著提升。相比之前基于常规数据库进行模糊匹配或索引检索的方式,Milvus极大地缩短了计算时间,同时显著提升了召回效果,赋能教育行业实现真正意义上的AI与教育深度融合。通过这种技术驱动,不仅优化了教育公平性,还极大地提升了教学效率,让教师和学生能够享受到更加高效与智能化的教学体验。以下是学习机作业批改的用户界面效果图。
此外,Milvus的应用不仅局限于教学内容的检索与推荐,还全方位渗透至好未来的多个场景。在基于文档的向量召回场景中,Milvus被成功应用于好未来的自研IM平台(知音楼)中,解决了以往在线文档内容检索存在的速度与检索质量问题,大幅提升了用户体验;而在好未来内部知识库问答系统中,Milvus支持数据分析平台中知识库chunk(小块知识单元)内容的快速召回,与传统关键词匹配方法相比,能够以更高效而精确的方式定位所需内容。
从技术应用前后的对比可以看到,引入Milvus之前,教育行业的数据处理方式存在检索速度慢、召回精准度不足等痛点,无论是面对海量题目相似度匹配还是知识库高效召回,均存在较多效率损失。而Milvus的落地不仅解决了这些难题,还显著扩展了数据应用的可能性,为深度融合AI技术与教育提供了强有力的支撑。通过这种技术转变,好未来在教育领域树立了领先的创新标杆,推动了行业向着更加智能、高效和公平的方向发展。