感知模块：
实时感知音频、视频输入，对音频信号进行语音识别和音频分类，对视觉信号抽取视觉特征：
音频感知：研究人员训练了一个轻量的音频多模态大模型，实时监听输入的音频流，同时进行语音识别和音频分类，理解人类语音内容和识别背景声音。
视觉感知：通过视觉编码器实时抽取视觉特征。
记忆模块：
持续对输入的视觉特征进行多层级的记忆压缩，不断进行视觉记忆编码压缩，支持根据指令对视觉记忆的高效检索。
短时记忆压缩：对短期视频片段内进行记忆压缩，形成精确的短期记忆。
长期记忆压缩：对短期记忆进一步压缩，形成高压缩比的长期记忆。
记忆查询：根据指令查询长期记忆，召回指令相关的短期记忆片段，用于思考模块的多模态理解。
思考模块：
判断语音输入是否为需要响应的用户指令，避免误触发影响使用体验。对于需要影响的用户需求，结合指令查询视觉记忆，并回答问题。
判断用户指令是否需要响应。
调用记忆模块查询历史视觉记忆，用于多模态理解和推理， 并回答用户问题。
调用外部语音合成模块合成最终语音输出。
前端使用JavaScript开发，可启用摄像头和麦克风捕捉视频和音频流输入，并将其推送到SRS服务器，同时与后端建立WebSocket连接，监听音频输出和中断信号。 前端在接收到音频输出时播放音频，接收到中断信号时暂停音频播放并丢弃待处理的音频。 SRS（Simple Realtime Server）是一款简单高效的实时音视频服务器，负责接收和传输音频流、视频流数据。 后端与前端建立WebSocket连接后，将从SRS服务器拉取流媒体，并启动独立进程分别读取音频和视频。 音频进程持续读取音频流并检测语音的开始和结束： 视频进程读取视频帧并保存到视频帧队列。记忆进程负责识别、提取并存储记忆，并在收到语音检测进程的备份信号后保存当前记忆状态以便后续检索。 大语言模型进程判断待处理的指令是否需要模型响应，并根据检索到的记忆对于需要响应的指令进行文字回复。 语音合成进程将把文字回复结果转换为音频输出并发送到前端。