360智脑开源7B大模型，支持360k（50万字）长文本输入

前言

360公司正式开源了自研的7B参数大模型"360智脑"系列，包括基础模型和支持4K、32K、360K三种不同长度上下文的聊天模型。其中，最长可支持360K（约50万字）的长文本输入，这在开源大模型中极为罕见。

360智脑7B系列模型不仅开源了模型权重，连同微调训练代码、推理部署代码等工具链一并开放给开发者使用，真正做到了"开箱即用"。

• Huggingface模型下载：https://huggingface.co/qihoo360

• AI快站模型免费加速下载：https://aifasthub.com/models/qihoo360

强大的性能表现

根据OpenCompass的综合评测，360智脑7B大模型在同等参数的模型中位居前三，在C-Eval、MMLU、HellaSwag、LAMBADA等多个单项能力测试中更是拔得头筹，展现出了卓越的中英文知识和推理理解能力。

即便面对"弱智吧"等恶意测试，360智脑7B大模型也能清晰、从容地应对，充分彰显了其强大的语言理解实力。

领先的长文本处理能力

在长文本处理能力方面，360智脑7B大模型在LongBench评测中取得了同等参数模型中的最高分。不仅如此，在中英文360K长文本理解测试中，其准确率也均超过了98%。

这得益于360团队在模型设计上的创新。他们摒弃了传统的滑动窗口attention、跳跃attention等有损压缩方法，转而采用了全新的超长文本无损压缩技术。这确保了模型在处理长文本时能最大限度地保留原始信息，从而实现高效的长文本理解。

这项突破性技术的应用，使得360智脑7B大模型成为目前开源领域中支持最长文本输入的模型，最长可达360K（约50万字），相当于可以在3秒内阅读完《三体》全书。

结论

总的来说，360公司开源360智脑7B大模型，不仅彰显了其技术实力，更代表了一种积极开放的姿态。这不仅促进了AI领域的技术进步，也为各行业带来了新的可能性，值得期待。