OvisOCR3 技术报告:0.8B 统一 OCR 模型
OvisOCR3 是一个 0.8B 参数的统一 OCR 模型,覆盖文档解析、通用 OCR、关键信息抽取、图表描述和跨页表格重建五类任务。训练采用真实与合成数据的继续预训练、领域均衡 mid-training、从五个 4B 领域教师模型的多教师 on-policy 蒸馏及混合任务强化学习。
OvisOCR3 是一个 0.8B 参数的统一 OCR 模型,覆盖文档解析、通用 OCR、关键信息抽取、图表描述和跨页表格重建五类任务。训练采用真实与合成数据的继续预训练、领域均衡 mid-training、从五个 4B 领域教师模型的多教师 on-policy 蒸馏及混合任务强化学习。
一项新研究提出 cache engineering 方案,让 LLM 智能体在不修改轨迹、不重新 prefill 的前提下直接控制活跃 KV cache,可通过 drop 排除选中缓存、用 repos 调整保留键的位置编码,并配套设计了 AKV serving 引擎。
WorldStream 是一个开放式 3D 世界模型,具备三项能力:将可玩地形扩展到预设地图之外、响应运行中世界的开放语言指令、并按编辑记录恢复已访问地点。它用 Macro/Micro 分层规划器生成结构化决策,由确定性本地代码编译为地形、道路、聚落、植被和实体,单一世界记录保留规划、种子、对象身份与可变状态,支持有状态 NPC 交互。
阿里千问发布 Qwen-Audio-3.1-ASR 技术报告,这是在 Qwen-Audio-3.0-ASR 基础上改进语音识别并扩展说话人分离转录与通用音频理解能力的音频语言模型系列。
DiffResearch 是一个开源多智能体深度研究框架,将扩散语言模型(dLLM)用于规划、检索、写作等全部环节,并以 Apache-2.0 许可发布。
ProVe(Proposer-Verifier decoding)将投机解码的角色反转:把大模型微调为一次前向预测整块未来 token 的提出者,再用一次前向验证该块。
论文提出由不同学科背景、保留私有研究历史并通过自适应分配获得研究机会的持久 AI 研究员组成的团队,用于自主探索线性注意力架构。该团队在 1.3B 规模的语言建模、常识推理和检索任务上超越 GDN2。消融实验显示,去掉学科背景、私有历史或自适应分配中的任一组件,发现质量都明显下降。
研究者推出 AgenticRoboRL 框架,用监督微调结合多轮强化学习对不同机器人 harness 的规划器做后训练,通过 harness 专属适配器统一 RL 训练流程。在 LIBERO-PRO 上,9B 参数规划器的成功率从 18.1% 提升至 71.0%,接近 Codex(GPT-5.5)配合外部记忆达到的 72.1%。框架与训练好的规划器 checkpoint 将开源发布。
一项 NeurIPS 2026 DiffuLM Workshop 接收的研究测试了扩散语言模型智能体能否通过连续隐状态传递隐藏消息:发送方将去噪状态压缩为四个带符号稠密向量供接收方使用。
论文提出 RoboJudge-Bench,用 800 条来自 8 个源语料、10 个视频生成器的人工标注视频,从物理贴合度与指令对齐两个维度评估 MLLM 作为具身视频生成评判者,发现通用 MLLM 在物理贴合度上与人类评分一致性较低。
研究者推出 StreamEval,一个面向交互式流式视频生成的统一基准,涵盖 avatar 对话、avatar 表演、世界生成、指令编辑和参考编辑五类任务。基准包含 300 个时长 15-300 秒的脚本化测试用例,从任务执行、状态一致性、视觉保真度和视听协调四个维度、十项指标按 0-100 分评估。
Taiheng Pan 的 arXiv 论文追踪七个开源 RL 后训练框架的提交历史,并关联 2025 年 1 月至 2026 年 6 月筛选的 6,939 篇 arXiv 论文。
一项系统性研究通过近 600 次训练运行,联合变化模型规模、训练 token 数和前向/反向循环次数,拟合出刻画 Looped Transformer 中 BPTT 截断影响的统一 scaling law。
一项 arXiv 研究追踪了从 SFT、DPO 到强化学习各后训练阶段对模型匹配用户方言倾向的影响,发现 10 个开源模型系的后训练把回复统一为标准英语,且 DPO 更新偏好匹配英式/澳式拼写而非 AAE 和 Singlish。研究者提出校准顺应对(CAP)偏好数据,在完全开源模型上提升了对未见方言特征的匹配度,同时未增加标准英语用户的方言输出,也不损害指令遵循能力。
一项 arXiv 论文提出 DeCert 框架,无需参考解释即可评估生成式奖励模型(GenRM)生成理由的有效性与判定一致性,并将其转化为兼顾判定正确性和理由质量的偏好监督。在两个模型家族和多个分布内外 benchmark 上,DeCert 持续超越强生成式裁判基线并提升理由质量,还将位置一致准确率最高提升 14.8 点,有效缓解位置偏差。
研究者推出 RoboCasa-Shift,一个基于 RoboCasa365 构建的诊断型鲁棒性基准,通过单因子扰动、配对干净-扰动 rollout 和基于仿真器的分阶段诊断,评估 VLA 策略在长程任务中的表现。
StyleStream 2.0 是一个快速可控的流式语音风格转换框架,已被 NeurIPS 2026 接收。通过 few-step pixel MeanFlow 模型并结合 Self Forcing 式自回归反馈微调,端到端延迟降至消费级 GPU 上的 520ms,较 StyleStream 1.0 提速 2 倍。
arXiv 论文(arXiv:2610.28698)通过 120 组持续预训练(CPT)配置,系统研究数据量、多样性与模型规模对虚拟世界具身智能体的作用,覆盖 0.8B 到 27B 四种模型规模、50 到 1,600 小时六档数据预算和五种数据混合。
场景文本编辑(STE)研究提出 TextRIRO,不依赖合成配对数据,而是通过对真实图像进行 Crop、Shuffle、Mask 等破坏操作构建自配对监督,基于条件扩散架构训练。
慕尼黑工业大学与 LMU Munich 团队提出 Bridged Self-Distillation(BSD),一个从任意提供推理轨迹的教师模型进行 on-policy 蒸馏的统一框架。