LightCRS:轻量级多域多模态对话式推荐系统
论文提出 LightCRS,一个轻量的查询条件式多域多模态对话推荐框架:离线用冻结编码器预计算商品表示,在线由 5.3M 参数模块通过跨域共享的 query-conditioned cross-attention 融合证据,并用候选间 Transformer 联合比较。
论文提出 LightCRS,一个轻量的查询条件式多域多模态对话推荐框架:离线用冻结编码器预计算商品表示,在线由 5.3M 参数模块通过跨域共享的 query-conditioned cross-attention 融合证据,并用候选间 Transformer 联合比较。
研究者推出 MAMath-Bench,一个评估多智能体系统(MAS)多模态数学推理能力的过程感知基准,包含 1,003 道题,覆盖 11 个数学类别和文本、图像、音频等模态,并提供细粒度里程碑标注。评测发现:多智能体协作并不总能提升最终答案准确率;协作能扩大中间推理覆盖面但会增加推理冗余;现有系统仍易受对抗性推理错误影响,尤其是细微结构扰动。数据集已公开。
EvaOmni 是一个证据锚定的音视频推理评测基准,包含 392 个视频和 1,027 条纯人工标注的问答对,覆盖 15 项能力和检索定位、基础理解、复杂推理三个层级。
这篇立场论文提出,通用视觉语言模型(VLM)可通过 System One 决策直接充当多模态重排序器,无需专门训练:用一道选择题对第一阶段检索的 top 16 候选打分,从一次前向传播中读取各候选标签概率完成排序。
研究者推出 MMEnterprise-Bench 基准,包含 1,613 道基于模拟协作项目中演化多模态记录的问题,覆盖证据推理、冲突消解与不可回答三类任务。对 10 个专有和开源多模态 LLM 的评测显示,即使最强模型在证据存在跨来源或时间冲突、或跨越多张图像时仍表现不佳。增大检索预算或使用更大检索器能提升证据召回,但不必然带来更高的答案准确率。
SolarRenderer 是一种结构条件视频渲染器,通过两个轻量 LoRA 适配冻结的 MiniMax-H3 33B 骨干,将游戏引擎等粗略结构转为逼真视频。
论文提出 Matrix-Game 4.0,通过可执行游戏框架将游戏执行与视觉生成分离,由轻量游戏引擎维护世界状态、多模态编码 Agent 将玩家想法转成游戏代码、基于自回归视频模型的渲染器把低多边形代理画面转化为高保真视觉。
推荐理由:论文提出游戏执行与视觉生成分离的框架,并给出单卡 480p 60 FPS、112ms 延迟等实测指标,可帮助评估视频模型驱动可玩游戏世界的可行性。
Byungwoo Jeon 等人发布论文,提出 Video-Point Model(VPM),基于多视角视频历史和语言指令,联合预测任意视角的未来视频与场景持久点的 3D 轨迹。
研究者提出空间推理智能体 S-Agent 2.0,为现成的通用编码智能体配备命令行感知工具包,通过持久场景记忆帮助 VLM 补全证据闭环。
马萨诸塞州总医院百瀚癌症研究所在《柳叶刀·数字健康》发表研究,发布用4000万张人脸预训练的FAHR-Face模型,微调出FAHR-FaceAge和FAHR-FaceSurvival两个工具,后者用34363张癌症患者照片训练,可凭一张面部照片预测生存风险。
《柳叶刀·数字健康》10月20日发表麻省总医院布莱根医疗集团的 FAHR-Face 研究,AI 仅凭一张脸部照片即可识别癌症患者的死亡风险差异。
36氪授权发布叁拾代文章,分析字节跳动近两个月在AI视频工具上的密集布局,已形成即梦、小云雀、漫剧创作工具、Dramagic和剪映Hub的工具矩阵,针对不同内容场景系统性细分。
Google 为车载 Gemini AI 推出 Personal Intelligence 功能,让 Android Auto 和 Google built-in 车机可跨 Gmail、Calendar、Maps、Photos、YouTube 和 Search 调用个人信息。
Google 周二宣布升级车载 Gemini 助手,新增 Personal Intelligence 功能,可调用 Gmail、Google Calendar、YouTube、Maps 和搜索记录等连接的 Google 服务来理解用户偏好。
这套思路从知识图谱三元组出发,用 N 元关系把多种模态放进同一套表征:书里的一段话、图中的一块区域、音视频片段和三维位置,都可以作为同一关系的成员关联起来。王树义撰文拆解该统一知识表征模型的原理与做法。
研究者开发可解释性管线研究 Vision-Language-Action 模型的内部计算,向动作专家注入任务 A 的激活可使 pi0.5 在 99.6% 的回合(n=1,968)执行任务 A 的运动轨迹,且该程序绑定绝对工作区坐标、忽略可见场景。
WorldStream 是一个开放式 3D 世界模型,具备三项能力:将可玩地形扩展到预设地图之外、响应运行中世界的开放语言指令、并按编辑记录恢复已访问地点。它用 Macro/Micro 分层规划器生成结构化决策,由确定性本地代码编译为地形、道路、聚落、植被和实体,单一世界记录保留规划、种子、对象身份与可变状态,支持有状态 NPC 交互。
阿里千问发布 Qwen-Audio-3.1-ASR 技术报告,这是在 Qwen-Audio-3.0-ASR 基础上改进语音识别并扩展说话人分离转录与通用音频理解能力的音频语言模型系列。
有用户发现 Codex 前面版本更新的意图补填功能是多模态的,背后是一个快速 VL 模型。该用户在补全时,模型提醒修复连肉眼都没察觉的问题 Bug。
北京大学王选计算机研究所王勇涛团队与通视智能(VGI Labs)、UC Merced 联合提出 DynStream,一个面向无位姿长视频流的在线 4D 高斯前馈重建框架。
研究者提出 TRACE(多模态临床事件轨迹建模)框架,将 EHR 数据、胸片、放射报告和出院摘要按天级轨迹组织,用时间注意力编码并分离全局上下文与当日事件。在 MIMIC-IV、eICU 和 MIMIC-III 共近 180,000 次住院数据上,TRACE 在全部 9 个数据集-任务设置中取得最高 AUROC,其中 8 个取得最高 ACC,涵盖死亡率、住院时长和再入院预测任务。
VAST(三启万物)发布并全面开源世界模型项目 Project Eden 下的实时生成式渲染器 EdenLive,支持以 Proxy 或参考视频为控制信号,结合目标首帧图像和文本提示词持续生成写实或风格化画面。
RT Grok 在转发中说明,视频里的手部标注并非真值,而是世界模型的预测输出。类似 ACE-Ego-Hand 这类方法把视频扩散模型当作几何编码器,利用干净潜在特征和双向时空解码,在遮挡时也能稳定推断完整手部姿态(所谓 x-ray vision),因此跟踪表现稳定。
研究团队提出免训练评测方法 RAVEL,通过跨模态近邻一致性、稳定化 PCA 白化和局部图像块匹配,在完整训练前预测视觉编码器对目标 LLM 的适配程度。
ElorianAI 团队(Andrew Dai)发布其首个视觉思维模型 Glimpse。该模型在关键公开视觉推理基准上与 Astra 相比具备前沿竞争力。Andrew Dai 此前在 Valley101 播客中提出,不解决视觉推理就无法达到 AGI,让 AI 理解世界如何运作是构建世界模型、机器人及真正智能的基础。
Andrew M. Dai 与 Elorian 团队推出 Glimpse,定位为其首个视觉思考模型,Jeff Dean 转发推荐。Dai 称过去模型在单张图片上表现好,但对动态或视角变化的内容表现差。官方表示 Glimpse 在关键公开视觉推理基准上与 Astra 相比具备有竞争力的前沿表现,现已开放体验。
Project Apertus 发布 Apertus 1.5,在 8B 和 70B 基础上以继续预训练方式加入图像和音频理解、可选思考模式,上下文窗口扩展至 262,144 tokens,模型权重于 2026 年 7 月 24 日以 Apache 2.0 许可上传 Hugging Face。
推荐理由:官方发布说明完整公开了训练流程、数据与中间检查点,读者可据此了解开源多模态模型的全链路做法。
Meta 发布开源权重多模态 MoE 模型 Muse Spark Open,总参数约 816B、每 token 激活约 42B,支持文本、图像、音频和视频输入,上下文窗口最高 1M tokens,定位为 agentic coding 模型。
推荐理由:原文给出架构细节、部署配方和实测吞吐数字,开发者可以据此评估如何在自己环境里运行或微调这个 816B 模型。
Google Research 介绍以 Earth AI 的 Population Dynamics Foundation Model(PDFM)为概念的公共卫生新范式,将隐私保护的搜索趋势、人流、建成环境与环境变量压缩为按月更新的位置嵌入,可即插即用接入既有流行病学工作流。
Mistral 发布 Mistral Large 4 公测预览,模型为 1 万亿总参数、52B 激活参数的原生多模态模型,在本月底开放权重,预览 API 已可在 Mistral Studio 试用。
推荐理由:官方公布参数规模、权重开放时间与多领域基准成绩,可据此了解开源模型当前能力水平与欧洲自建算力路线。
Max Lapin 宣布 Rho-1,一个从零训练的 19B 全模态模型,Reka 同日发布其研究预览版。该模型在单一神经网络内理解和生成文本、图像、视频及机器人动作,可绘制场景、在图中找物体、动画成视频、按提示词编辑视频并跨多轮对话推理,无需流水线和工具调用。
Import AI 第 474 期讨论 Michael Levin 的论文:心智可能是来自“柏拉图空间”的非物理模式,身体和机器只是这些模式进入物理世界的接口。文章以 xenobots、anthrobots 和排序算法实验为例,说明简单系统也能涌现算法未规定的智能行为,并认为 AI 与人类心智可能是该空间中相邻的模式。本期还报道了太空 TPU 及智谱启动外层 RSI 循环等内容。
作者转发小米 MiMo 官方发布:MiMo-V2.6 推出 Pro 与 Flash 两个全模态模型,主打通过规模化强化学习推进。
推荐理由:转发小米 MiMo-V2.6 的发布要点,开源权重与训练配套齐全,并给出了与其他前沿模型的基准对比供参考。
Seedance 2.0 API 全面开放,国内外用户均可使用,个人创作者可顺畅调用。其采用多模态音视频联合生成架构,最多支持同时输入 9 张图、3 段视频和 3 段音频,可写带时间码的分镜脚本控制运镜,并支持对已有视频定向编辑和续拍;今年春晚《贺花神》《驭风歌》舞台视觉使用了它,Runway、Freepik 也已接入。
用户实测 ListenHub 的 Slide Deck 功能:只需输入一句话提示词“用 Jensen Huang 的卡通形象讲解 Nvidia 的一年”,即可生成 10 页幻灯片,每页接近设计师水准。演示还包含完整旁白脚本、5 分钟 AI 配音,并支持一键导出到 YouTube。
勺哥预测 Gemini 3 Pro 可能打通 AI 编程最后一个高地——视觉稿到前端代码,并打算用它强化自己的阅读网站 enladder.com。他评价其生成的 SVG 图形已非常专业、处理图片能力非常强,甚至能做科普动画视频,官网被刷爆,并推荐节点不可用时使用聚合网站 Zenmux。
向阳乔木分享一套 Gemini 文章生成做法:先提炼自己或喜欢的文章风格设为 Gemini 的 Gem,再把 YouTube 视频链接丢过去生成。他以 Gemini 生成 2 小时罗永浩访谈叶国富的视频测试作演示,并指出 Gemini 能精准提取时间戳,方便跳看对应片段。