RealMe:从稀疏采集生成沉浸式体积视频
RealMe 是一个基于高分辨率视频扩散模型的统一框架,可将稀疏低分辨率采集视频增强为 2K 分辨率、4D 一致的视频,用于体积视频重建。该方法采用分解式时空注意力与布局感知位置编码,并引入潜空间频率损失缩小生成与真实采集的差距。在 DNA-Rendering 基准和自建 RealVV 数据集上,其视觉保真度与 4D 一致性超越现有最优方法,论文将发表于 SIGGRAPH Asia 2026。
RealMe 是一个基于高分辨率视频扩散模型的统一框架,可将稀疏低分辨率采集视频增强为 2K 分辨率、4D 一致的视频,用于体积视频重建。该方法采用分解式时空注意力与布局感知位置编码,并引入潜空间频率损失缩小生成与真实采集的差距。在 DNA-Rendering 基准和自建 RealVV 数据集上,其视觉保真度与 4D 一致性超越现有最优方法,论文将发表于 SIGGRAPH Asia 2026。
独立开发者Ray的微信小程序「跑个明白R2Know」正式版已上线,用大模型视觉理解识别跑步截图中的日期、距离、用时、配速、心率、步频等字段,绕开华为、苹果、小米、Keep、佳明等封闭平台接口实现跨平台归档。产品按配速与累计里程将用户分为入门、进阶、硬核三档分别排名,并采用连续天数递减的积分系数防止堆量刷分。现阶段核心功能免费,月度服务成本百元级,尚未融资,AI分析功能待经营主体升级后开放。
36氪授权转载新莓的报道,记录一烨、梦佬、陈编导、ThxFish等AI视频创作者在Seedance2.0发布后一年的生存状态。一烨首支原创AI视频《最后一班》在小红书获近10万点赞,项目报价可达1000元/秒,一个90秒广告6天制作收获9万元;但即梦会员涨价、积分缩水近六成,成本控制成为必修课,不少创作者转向做IP或组建工作室,也面临赛道拥挤与变现能力减弱的焦虑。
36氪实测淘宝内嵌购物 Agent、京东AI购、豆包和什么值得买的“张大妈”四款 AI 购物助手在双十一选品、比价和优惠计算上的表现。在 2500 元预算的三类商品攻略测试中,京东AI购能提供近一个月历史价格对比,豆包给出约 900 元组合并主动建议拆单“薅羊毛”,淘宝多轮对话连贯但商品选项少,张大妈在预算调整后多轮对话衔接不足。整体看,AI 能省去比价算账工夫,但离真正的最优购物方案仍有差距。
研究者提出 PAPAV 统一能力框架,将多模态具身智能体(MMEAs)的核心功能归纳为感知状态、预判动作效果、规划可行路径、通过接口或身体执行、验证结果五项。分析 64 个 benchmark 发现,评测集中在 Act,仅 5 个评估 Anticipate、3 个评估 Verify。该框架为设计可靠物理智能体、超越单纯任务成功率衡量进展提供了共同基础。
研究者提出预训练视觉状态编码器 ALPS,将物理状态信息、语言对齐和像素重建统一在同一组 patch token 中。仅用静态图像与文本从零预训练 ViT-B/16,并通过跨视角自蒸馏精调。
全天候科技分析AI眼镜、耳机和录音设备正在成为Personal Agent进入现实世界的入口。10月13日千问发布AI眼镜N1、N1 Pro和AI耳夹式耳机,叠加国补后眼镜到手价2218元起、耳机首销价1099元起;韶音、viaim、Plaud和亚马逊旗下Bee等厂商分别选择整合闭环、调度外部Agent或接入电商服务等不同价值链位置。
Google DeepMind 转发展示 Gemini 4 Argon 生成的 3D 元素周期表,该作品与 Tom Lehrer 的歌曲《The Elements》同步,使用 @Antigravity 创建。作品可动画演示电子绕轨道运行、原子数据和光谱。
ViggleAI 推出 JST-2,称其为世界首个全栈物理原生的世界基础模型。与许多在像素/视频空间学习的世界模型不同,该模型从第一性原理出发,以 3D 构建整个模型栈,可在数秒内生成 3D 场景并实时扩展。
Marc Andreessen 转发 Leon Lin 的创作演示:用 Opus 5.5 制作了 260k+ 体素实时变形的视频,依次变成方块、草地、风暴、铁磁流体、星系等形态。全部代码用 JS 编写,并配有声音效果。
Marc Andreessen 转发 anabology 的演示视频《Claudia Explains: Euclid》,称 Claude 目前还不是出色的音乐家,但这类视频在 6 个月前用以前的 LLM 是无法想象的。
作者在 Codex 额度将耗尽时做实验,用 DeepSeek 操作闲置手机池中的一台手机,选取一个 TikTok 热门视频,并通过 Windows PC 的媒体工作流自动生成漫画版视频,全程全自动,约耗时 30 分钟。由于 MCP 连接数过高,DeepSeek 最终选择用 Codex 的电脑打开 Windows 远程桌面的 ComfyUI 完成生成;作者认为若不用电脑方式,速度会快很多。
谷歌将 Gemini AI 助手带入 Apple CarPlay,美国司机当天起可在 Google Maps 中使用,并正向全球推出。用户点击车载信息娱乐屏上 Google Maps 的 Gemini 图标即可激活,支持多步提问,如推荐景点并导航前往同时避开收费路段,还可对话式上报交通状况、查询沿途地点信息。
研究者提出 HRoPE(Homography Relative Positional Encoding),一种面向多视图 transformer 的表面感知位置编码。
Skyfall 的 25 人团队发布 SKY-001,把发动机照片转成零件图只需 3.9 秒、成本半美分,而 GPT-6 需 199 秒、0.75 美元(Skyfall 自测,未经独立验证)。文中给出三个判断:便宜 150 倍源于方法更换而非优化,该方法易复制将催生一批 SKY-00X,而传统工业界仍停留在问「AI 能让画图快多少」。
Viggle 团队发布全栈物理原生世界基础模型 JST-2,宣称可在约 1 秒、不到 1 美分的成本内生成完整 3D 场景,浏览器中即可拖动视角探索并实时扩建新区域。
2026年网红神曲数量减少并全面“梗化”,从完整的“一首歌”退化为“一句歌”甚至“一个梗”,如AI作曲演唱的《生气了》和源自电台即兴的《中国人能飞》。法国流媒体Deezer 4月数据显示,平台每日收到约7.5万首AI生成曲目、占新上传歌曲的44%,但播放占比仅1%到3%;Suno日均生成歌曲超700万首,腾讯音乐“启明星”累计生成AI音乐作品超2600万首。
B站近一个月兴起用AI生成的名人演唱会,最火的黄仁勋演唱会点击近600万,马斯克也转发评论。UP主胡萝卜须儿创作的1分半钟元首演唱会获330万点击,Token成本300元,带来千余元流量分成和6000+涨粉,主要用Updream、QWen3、Seedance2.0和Suno创作。文章指出AI内容生产与消费市场一年间成型,B站二季度每月约1.9亿用户消费AI内容,AI内容消费时长同比增长72%。
来自 UCSB、斯坦福等多家机构的研究者联合提出多模态 Agent 记忆评测基准 WorldMemArena,论文已被 NeurIPS 2026 接收。基准包含 400 项以上多会话任务、24,258 组问答和 15,595 张图像,通过观察、行动与环境反馈的循环,把长期记忆拆成写入、维护、检索、使用四个可诊断环节。
研究者提出多模态条件潜在扩散模型 MC-LDM,用于预测阿尔茨海默病进展中的脑部 MRI 变化。该模型训练时融合 MRI、tau-PET、CDR 和 APOE4 多模态信息,推理时仅需基线 MRI、APOE4 和患者元数据;基于 ADNI 852 名受试者的 1,355 次访视训练,在 664 次访视的独立测试集上较次优基线降低 18% 的区域体积 MAE。
arXiv 论文提出 Stable Signer V3,一个基于 4D Deformable Primitive Splatting 的交互式高分辨率手语虚拟人系统。
论文提出 avatar referring segmentation 任务,并给出免训练框架 HumanSkill-4D,通过共享多模态大语言模型(MLLM)与几何算子,从语言查询中选取可动画高斯化身的区域及匹配姿态或运动的时间区间。
CRISP 是一种像素空间扩散解码器,包含骨干无关的 latent adapter、基于 DiT 的去噪器和支持掩码预测器,可在保持编码器与 latent 生成器不变的情况下替换 video-VAE 或 LiDAR 原生解码器,修复 LiDAR 潜在生成中的飞点问题。
UMM-Reflection 方法在统一多模态模型内部对完整反思轨迹施加强化学习,让反思文本与图像生成联合优化,无需推理时的外部验证器。在 BAGEL 上,该方法的 GenEval 得分比 SFT 提升 12.05 点,并在未参与训练的 WISE(+10.97)、OneIG-Bench(+3.48)和 T2I-CompBench++(+4.63)上实现迁移增益。
研究者推出 OPIS,一个以初始观测中的固定目标实例为锚点的输入锚定基准,用于评估视频世界模型的多目标记忆能力。数据集包含 500 个案例,覆盖真实世界、具身机器人和游戏世界领域,为 12,672 个刚体、铰接和可形变实例提供密集目标级标注。
论文提出 EMERGE(Equivariant Multi-scale GNN for Resolution-agnostic point cloud GEneration),首个完全 SE(3) 等变的图结构扩散骨干网络,用于点云生成。
Yuvion VL 是一系列专为内容与 AI 安全构建的多模态大语言模型,提供指令微调与推理导向两种变体。其训练采用三阶段流程(风险概念跨模态对齐的继续预训练、生产级安全任务的指令后训练、推理后训练),并提出 Confuse-then-Contrast 微调框架和 Yuvion VL RiskEval(YVRE)评测基准。
研究者推出诊断数据集 CounterCount,用包含非典型计数的反事实图像(如四耳兔子)测试 16 个 VLM 的属性计数能力。人类两类图像准确率达 98.9% 和 97.5%,而 16 个模型(14 个开源、2 个闭源)在事实图像上平均准确率 91.6%,反事实图像降至 49.5%,多数错误与常识计数一致,暴露知识先验偏见。
DRAPE 是一种面向多模态持续指令调优(MCIT)的提示学习框架,通过从文本指令派生提示查询并交叉注意力视觉 patch 特征,为每个查询-图像对合成实例级连续软提示,替代从固定提示池中选择。
研究者提出 LLaVA-CKD,一种自底向上级联知识蒸馏(CKD)框架,通过引入中等容量的中间教师逐步缩小师生容量差距,提升从大模型向小模型的知识迁移效果,并给出理论分析。该方法基于 LLaVA 架构构建模型,在七个公开 VQA 基准上评测,性能与近期紧凑型 VLM 相当。级联蒸馏源代码和训练好的模型已开源。
一项 arXiv 研究发现,VLM 并非无法识别有害意图,而是视觉模态使表示向特定越狱状态偏移,导致拒绝机制失效。研究定义了沿越狱方向的越狱相关表示偏移(jailbreak-related shift)来量化这一转变,可统一解释多种越狱场景。据此提出的推理时防御方法 JRS-Rem 在多个场景下提供强防御,同时保持良性任务性能,代码已开源。
一篇 arXiv 综述梳理了多模态生成模型(MGMs)的六类文本条件生成模态,涵盖图像、音乐、视频、人体运动和 3D 物体,并考察 self-supervised learning、mixture of experts、RLHF 和 chain-of-thought prompting 四种技术在不同模态中的应用。
Thinker 团队(Ubtech)发布统一多模态世界模型 Thinker-WM,通过共享中间 Unified Dynamics Transformer 联合建模与生成 RGB、度量深度和机器人动作。
研究者推出 MultiWorldBench,一个基于 Minecraft 的多人世界模型诊断基准,包含 495 个案例配置、七大任务套件和十项能力。以 Engine GT 为参照,Gamma-World 十项能力平均分最高(21.39),Solaris(MP)为 20.88,Solaris(SP)为 10.06,而 Engine GT 达 91.69。
研究者在 Qwen3.5-VL-27B 基础上,用约 52k 多模态样本(CAD 视觉问答、text2cadquery 参数化与装配级 CAD 代码、Inventor/SolidWorks 的 COM 子语料)经统一多任务 SFT 训练出 IndustryForge-27B。
论文提出 PTD-PO(Privileged Tutoring Distillation Policy Optimization),一种面向 LVLM 的 RLVR 训练框架,在不向学生策略暴露答案的前提下提供密集监督。
研究者推出 MindView 基准,用于评测生成式多视角空间智能,包含来自 513 个场景的 1,500 个样本,涵盖几何主导与语义主导两类共 7 项任务。对 11 个生成模型的评测显示其提升空间较大,微调 BAGEL 后总分提高 24.3 分,且在三个空间理解基准上也有提升。团队还提出免训练的空间证据选择器 MindCue,可逆转扩展上下文下的得分下降并超过标准上下文基线。
arXiv 论文提出 DISTRACT 基准,通过四类文本先验与四级图像退化的交叉干预,评测五个视觉语言跟踪器(VLT)中文本是否真正改变跟踪决策。Molmo2 和 JointNLT 表现出有方向的文本利用,且在决策临近状态可解码正确与冲突文本;UVLTrack、MMTrack 和 DUTrack 对文本语义变化仅弱响应,无行为效应通过 FDR 校正。
研究者推出通用代码式视频生成基准 Code2Video-Compass,覆盖文本到视频(T2V)、图像到视频(I2V)和视频到视频(V2V)三类设定。基准包含 2,104 个任务,横跨 10 个类别、24 个子类型和三个复杂度维度,并采用 12 项客观指标与 5 项主观指标的双层评测框架。
VisualEvolve 是一个让视觉语言模型(VLM)通过 Select--Execute--Evolve--Evaluate 循环自进化视觉操作与工具使用技能的框架,无需更新模型参数。