a16z (@a16z)· a16z·· 17 小时前AI 评分36
Reducto CEO Adit Abraham 谈 AI 基准测试沦为营销及如何找到真正适合自己的评测方法
Adit Abraham of @reductoai on why everything in AI is "state-of-the-art all the time," and how to find what actually works for you: "One of the unfort...
AI 导读
Reducto 联合创始人兼 CEO Adit Abraham 在 a16z 访谈中指出，AI 行业的基准测试正逐渐沦为营销手段。他举例说，某基准发布方在自己的测试中加入轻微噪声和模糊后，其表现远差于其他厂商，而其他厂商表现稳定。他推荐谨慎设计评分细则的 LLM as a judge 方法，并主张行业应在自己的数据上做评测，而不是依赖通用基准。
来源：a16z (@a16z) · x.com