字节这事儿做得还是让我非常敬佩。
如果五年后再回头看字节的 AI 历程,我想,他们今天推出的科学家计划肯定会成为其中一个重要节点。
事情是这样。今天上午,字节 Seed Edge 启动了一个科学家计划,准备邀请 100 位前沿科学领域的学者和博士生,与 Seed 团队一起研究真实的科学问题。
科学家可以把自己领域里真正困难的问题带进来,Seed 提供模型、算力和 AI 研究团队,双方一起探索,大模型究竟能不能参与那些没有标准答案、需要长期推理和反复验证的研究。
看到这个计划,我首先想到的是 OpenAI。
去年,OpenAI 曾经专门推动过 OpenAI for Science,希望让 AI 更深入地参与科学研究。
但到了今年,在激烈的模型竞争下,OpenAI 调整了这方面的组织和投入,原来的独立 Science 团队也被解散了。
Anthropic 也有在做类似的事情。今天还看到他们的研究员在播客里讨论怎么利用 AI 把 10 到 15 年的药物周期研发压到 5 年以内。
看来现在,字节要开始认真做类似的事情了。这是国内第一个大规模投入 AI 加速科学发现的研究计划。
我简单解释两句。
从商业化的角度来看,这事肯定没有 Coding 那么直观。毕竟现在 Coding 只要效果好,很快就能转化为收入。
AI 加速科学发现这样的研究反馈周期会长很多,而且现在看起来还比较遥远。
但只要这个方向取得突破,产生的价值可能远远超过一个软件产品。
大家想想,如果 AI 可以把未来 25 年的科学进展压缩到 5 年,那么到了 2030 年,人类就可能提前拥有原本要到 2050 年才能获得的科学和技术。
这当然是一个非常乐观的判断。但哪怕只在一些领域取得突破,也可能影响几亿人的生活。
往大了说,它可以加快整个人类文明向前推进的速度。
这不就是 AGI 的价值吗?
可能很多人熟悉字节跳动,但不一定熟悉字节的 Seed 团队。这个团队一直在做深入的前沿研究,而且人才密度很高。前段时间,记得晚点一篇文章提到姚顺雨的观点说:
大模型训练没有银弹。
真正决定模型能力的,还是把数据质量做好,把基础架构做扎实。
OpenAI 和 Anthropic 过去很多年的积累,本质上也是这些看起来没那么性感的基本功。
其实,字节 Seed 很早就在这么做了。不信大家可以查查,Anthropic 从来没有指责过字节蒸馏他们的模型。
因为 Seed 很早就定了一条价值观,不依赖外部闭源模型蒸馏来获取核心能力。还有他们在基础架构、数据上的投入也比较大。
包括 Seedance 2.0 为什么能够一下子炸了,业内一个比较普遍的判断是,字节在数据上做了大量基础工作。
毕竟发展到今天,各家在模型路线上的差距已经没有那么大了。真正拉开差距的,往往是一些脏话累活,以及整个研究团队的文化。
另外,Seed 内部还有一支团队,叫 Seed Edge。
这个团队专门研究一些确定性没有那么高,甚至几年都未必能看到结果的课题。
这次的 STEM 科学家计划,就是由他们发起的。
前段时间我写过的 EdgeBench,也是 Seed Edge 的成果。
他们发现模型从环境中学习,似乎也和预训练一样,存在自己的 Scaling Law。
投入的交互时间越多,模型能力的提升也会遵循一条相对稳定的规律。
我曾经看到过一个观点:培养熵,才是研究实验室长期繁荣的唯一方式。
这里的熵,可以理解成一个研究组织内部保留了多少不确定性、差异和可能性。
因为研究和做产品不太一样。做产品时,目标通常比较明确,组织需要尽快形成共识,把所有人的力量集中到同一个方向上。
但研究面对的往往是未知问题。既然答案还不存在,也就很难提前判断哪条路线是对的。
在这种情况下,如果一个实验室过早形成统一判断,所有人都去研究眼下最热门、最容易出成果的方向,短期效率可能很高,长期却容易陷入同一个局部最优。
大家使用相似的方法,追逐相似的指标,最后得到的也很可能是相似的结果。
真正有创造力的研究组织,需要保留一些暂时无法被证明的想法。
有的人沿着主流路线继续推进,把已有方法做到更好。也有人去研究冷门问题,做一些人可能几年都拿不出明确成果。这就是培养熵。
这些熵当然会带来噪声,带来争论,甚至带来失败。但新的突破往往就是在这种状态里酝酿出来的。
回头看那些长期保持创造力的研究实验室,其实都有类似的特点。
说实话,字节做这件事,我也挺意外。因为过去类似的构想,基本上都是硅谷公司在做。
中国互联网公司过去给人的印象,一直是产品能力和商业化能力特别强。
它们很擅长把一项技术迅速做成产品,再推到足够大的用户规模。
字节 Seed 愿意在这个阶段认真投入这件事,挺让人振奋的。
因为模型能力提升越来越快,很多短期指标都会迅速被后来者追平。这样的前沿性的探索,会真正决定模型的上限。
by @小盖fun #科技圈大小事
如果五年后再回头看字节的 AI 历程,我想,他们今天推出的科学家计划肯定会成为其中一个重要节点。
事情是这样。今天上午,字节 Seed Edge 启动了一个科学家计划,准备邀请 100 位前沿科学领域的学者和博士生,与 Seed 团队一起研究真实的科学问题。
科学家可以把自己领域里真正困难的问题带进来,Seed 提供模型、算力和 AI 研究团队,双方一起探索,大模型究竟能不能参与那些没有标准答案、需要长期推理和反复验证的研究。
看到这个计划,我首先想到的是 OpenAI。
去年,OpenAI 曾经专门推动过 OpenAI for Science,希望让 AI 更深入地参与科学研究。
但到了今年,在激烈的模型竞争下,OpenAI 调整了这方面的组织和投入,原来的独立 Science 团队也被解散了。
Anthropic 也有在做类似的事情。今天还看到他们的研究员在播客里讨论怎么利用 AI 把 10 到 15 年的药物周期研发压到 5 年以内。
看来现在,字节要开始认真做类似的事情了。这是国内第一个大规模投入 AI 加速科学发现的研究计划。
我简单解释两句。
从商业化的角度来看,这事肯定没有 Coding 那么直观。毕竟现在 Coding 只要效果好,很快就能转化为收入。
AI 加速科学发现这样的研究反馈周期会长很多,而且现在看起来还比较遥远。
但只要这个方向取得突破,产生的价值可能远远超过一个软件产品。
大家想想,如果 AI 可以把未来 25 年的科学进展压缩到 5 年,那么到了 2030 年,人类就可能提前拥有原本要到 2050 年才能获得的科学和技术。
这当然是一个非常乐观的判断。但哪怕只在一些领域取得突破,也可能影响几亿人的生活。
往大了说,它可以加快整个人类文明向前推进的速度。
这不就是 AGI 的价值吗?
可能很多人熟悉字节跳动,但不一定熟悉字节的 Seed 团队。这个团队一直在做深入的前沿研究,而且人才密度很高。前段时间,记得晚点一篇文章提到姚顺雨的观点说:
大模型训练没有银弹。
真正决定模型能力的,还是把数据质量做好,把基础架构做扎实。
OpenAI 和 Anthropic 过去很多年的积累,本质上也是这些看起来没那么性感的基本功。
其实,字节 Seed 很早就在这么做了。不信大家可以查查,Anthropic 从来没有指责过字节蒸馏他们的模型。
因为 Seed 很早就定了一条价值观,不依赖外部闭源模型蒸馏来获取核心能力。还有他们在基础架构、数据上的投入也比较大。
包括 Seedance 2.0 为什么能够一下子炸了,业内一个比较普遍的判断是,字节在数据上做了大量基础工作。
毕竟发展到今天,各家在模型路线上的差距已经没有那么大了。真正拉开差距的,往往是一些脏话累活,以及整个研究团队的文化。
另外,Seed 内部还有一支团队,叫 Seed Edge。
这个团队专门研究一些确定性没有那么高,甚至几年都未必能看到结果的课题。
这次的 STEM 科学家计划,就是由他们发起的。
前段时间我写过的 EdgeBench,也是 Seed Edge 的成果。
他们发现模型从环境中学习,似乎也和预训练一样,存在自己的 Scaling Law。
投入的交互时间越多,模型能力的提升也会遵循一条相对稳定的规律。
我曾经看到过一个观点:培养熵,才是研究实验室长期繁荣的唯一方式。
这里的熵,可以理解成一个研究组织内部保留了多少不确定性、差异和可能性。
因为研究和做产品不太一样。做产品时,目标通常比较明确,组织需要尽快形成共识,把所有人的力量集中到同一个方向上。
但研究面对的往往是未知问题。既然答案还不存在,也就很难提前判断哪条路线是对的。
在这种情况下,如果一个实验室过早形成统一判断,所有人都去研究眼下最热门、最容易出成果的方向,短期效率可能很高,长期却容易陷入同一个局部最优。
大家使用相似的方法,追逐相似的指标,最后得到的也很可能是相似的结果。
真正有创造力的研究组织,需要保留一些暂时无法被证明的想法。
有的人沿着主流路线继续推进,把已有方法做到更好。也有人去研究冷门问题,做一些人可能几年都拿不出明确成果。这就是培养熵。
这些熵当然会带来噪声,带来争论,甚至带来失败。但新的突破往往就是在这种状态里酝酿出来的。
回头看那些长期保持创造力的研究实验室,其实都有类似的特点。
说实话,字节做这件事,我也挺意外。因为过去类似的构想,基本上都是硅谷公司在做。
中国互联网公司过去给人的印象,一直是产品能力和商业化能力特别强。
它们很擅长把一项技术迅速做成产品,再推到足够大的用户规模。
字节 Seed 愿意在这个阶段认真投入这件事,挺让人振奋的。
因为模型能力提升越来越快,很多短期指标都会迅速被后来者追平。这样的前沿性的探索,会真正决定模型的上限。
by @小盖fun #科技圈大小事