DeepSeek的蒸馏技术到底是啥?
投资入门 2025-08-13 13:344132
很多人不太理解DS(DeepSeek)用的那个蒸馏技术到底是啥,我这里打个比方。
上课的时候老师讲了一道爆难的题目,全班除了某学神以外,其他人因为脑子的软硬件配置不足,都没搞懂。
回去后学神又琢磨了这个问题,在老师思路的基础上,简化了若干个参数和步骤,使其对大脑软硬件配置的要求下降,成功教会了全班大部分人。
学神做的这件事,就叫做蒸馏。
蒸馏并不一定是成功的,因为简化会损失部分信息,如果损失的是关键信息那整个系统就崩塌了。实际上全球几乎所有大模型都试图在做蒸馏,但效果都不太好,而DS可能是第一个效果良好接近原版的。
所以蒸馏的关键是哪些可以简化、哪些需要保留,DS是开源软件,并且发表了好几篇相关论文进行说明,所以目前全世界都在复制其算法,并且已经有好几家获得了成功。
这里顺便说一嘴,在全世界各个专业中,计算机相关的高档次研究成果几乎没有造假或者抄袭。注意这里说的是高档次,一般性的没人关注的不在此列。
原因很简单,因为期刊或者会议都会要求你提供源代码,如果是重大成果,全世界都会来试图复现。
同样一份源代码,或者同样一个算法,跑在世界上任何一台电脑上,结果都会是一样的。一个人跑出来和你不一样,可能是他有问题;大家都不一样,一定是你有问题。
而其它学科的成果往往是很难复现的,比方说生物、化学、社会等等,统计中中每一份样本都是独一无二的,谁都说不清到底是里面的什么成分影响了最终结果。所以即便全世界都没法复现你的结果,也不能说你就一定有问题。
所以我们可以理性讨论DS的创新到底有多大,但在有没有原创、有没有创新这件事上没啥好争的。
那肯定是有的啊。
来源:刘备教授
相关阅读
- 为什么大家要做热点?
- 七部门:研发用于植入脑机接口的高精度手术机器人
- DeepSeek的蒸馏技术到底是啥?
- 股票被套怎么办?一文讲透简单易学解套方法,不再卖在地板价上
- 判断牛熊市的最有效黄金标准与应对策略
- 半路首板的操作模式
- 垃圾股涨停潮背后,藏着散户不知道的收割套路!
- 超短选手都开始研究趋势了,下半年短线选手生存指南!
- 一个投资小知识——套牢盘
- 2025年化工板块:周期复苏与高端突围共振,结构性机遇凸显
- 股市里的等级分层
- 通过“A字”回调战法,选择强势黑马涨停股,成功率极高
- 芯上微装第500台步进光刻机成功交付
- 像“麻雀”一样炒股,才是大道至简
- 抛砖引玉:如何选股,这些细节必须注重!
- 散户亏损的原因:看到涨停打开了就想追,大错特错!
- 什么性格的炒股容易成功?此文很深,值得迷茫散户思考
- 干货一文详解洗盘和变盘区别,掌握这4点,搞懂再也不会被套了
- 集合竞价之预期管理篇
- 面对亏损理念干货,亏出来的经验,说不定有点用