分解圣遗物
7495 2025-08-07
来源:雪球App,作者: 棒槌AI工程狮,(https://xueqiu.com/9746967328/324105011)
随着DeepSeek的爆火,它的蒸馏模型也随之引起关注,跟它们一起火的还有一个老新概念AI推理一体机这,我也来蹭一蹭热点,跟大家分享一下我理解的“一体机”。
1、一体机是什么?
一体机:顾名思义就是一台机器,一台可以和电脑、手机一样,企业/个人买回来可以直接开箱即用,帮助企业和个人进行AI应用需求的一台设备(埋下一个坑:开箱即用)
2、为什么以前的一体机不行,现在又看起来行了?
(1)老定位:早起一体机的提出是为了满足大模型厂的模型需求,类似传统的手机和运营商的“买话费送手机”,买的不是一体机,买的是大模型厂的未来服务
(2)老商业模式:接着(1)来讲,大模型厂在模型闭源的年代,私域部署的商业闭环模型就是卖服务→赚钱了进行模型更新→产型粘性→再卖服务,商业闭环。但是弊端就是一个字“贵”,而且不透明,性能不透明,价格不透明,不怕你坑我,就怕你骗我。现在模型开源了,变天了
(3)【变数】开源+好用的模型出现了:随着deepseek的开源和还不错的性能,外加熟练使用蒸馏这个技术,使得很多小参数大模型的性能有了质的提升,不仅性能提升,还开源了,可获得性也大大提升,直接转变了当前的商业模式
(4)新定位:与工业级/消费级产品一样,变成了一个独立的个体,有了自己的灵魂,当家作主站起来了
(5)新商业模式:类似电脑组装、出售逻辑。硬件厂卖硬件→DIY一个一体机→装一套大家都能用的软件→基于底层的好用软件→做起来生态→硬件厂赚钱了继续投入研发卷性能,软件厂赚钱了继续卷软件易用性→做出更好的软硬件产品→继续卖
(6)【?】新的问题:看似美好的商业逻辑,貌似漏了一个核心的东西,类似deepseek这种模型厂怎么赚钱?对吧,相信聪明得你一定会提出这个问题。模型厂会跟当年的windows一样,to c的坚决不会收每年的服务费,但是有可能一次性买断,比如下载基础版不收费,高性能版一次性199?,主要是to b,当这些生态粘性真正粘在了b端后,想在改革是很困难的,这些b端的企业在不影响业务的情况下,就会乖乖的每年给服务费啦,这比费用可是非常可观的/每年。不理解的可以网上找找华为的ERP切换的故事
3、一体机趋势是什么?
一体机从商品属性看:从工业级产品 to消费级产品;硬件上会逐步小型化,高度集成;
从性能上会越来越强;从软件生态上会越来越兼容;
从流转趋势看:会从B端 to C端;从成本看:会越来越便宜;
从易用性上看:越来越傻瓜式好用
4、趋势为什么会这么判断?
举几个例子:(1)电脑从过去的占地xx平方米,用来军事解密码→现在人手一台,家里好几台,还有平板的、折叠的、笔记本的等等
(2)手机从过去的又贵又大又沉的大哥大,只能打个电话→现在手持、还能折叠的人手好几台,啥都能干,以前电脑的软件现在手机上也能使用
(3)汽车从过去的手动挡→自动挡→现在的新能源没有挡,使用越来越方便
结论:汽车、电脑和手机有一个共同点就是在它们各自的年代承担着那个年代科技革命的载体。汽车是内燃机、电脑是晶体管的进步、手机是移动互联网的告诉发展,那么在人工智能时代的发展和到来,一体机或许就是这个年代的答案。
5、一体机架构是什么?
一体机架构与传统AI服务器架构本质上相同
硬件架构:CPU(X86/ARM)+GPU/NPU+HBM,+内存+硬盘+主板+电源+风扇+网口
软件架构:OS+底层软件CUDA/CANN+ 框架pytorch/MindSpore+推理引擎vLLM /Trition/MindIE+Service+容器+应用开发平台+应用+UI
6、一体机能做什么?价值是什么?(场景)
首先聊能做什么之前,要看一体机具有什么:
小型化部署,不占用太大空间;——好理解,这里省略
高性能算力,支持简单/复杂的LLM/多模态AI应用;——首先这里要明确,芯片的性能还会不断演进和变强,支持更快更高更强的AI应用,和游戏是一个逻辑,以前的nba只有几百MB,现在要几百GB,
数据本地化存储和断开互联网使用,绝对的隐私性;——这里主要区别云上的,有些数据毕竟比较私密,还有见不得光的数据,所以是吧,懂得都懂
开箱即用性,即和电脑一样,组装好,装个类似windows的系统和AI的相关应用,买回来插上电,直接就能用(填坑了);——传统linux和命令行,大多数人在windows和ios的调教下,肯定是不会用的,不会用就本能不想用,毕竟学习成本是非常高的,所以做一个亲和性的系统就是一体机能否大卖的关键竞争力
灵活的可编译和可调性(对于开发者和高级玩家,非专业人士基本用不到);——这个也好理解,类似现在的电脑高玩,超超频,刷刷性能等,类比AI就是自己写写更牛的算子,更好超频一体机