|
11月28日消息,谷歌在AI大模型訓(xùn)練/推理上,實測NVIDIA的對比顯卡無疑是目前使用最多的,AMD、倍性Intel及谷歌等公司份額沒法比,價比問題來了,優(yōu)勢NVIDIA到底強(qiáng)在哪里?谷歌 這里不用提什么CUDA生態(tài)優(yōu)勢,也不用說AI算子等參數(shù),實測Artificial Analysis直接對比了當(dāng)前的對比三大推理方案的實際表現(xiàn),分別使用谷歌TPU v6e、倍性AMD MI300X 及NVIDIA H100/B200來對比。價比 測試的優(yōu)勢內(nèi)容比較多,不過我們只看一個綜合性的谷歌就夠了,在30Token/s速度下每百萬輸入輸出的實測成本,跑的對比模型是Llama 3.3 70B。 在這方面,H100的成本是1.06美元,H200也只有1.17美元,B200 TensorRT是1.23美元,B200是1.45美元,AMD的MI300X是2.24美元,而谷歌的TPU v6e是5.13美元。 對比下來,N卡相對AMD是至少2倍的性價比優(yōu)勢,對比谷歌則是5倍左右的優(yōu)勢,差距非常明顯。 哪怕是用NVIDIA最新最貴的B200顯卡,成本提升也不算太明顯,畢竟性能是大增的,比AMD及谷歌的依然有很大優(yōu)勢。 現(xiàn)在可以說,AMD及谷歌當(dāng)前的AI卡還是差不少的,但兩家下一代產(chǎn)品提升很猛,AMD的MI400X系列最多432GB HBM4顯存,谷歌的TPU v7據(jù)說也是幾倍的性能提升,屆時可能改寫這個評測結(jié)果。 當(dāng)然,NVIDIA也不會坐以待斃,下一代的Rubin顯卡也發(fā)布了,明年也會陸續(xù)上市,有望進(jìn)一步擴(kuò)大差距。 |