全网都在找这位大格局的沪牌车主
NVIDIA要重塑AI:单用户速度可达2万Token每秒、能耗降1000倍_城市资讯网

度访谈,其中Dally就谈到了NVIDIA在做的一些研究进展。
AI推理对延迟的要求很高,Dally指出目前的瓶颈已经不是算力本身,瓶颈在通信开销上,NVIDIA正在研究片上通信的静态调度,将会彻底取消路由开销、排队和仲裁,通信速度接近光速本身。
目前的技术方案中,芯片从一角到另一角的延迟有几百纳秒之多
当前文章:http://o7v.yt-mqs-quickq.com.cn/thm5x/dlg66.html
发布时间:06:44:27