AI芯片初创公司Lemurian Labs发明了一种专为AI加速设计的新型对数数字格式，并正在构建一种芯片，利用它为数据中心AI工作负载服务。 Lemurian的CEO Jay Dawani说：“2018年，我正在为机器人训练模型，部分是卷积，部分是Transformer，部分是强化学习。在1万个Nvidia V100 GPU上训练这个模型需要6个月时间……模型呈指数级增长，但很少有人有足够的算力来尝试训练，很多想法就这样被放弃了。我试图为那些有伟大想法但却苦于没有算力的普通的ML工程师构建模型。”
对Lemurian首款芯片的模拟显示，根据H100最新的MLPerf推理基准测试结果，Lemurian的新数字系统与专门设计的芯片相结合，其性能将优于Nvidia的H100。在离线模式下，Lemurian芯片在MLPerf版本的GPT-J中每个芯片每秒可处理17.54次推理（Nvidia H100在离线模式下每秒可处理13.07次推理）。Dawani说，Lemurian的模拟结果可能在真实芯片性能的10%以内，但他的团队打算今后从软件中榨取更多性能。他说，软件优化加上稀疏性可以将性能再提高3-5倍。
QQ在线客服