AMD 收购 Taalas,其芯片跑 Llama 8B 达 15k tokens/秒
AMD 宣布收购 AI 推理芯片公司 Taalas,后者硬件围绕模型设计,号称全球最快且最具成本效益的推理硅。Taalas 首次流片演示中,以 Llama 8B 模型实现每秒 15k tokens 的处理速度,且该能力可扩展蚀刻至硅片上。Emad Mostaque 认为随着模型趋于满足需求,蚀刻方案(尤其三元模型)意义凸显,并看好 AMD。
ai
AMD 宣布收购 AI 推理芯片公司 Taalas,后者硬件围绕模型设计,号称全球最快且最具成本效益的推理硅。Taalas 首次流片演示中,以 Llama 8B 模型实现每秒 15k tokens 的处理速度,且该能力可扩展蚀刻至硅片上。Emad Mostaque 认为随着模型趋于满足需求,蚀刻方案(尤其三元模型)意义凸显,并看好 AMD。