AMD发布了自己的首个小语言模型(SLM),名为“AMD-135M”。
相比于越来越庞大的大语言模型(LLM),它体积小巧,更加灵活,更有针对性,非常适合私密性、专业性很强的企业部署。
AMD-135小模型隶属于Llama家族,有两个版本:
一是基础型“AMD-Llama-135M”,拥有多达6700亿个token,在八块Instinct MIM250 64GB加速器上训练了六天。
二是延伸型“AMD-Llama-135M-code”,额外增加了专门针对编程的200亿个token,同样硬件训练了四天。
它使用了一种名为“推测解码”(speculative decoding)的方法,通过较小的草稿模型,在单次前向传播中生成多个候选token,然后发送给更大的、更精确的目标模型,进行验证或纠正。
这种方法可以同时生成多个token,不会影响性能,还可以降低内存占用,但因为数据交易更多,功耗也会增加。
AMD还使用AMD-Llama-135M-code作为CodeLlama-7b的草案模型,测试了推测解码使用与否的性能。
比如在MI250加速器上,性能可提升最多约2.8倍,锐龙AI CPU上可提升最多约3.88倍,锐龙AI NPU上可提升最多约2.98倍。
AMD-135M小模型的训练代码、数据集等资源都已经开源,遵循Apache 2.0。
按照AMD的说法,它的性能与其他开源小模型基本相当或略有领先,比如Hellaswag、SciQ、ARC-Easy等任务超过Llama-68M、LLama-160M,Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任务则基本类似GTP2-124MN、OPT-125M。
华为pockets怎么关闭游戏助手 华为手机游戏助手怎么关闭
华为虽不是专业的游戏时间,但也有游戏助手。那华为pockets怎么关闭游戏助手?一起来看看吧~(249)人阅读时间:2025-02-25华为pockets怎么调节音量 华为怎么设置口袋音量
手机音量不合适可以手动调节。那华为pockets怎么调节音量呢?一起来看看吧~(191)人阅读时间:2025-02-25苹果14promax怎么设置背景音乐 苹果11promax怎么设置来电音乐
开启背景音可以消除环境杂音,那苹果14promax怎么设置背景音乐的呢,让我们一起来看看吧~(190)人阅读时间:2025-02-25苹果14promax怎么关闭单手操作模式 ios14怎么关闭单击亮屏
当一只手没空时,可以开启手机的单手模式,那苹果14promax怎么关闭单手操作模式的呢,让我们一起来看看吧~(197)人阅读时间:2025-02-25华为pockets怎么关闭游戏助手 华为手机游戏助手怎么关闭
华为pockets怎么调节音量 华为怎么设置口袋音量
苹果14promax怎么设置背景音乐 苹果11promax怎么设置来电音乐
苹果14promax怎么关闭单手操作模式 ios14怎么关闭单击亮屏