生成式AI要能真正应用于实际场景中，除了要有强大的算力，也要有足够的硬体支援训练模型和推论。其中训练模型需仰赖大型的硬体算力来进行复杂的运算，而衡量硬体优势的关键就在于「TOPS」（每秒兆次运算）和「TFLOPS」（每秒兆次浮点运算），到底什么是TOPS？ TFLOPS又是什么？
TOPS与TFLOPS
TOPS是什么？
TOPS是Trillions of Operations Per Second的缩写，中文为「每秒兆次运算」，是一种用来衡量AI硬体运算能力的单位，1 TOPS代表处理器每秒可进行1兆次运作。
英伟达（NVIDIA）、超微（AMD）、高通（Qualcomm）、英特尔（Intel）、苹果（Apple）等主流厂都把提高TOPS作为AI PC的效能指标，用以显著提升应用的性能与用户体验。
超微执行长苏姿丰在2024国际电脑展上端出第3代Ryzen AI处理器，其NPU（神经网路晶片）浮点（TOPS）可进行高达50兆次，号称领先高通、苹果、英特尔等竞争对手；微软近期发布的Copilot+PC系列，最低规格就须达40TOPS的算力，意味着想加入AI PC战局，提高NPU的TOPS是必然的趋势。
TOPS的概念并非由某个特定机构制定，而是电脑和半导体行业自发形成而逐渐普及的指标之一。
可以想像你在一场数学考试中，TOPS就像是每秒能够解决多少道数学题目，如果TOPS数值越大，表示运算能力越强、处理速度也越快，也代表你能够在每秒钟解决很多题目。
换句话说，在AI应用上，高TOPS的硬体可以更快速地处理数据、执行复杂的任务。
TOPS常见于广泛的AI应用当中，包括自动驾驶、边缘计算、VR/AR、云端计算、AI加速器等，特别是NPU、深度学习方面，TOPS能够衡量AI模型在推理图像识别、语音辨识、文字生成和处理时，每秒处理的运作数量与性能，直接决定AI模型的推理速度与效率。
TFLOPS是什么？
另一个指标TFLOPS（Tera Floating-point Operations Per Second），中文为「每秒兆次浮点运算」，指每秒进行1兆次的浮点运算。
TFLOPS为主要衡量CPU和GPU的单位，能够处理带有小数的数值计算， 通常应用在更大量、更高精准度的科学研究等 。
TOPS会是唯一指标吗？
TOPS在各种高运算应用中的重要角色，但并不是唯一能够衡量AI硬体性能的依据，一台电脑还会受到功耗、延迟、整体处理吞吐量，以及记忆体频宽等多方影响，因此衡量整体性能时，需要结合TOPS以及其他指标综合评估。除了追求更高TOPS数值，算力与功耗、能耗的平衡也是未来硬体制造的的关注重点。
暂无评论内容