Max Throughput [TpS - higher is better]
Model#HPUPrecisionInput LengthOutput LengthBatch SizeThroughput
LLaMA 2 70b2fp812812817502935
LLaMA 2 70b2fp812820482563963
LLaMA 2 70b2fp8204812895318
LLaMA 2 70b2fp8204820481591767
LLaMA 3.1 8B1fp8128128281619907
LLaMA 3.1 8B1fp8128204851214866
LLaMA 3.1 8B1fp820481281792099
LLaMA 3.1 8B1fp8204820482566060
LLaMA 3.1 70B2fp812812817923421
LLaMA 3.1 70B2fp812820482563827
LLaMA 3.1 70B2fp82048128142462
LLaMA 3.1 70B2fp8204820481391665
LLaMA 3.1 70B8fp8128128400010044
LLaMA 3.1 70B8fp8128204876813639
LLaMA 3.1 70B8fp820481283831553
LLaMA 3.1 70B8fp8204820484766715