Standardi i ri i AI teston shpejtësinë e përgjigjeve ndaj pyetjeve të përdoruesve
Grupi i krahasimit të inteligjencës artificiale MLCommons publikoi një grup të ri testesh dhe rezultatesh që vlerësojnë shpejtësinë me të cilën hardueri më i lartë mund të ekzekutojë aplikacionet e AI dhe t’u përgjigjet përdoruesve.
Dy standardet e reja të shtuara nga MLCommons matin shpejtësinë me të cilën çipat dhe sistemet e AI mund të gjenerojnë përgjigje nga modelet e fuqishme të AI të mbushura me të dhëna. Rezultatet tregojnë përafërsisht se sa shpejt një aplikacion i AI si ChatGPT mund të japë një përgjigje ndaj një pyetjeje të përdoruesit.
Një nga standardet e reja shtoi aftësinë për të matur shpejtësinë e një skenari pyetje-përgjigje për modelet e mëdha gjuhësore. I quajtur Llama 2, ai përfshin 70 miliardë parametra dhe është zhvilluar nga Meta Platforms.
Zyrtarët e MLCommons shtuan gjithashtu një gjenerues të dytë tekst-në-imazh në grupin e mjeteve të krahasimit, të quajtur MLPerf, bazuar në modelin Stable Diffusion XL të Stability AI.
Serverët e mundësuar nga çipat H100 të Nvidia-s të ndërtuar nga Google, Supermicro dhe vetë Nvidia e Alphabet, fituan me lehtësi të dy standardet e reja për performancën e papërpunuar. Disa ndërtues serverësh paraqitën dizajne të bazuara në çipin më pak të fuqishëm L40S të kompanisë.
Ndërtuesi i serverëve Krai paraqiti një dizajn për standardin e gjenerimit të imazhit me një çip Qualcomm AI që tërheq shumë më pak energji sesa procesorët më të avancuar të Nvidia.
Linku: https://www.usnews.com/news/top-news/articles/2024-03-27/new-ai-benchmark-tests-speed-of-responses-to-user-queries
Burimi i fotos: pexele.com