Až o desiatky percent viac
V posledných týždňoch sa technologickou komunitou šíri kontroverzia okolo spoločnosti Intel a jej novej technológie s názvom Binary Optimization Tool (BOT). Táto funkcia, predstavená spolu s procesormi Core Ultra 200S Plus, mala pôvodne zlepšiť výkon aplikácií bez potreby zásahu vývojárov. Namiesto jednoznačného pokroku však vyvolala otázky o férovosti benchmarkov, najmä v populárnom teste Geekbench.
Základný princíp BOT spočíva v tom, že zasahuje priamo do spustiteľných súborov (bináriek) a mení ich inštrukcie ešte pred samotným vykonaním. Inými slovami, nejde o klasickú optimalizáciu, ale o dodatočný zásah takpovediac za behu. Podľa analýz dokáže BOT výrazne meniť spôsob, akým procesor vykonáva výpočty. Napríklad prevádza skalárne inštrukcie na vektorové. Podľa samotného Geekbench to v konkrétnych testoch viedlo k zníženiu celkového počtu inštrukcií o približne 14 %, poklesu skalárnych operácií o 62 % a zároveň k nárastu vektorových inštrukcií až o 1366 %.
Tieto zásahy sa výrazne prejavili aj na výsledkoch benchmarkov. V Geekbench 6.3 stúpol celkový výkon približne o 5,5 %, pričom niektoré čiastkové testy, ako napríklad HDR spracovanie obrazu, zaznamenali nárast až o 30 %. V extrémnych prípadoch Geekbench hovorí, že jednotlivé workloady môžu byť zrýchlené dokonca až o 40 %.
Ďalším zaujímavým aspektom je časová réžia. Pri zapnutom BOT trvá prvé spustenie benchmarku približne o 40 sekúnd dlhšie. Z toho jasne vidno, že nástroj analyzuje a upravuje kód ešte pred samotným meraním. Nejde teda o prirodzený výkon procesora, ale o dodatočne upravený scenár.
Zvyšovanie skóre bez reálneho výkonu
Problém však nespočíva len v samotnom náraste výkonu, ale najmä v tom, ako k nemu dochádza. BOT totiž funguje len pre vybrané aplikácie, medzi nimi aj Geekbench. Využíva pritom kontrolné mechanizmy, aby zistil, či ide o podporovaný program. Následne aplikuje špecifické optimalizácie práve pre tento test. Výsledky tak nemusia odrážať reálny výkon v bežných aplikáciách.
Vývojári Geekbenchu zo spoločnosti Primate Labs preto reagovali pomerne ostro. Označili tieto výsledky za „nereprezentatívne“ a upozornili, že BOT vytvára skreslený obraz výkonu procesorov, najmä v porovnaní s konkurenciou, ako je AMD. ,,Tento výsledok benchmarku môže byť neplatný z dôvodu nástrojov na modifikáciu binárnych kódov, ktoré je možné spustiť v tomto systéme,“ uvádza Geekbench.
Aj keď Intel tvrdí, že ide o technologický pokrok, kritici upozorňujú, že vedomé zlepšovanie výkonu v konkrétnych testoch môže zavádzať používateľov. V konečnom dôsledku tak nejde len o čísla, ale o dôveryhodnosť benchmarkov ako takých. Tá tak môže byť týmto prístupom vážne narušená.
