HTC erklärt "Benchmark-Cheat" des neuen One (M8) | TechStage
TechStage
Logo Qwant

Ein Angebot von

HTC erklärt "Benchmark-Cheat" des neuen One (M8)

von  //  Twitter

Bei Samsung-Smartphones gab es bereits mehrfach Querelen wegen gefälschter Benchmark-Ergebnisse – einem Bericht von AnandTech zufolge übertaktet beispielsweise das Galaxy S4 die GPU, sobald die Software einen Benchmark erkennt. Jetzt stellt sich heraus, dass auch HTCs neues Flaggschiff One (M8) bei den Geschwindigkeitstests schummelt. Der Futuremark hat das One deswegen sogar aus der Bewertung geschmissen. Wir haben mit HTC gesprochen und gefragt: Was ist da los?

HTC-Produktmanager Fabian Nappenbach hat sich bereiterklärt, uns in einem Video vor laufender Kamera Rede und Antwort zu stehen – vielen Dank dafür.

Um den angeblichen Beschiss zu erklären, wollen wir uns zunächst ansehen, wie ein Benchmark denn überhaupt funktioniert. Typischerweise simuliert eine Software wie AnTuTu kurzzeitig eine Vielzahl verschiedener Szenarien, die die Hardware des Smartphones auf unterschiedliche Arten und Weisen belasten – etwa durch harte Rechenaufgaben für die CPU-Kerne oder das Rendern von 3D-Modellen für die GPU. Anhand dieser Tests ermittelt der Benchmark dann eine wie auch immer gewichtete Punktezahl, die einen möglichst praxisrelevanten Rückschluss auf die Leistung im alltäglichen Einsatz geben soll und eine Vergleichbarkeit zu anderen Geräten herstellt, die sich den gleichen Aufgaben stellen müssen.

Nun ist die große Herausforderung eines Smartphone-Herstellers seit etwa ein bis zwei Jahren nicht mehr die reine Leistung des Geräts. Vor allem die Oberklasse unter den Mobiltelefonen hat so viel CPU- und GPU-Power, dass es abseits von Benchmarks quasi keine Apps gibt, die diese wirklich einfordert. Surfen im Web? Beschäftigt nur einen Kern. Musik abspielen? Gähn. E-Mails tippen, Fotos schießen? Juckt den Prozessor nicht die Bohne. Lediglich 3D-Games sorgen zumindest vorübergehend dafür, dass sich die Hardware im Inneren auch mal ein wenig anstrengen muss.

3D-Gamer wissen aber: Kaum läuft das Spiel, tickt die Uhr, bis der Akku leer ist. Aktuell heißt große Herausfoderung für die Hersteller also, den Spagat zwischen Leistung und Akkuschonung zu schaffen. Und genau hier liegt der Hund begraben: Das Power-Management des Smartphones stellt nicht permanent die volle Rechenleistung der CPU zur Verfügung, um Strom zu sparen. Das wiederum bedeutet, dass Benchmarks nicht die maximale Leistung ermitteln, die tatsächlich zur Verfügung steht – sie werden Opfer der Energiesparzwänge und des Wärmemanagements. In Testberichten würde ein HTC One aufgrund dieser Tatsache vielleicht schlechter abschneiden als ein Konkurrenzprodukt mit vergleichbarer Hardware, das nicht so viel Rücksicht auf den Akku nimmt.

Scheinbar gibt es im neuen One einen Mechanismus in der Software, der einen Benchmark erkennt und die Zügel freigibt. Benchmarks dürfen ohne Rücksicht auf Energiesparbelange Vollgas geben – und ermitteln so tatsächlich die Werte, die die Hardware tatsächlich maximal leistet. Andere Apps kommen üblicherweise nicht in den Genuss der vollen Kraft. Es sei denn, man aktiviert den tief in den Entwickler-Einstellungen verborgenen High-Performance-Modus.

Das können wir nachweisen. Der im Google Play Store verfügbare Benchmark Antutu wird offensichtlich von der Software des neuen One erkannt. Wir erzielen immer vergleichbare Ergebnisse, egal, ob der High-Performance-Modus aktiviert ist oder nicht. Interessanterweise gilt das auch für die Variante Antutu X, die die Benchmark-Entwickler auf den Markt gebracht haben, um das Cheaten des Galaxy S4 nachweisen zu können. Der von unseren c't-Kollegen selbst übersetzte und in eine App gegossene CoreMark hingegen ist bei HTC offensichtlich nicht bekannt und wird behandelt wie jede normale App. Das Ergebnis ist ein um 16 Prozent besserer Wert, wenn wir den High-Performance-Modus aktivieren.

In unserem eigenen Benchmark, den die HTC-Software offensichtlich nicht erkennt, bedeutet der High-Performance-Modus eine Leistungssteigerung von circa 16 Prozent.
Beim bekannten AnTuTu-Benchmark ist der Unterschied zwischen High-Performance- und Normalmmodus so gering, dass wir ihn als Messtoleranz abschreiben. Daraus schließen wir: Die Software des One erkennt den Benchmark und lässt ihn von Haus aus mit voller Leistung laufen.

HTC hat uns versichert, dass das One in den Benchmarks keine künstliche Leistungssteigerung erfährt, die dem Nutzer in "gewöhnlichen" Szenarien nicht zur Verfügung steht – wie es beispielsweise beim Übertakten der CPU der Fall wäre. Tatsächlich ist zumindest die Wahrscheinlichkeit gleich null, dass HTC den Snapdragon 801 für Benchmarktests außerhalb seiner Spezifikation laufen lässt – ihn also übertaktet.

Wer immer ein Ladegerät oder einen mobilen Akku griffbereit hat und sich von HTC um ein Quäntchen Extra-Leistung betrogen fühlt: Das Power-Management lässt sich in den Entwickler-Optionen dauerhaft in den "scharfen" Benchmark-Modus schalten. Um die Entwickler-Optionen freizuschalten, muss der Nutzer unter in den Einstellungen unter Info, Software-Informationen und Info fünfmal auf die Build-Nummer tippen. Anschließend taucht in den Einstellungen der neue Punkt Entwickleroptionen mit der Einstellung High Performance Mode auf.

Was meint Ihr: Ist das Vorgehen von HTC hier zu rechtfertigen? Oder sind Benchmarks bei Smartphones sowieso Blödsinn? Zu dem Thema haben wir übrigens mit unserem c't-Kollegen und CPU-Spezialisten Benjamin Benz ein sehenswertes Video gedreht.


Vielen Dank an meine Kollegen Benjamin Benz von c't und Stefan Möllenhoff von TechStage sowie an Fabian Nappenbach von HTC, die mit wertvollen Informationen und Know-How zu diesem Artikel beigetragen haben.

Einloggen, um Kommentare zu schreiben