Aus dem Labor: Warum ein Benchmark nicht der Weisheit letzter Schluss ist
31.1.2018
Benchmarks sollen dazu da sein, einen standardisierten Vergleich für Smartphones und andere Technologie zu liefern. Doch die automatisierten Tests vergessen eines: Den Menschen. Blicken wir hinter die Kulissen unserer Testmethodik.
Benchmarks versprechen viel. Vor allem seien sie eine verlässliche, objektive und neutrale Indikation für die Performance eines Smartphones. Daraus schliessen einige, dass sie besser als jeder Test sind. Dem ist nicht so, sage ich als professioneller Phone-Tester.
Es kommt nicht oft vor, dass ich zwei Phones des selben Typs auf meinem Pult habe. Mit dem LG V30 aber habe ich Glück. Nicht nur habe ich ein LG V30+, ein Korea-Import, sondern auch eine EU-Version des LG V30 bei mir.
Die zwei Geräte unterscheiden sich nur in zwei Dingen:
- Das LG V30+ hat 128 GB interner Speicher, das LG V30 nur 64
- Das LG V30+ hat einen Hybrid Dual SIM Slot, das LG V30 nicht
Der Rest der Specs ist identisch. Wenn ich jetzt eine Benchmark App drüberlaufen lasse, dann sollten die Werte identisch sein.
Der Test beginnt: Die Methodologie für die Benchmarks
Für meinen Benchmark-Test verwende ich folgende Geräte.
Das Resultat: V30+ gewinnt
Ich habe also zehn Runden Antutu Benchmarks durchlaufen lassen. Die Mobile Geeks sind sich nicht einig. Jeder weiss, wie ein Benchmark besser und daher aussagekräftiger ausfällt. Nach einem Benchmark soll das Phone eine halbe Stunde in den Kühlschrank gelegt werden, da dann das Phone wieder abkühlen könne. In den Flugmodus soll das Phone gesetzt werden, damit der Datentransfer keine Funktionen beeinträchtige.
Das LG V30 und das LG V30+ sind beinahe identischEin Benchmark, das von so vielen Umweltfaktoren beeinflusst werden kann und inkonsistente Daten liefert, kann grundsätzlich angezweifelt werden. Ich entschliesse mich, den Test so zu machen: Ich nehme die beiden Phones, lasse zehn mal den Benchmark-Test hintereinander laufen. Ohne Pause, ohne Kühlschrank, ohne auf die richtige Mondphase zu warten.
Eine kleine Auswertung:
- Das LG V30 hat durchschnittlich 158 252.60 Punkte erzielt
- Das LG V30+ hat durchschnittlich 161 325.40 Punkte erzielt
- Das LG V30 hat den höchsten Einzelwert von 173 738.00 Punkten erzielt
- Das LG V30 hat den niedrigsten Einzelwert von 142 798.00 Punkten erzielt
Was ein Benchmark sagen kann
Ein Benchmark hat aber doch Aussagekraft. Wenn ich zwei komplett verschiedene Phones, ein altes HTC M7 aus dem Jahr 2013 und ein nagelneues Razer Phone vergleiche, dann kommt folgendes heraus.
Überraschenderweise siegt das Razer Phone (2018) gegen das HTC M7 (2013)Eine kleine Auswertung
- Das Razer Phone hat durchschnittlich 176 931.50 Punkte erzielt
- Das HTC One M7 hat durchschnittlich 40 511.50 Punkte erzielt
- Das Razer Phone hat den höchsten Einzelwert von 181 227 Punkten erzielt
- Das HTC One M7 hat den niedrigsten Einzelwert von 39 611 Punkten erzielt
Und was sagt das jetzt aus? Das neue Phone ist besser als das alte Phone. Wer hätte das gedacht? Die Differenz von 77.10 Prozent ist komplett bedeutungslos. Gut, anderer Test. Razer Phone versus Samsung Galaxy Note 8.
Bei mehr oder weniger ebenbürtigen Phones braucht es auch keinen Benchmark TestDas Note 8 hat das Nachsehen. Auch nicht überraschend, denn wer die Specs liest, der weiss, dass das so kommen muss. Der Benchmark Test verkommt bestenfalls zur Spielerei, der deine Thesen bestätigt, schlimmstenfalls zur reinen Zeitverschwendung.
Was dir Benchmarks nicht sagen
Um diese Faktoren zu entdecken, um sie einzuschätzen, zu qualifizieren und zu quantifizieren braucht es das Auge und die Hände eines Menschen. Denn am Ende des Tages, nachdem alle automatischen Benchmarks durchgelaufen sind, bist du es – ein Mensch aus Fleisch und Blut –, der das Phone in den Händen hält, damit telefoniert, Bilder schiesst und deinen Liebsten WhatsApp-Messages schickst. Da kann ein arbiträrer Wert noch so hoch sein.
So. Fertig. Ich teste weiter. Einfach meist ohne Benchmarks.
Journalist. Autor. Hacker. Ich bin Geschichtenerzähler und suche Grenzen, Geheimnisse und Tabus. Ich dokumentiere die Welt, schwarz auf weiss. Nicht, weil ich kann, sondern weil ich nicht anders kann.
Smartphone
Folge Themen und erhalte Updates zu deinen Interessen
Hintergrund
Interessantes aus der Welt der Produkte, Blicke hinter die Kulissen von Herstellern und Portraits von interessanten Menschen.
Alle anzeigen
