Du bist nicht mit dem Internet verbunden.
Corporate logo
SmartphoneHintergrund 1723

Aus dem Labor: Warum ein Benchmark nicht der Weisheit letzter Schluss ist

Benchmarks sollen dazu da sein, einen standardisierten Vergleich für Smartphones und andere Technologie zu liefern. Doch die automatisierten Tests vergessen eines: Den Menschen. Blicken wir hinter die Kulissen unserer Testmethodik.

Benchmarks versprechen viel. Vor allem seien sie eine verlässliche, objektive und neutrale Indikation für die Performance eines Smartphones. Daraus schliessen einige, dass sie besser als jeder Test sind. Dem ist nicht so, sage ich als professioneller Phone-Tester.

Es kommt nicht oft vor, dass ich zwei Phones des selben Typs auf meinem Pult habe. Mit dem LG V30 aber habe ich Glück. Nicht nur habe ich ein LG V30+, ein Korea-Import, sondern auch eine EU-Version des LG V30 bei mir.

Die zwei Geräte unterscheiden sich nur in zwei Dingen:

  1. Das LG V30+ hat 128 GB interner Speicher, das LG V30 nur 64
  2. Das LG V30+ hat einen Hybrid Dual SIM Slot, das LG V30 nicht

Der Rest der Specs ist identisch. Wenn ich jetzt eine Benchmark App drüberlaufen lasse, dann sollten die Werte identisch sein.

Der Test beginnt: Die Methodologie für die Benchmarks

Für meinen Benchmark-Test verwende ich folgende Geräte.

  • V30 (6", 64GB, 16MP, Cloud Silver)
  • V30 (6", 64GB, 16MP, Cloud Silver)
  • V30 (6", 64GB, 16MP, Cloud Silver)
CHF 599.–
LG V30 (6", 64GB, 16MP, Cloud Silver)
Das wasserdichte 6-Zoll-Smartphone (IP68) im 18:9-Format bietet viele Vorzüge: Es unterstützt HDR10, Daydream, Google Assistant, UX 6.0+ und Hi-Fi Quad DAC. Interessant für Aufnahmen: Das LG V30 kann Bilder und Videos mit 10bit-Farbtiefe aufnehmen.
29

Verfügbarkeit

Postversand

  • Mehr als 10 Stück
    in unserem Lager

Abholen

  • Basel: morgen um 12:30
  • Bern: morgen um 12:00
  • Dietikon: morgen um 13:30
  • Genf: morgen um 14:00
  • Kriens: morgen um 13:00
  • Lausanne: morgen um 12:30
  • St. Gallen: morgen um 13:00
  • Winterthur: morgen um 12:00
  • Wohlen: morgen um 11:00
  • Zürich: morgen um 12:15

PickMup

Bei sofortiger Bestellung.
Alle Angaben ohne Gewähr.

Details anzeigen

  • V30+ (6", 128GB, Dual SIM, 16MP, Moroccan Blue)
  • V30+ (6", 128GB, Dual SIM, 16MP, Moroccan Blue)
  • V30+ (6", 128GB, Dual SIM, 16MP, Moroccan Blue)
LG V30+ (6", 128GB, Dual SIM, 16MP, Moroccan Blue)
Ihr Leben, durch die Linse
7

Verfügbarkeit

  • Aktuell nicht lieferbar und kein Liefertermin vorhanden.

Alle Angaben ohne Gewähr.

Details anzeigen

Die App, die ich für das Benchmark nehme, heisst Antutu Benchmark mit dem 3D Add On. Es gibt im Google Play Store unzählige Benchmarks, aber Antutu hat durchwegs gute Reviews und so ist die Wahl nach Absprache mit den Mobile Geeks im Unternehmen zufällig auf Antutu gefallen.

Hier begegnen wir dem ersten Problem, des Benchmark Testings. Es gibt nicht «das eine Benchmark», denn jeder kann eine Benchmark App entwickeln und veröffentlichen. Wenn ein Benchmark universell gelten soll, so muss eine Art Standard etabliert werden. Diesen Standard gibt es nicht. Aus diesem Grund kann jedes Benchmark jeder App einfach mal in Frage gestellt werden. Mit dem guten Grund, dass eine andere App eine andere Zahl auswirft, die eben so viel Gewicht in der Benchmark-Welt besitzt, wie der Antutu-Test.

Das Resultat: V30+ gewinnt

Ich habe also zehn Runden Antutu Benchmarks durchlaufen lassen. Die Mobile Geeks sind sich nicht einig. Jeder weiss, wie ein Benchmark besser und daher aussagekräftiger ausfällt. Nach einem Benchmark soll das Phone eine halbe Stunde in den Kühlschrank gelegt werden, da dann das Phone wieder abkühlen könne. In den Flugmodus soll das Phone gesetzt werden, damit der Datentransfer keine Funktionen beeinträchtige.

Das LG V30 und das LG V30+ sind beinahe identisch

Ein Benchmark, das von so vielen Umweltfaktoren beeinflusst werden kann und inkonsistente Daten liefert, kann grundsätzlich angezweifelt werden. Ich entschliesse mich, den Test so zu machen: Ich nehme die beiden Phones, lasse zehn mal den Benchmark-Test hintereinander laufen. Ohne Pause, ohne Kühlschrank, ohne auf die richtige Mondphase zu warten.

Eine kleine Auswertung:

  • Das LG V30 hat durchschnittlich 158 252.60 Punkte erzielt
  • Das LG V30+ hat durchschnittlich 161 325.40 Punkte erzielt
  • Das LG V30 hat den höchsten Einzelwert von 173 738.00 Punkten erzielt
  • Das LG V30 hat den niedrigsten Einzelwert von 142 798.00 Punkten erzielt

Im Durchschnitt gewinnt also das LG V30+. Der Unterschied beträgt im Schnitt 3072.80 Punkte, was 1.9 Prozent entspricht. Aber während des Benchmarkings ist mir einiges aufgefallen. Die Idee hinter der Aufbewahrung im Kühlschrank ist es, das Phone abzukühlen. Denn, so geht Theorie weiter, ein kühles Phone liefert bessere und verlässlichere Resultate. Dem widerspricht mein Test. Zumindest anekdotisch, denn für eine absolute Aussage fehlt mir eine signifikante Anzahl Tests, die ich dann basierend auf gar nichts als repräsentativ bezeichnen würde. Beide Phones haben in der neunten Runde des Testings ihre Höchstwerte geliefert, die niedrigsten aber in der Achten.

Was ein Benchmark sagen kann

Ein Benchmark hat aber doch Aussagekraft. Wenn ich zwei komplett verschiedene Phones, ein altes HTC M7 aus dem Jahr 2013 und ein nagelneues Razer Phone vergleiche, dann kommt folgendes heraus.

Überraschenderweise siegt das Razer Phone (2018) gegen das HTC M7 (2013)

  • Phone (5.70", 64GB, 12MP, Black)
  • Phone (5.70", 64GB, 12MP, Black)
  • Phone (5.70", 64GB, 12MP, Black)
CHF 749.–
Razer Phone (5.70", 64GB, 12MP, Black)
Watch, Listen, Play.
13

Verfügbarkeit

Postversand

  • Mehr als 10 Stück
    in unserem Lager

Abholen

  • Basel: morgen um 12:30
  • Bern: morgen um 12:00
  • Dietikon: morgen um 13:30
  • Genf: morgen um 14:00
  • Kriens: morgen um 13:00
  • Lausanne: morgen um 12:30
  • St. Gallen: morgen um 13:00
  • Winterthur: morgen um 12:00
  • Wohlen: morgen um 11:00
  • Zürich: morgen um 12:15

PickMup

Bei sofortiger Bestellung.
Alle Angaben ohne Gewähr.

Details anzeigen

Eine kleine Auswertung

  • Das Razer Phone hat durchschnittlich 176 931.50 Punkte erzielt
  • Das HTC One M7 hat durchschnittlich 40 511.50 Punkte erzielt
  • Das Razer Phone hat den höchsten Einzelwert von 181 227 Punkten erzielt
  • Das HTC One M7 hat den niedrigsten Einzelwert von 39 611 Punkten erzielt

Und was sagt das jetzt aus? Das neue Phone ist besser als das alte Phone. Wer hätte das gedacht? Die Differenz von 77.10 Prozent ist komplett bedeutungslos. Gut, anderer Test. Razer Phone versus Samsung Galaxy Note 8.

Bei mehr oder weniger ebenbürtigen Phones braucht es auch keinen Benchmark Test

  • Galaxy Note8 (6.30", 64GB, Dual SIM, 12MP, Midnight Black)
  • Galaxy Note8 (6.30", 64GB, Dual SIM, 12MP, Midnight Black)
  • Galaxy Note8 (6.30", 64GB, Dual SIM, 12MP, Midnight Black)
noch 38 von 300 Stück
CHF 649.–statt vorher 746.–1
Samsung Galaxy Note8 (6.30", 64GB, Dual SIM, 12MP, Midnight Black)
Besticht durch ein grenzenloses 6.3-Zoll-Display, einer sehr eleganten Optik und ausgezeichnete Eigenschaften. Mit Multi Window und Dual App können gleichzeitig zwei Apps angezeigt werden. Die Dual Kamera überzeugt mit starker Bildqualität.
95

Verfügbarkeit

Postversand

  • Mehr als 10 Stück
    in unserem Lager

Abholen

  • Basel: Nur noch 2 Stück
  • Bern: Nur noch 1 Stück
  • Dietikon: morgen um 13:30
  • Genf: morgen um 14:00
  • Kriens: Nur noch 1 Stück
  • Lausanne: morgen um 12:30
  • St. Gallen: morgen um 13:00
  • Winterthur: morgen um 12:00
  • Wohlen: morgen um 11:00
  • Zürich: morgen um 12:15

PickMup

Bei sofortiger Bestellung.
Alle Angaben ohne Gewähr.

Details anzeigen

Das Note 8 hat das Nachsehen. Auch nicht überraschend, denn wer die Specs liest, der weiss, dass das so kommen muss. Der Benchmark Test verkommt bestenfalls zur Spielerei, der deine Thesen bestätigt, schlimmstenfalls zur reinen Zeitverschwendung.

Was dir Benchmarks nicht sagen

Wir testen Phones. Das geht weit über ein Benchmark hinaus. Am Ende hast du einen Erfahrungsbericht aus dem Alltag, nicht aus einer App. Denn du wirst dein Phone im Alltag brauchen und auch der beste Benchmark Score wird dir zig Faktoren schlicht verschweigen. Er wird dir nichts von der kleinen Unsauberkeit im Glas meines LG V30+ erzählen, die unübersehbar ist, wenn du sie einmal gesehen hast. Die Kamerageschwindigkeit des Razer Phones wird nirgends angezweifelt und die Langlebigkeit des HTC One M7 wird nirgends hervorgehoben.

Um diese Faktoren zu entdecken, um sie einzuschätzen, zu qualifizieren und zu quantifizieren braucht es das Auge und die Hände eines Menschen. Denn am Ende des Tages, nachdem alle automatischen Benchmarks durchgelaufen sind, bist du es – ein Mensch aus Fleisch und Blut –, der das Phone in den Händen hält, damit telefoniert, Bilder schiesst und deinen Liebsten WhatsApp-Messages schickst. Da kann ein arbiträrer Wert noch so hoch sein.

So. Fertig. Ich teste weiter. Einfach meist ohne Benchmarks.

Diese Beiträge könnten dich auch interessieren

<strong>One Perfect Shot</strong>: Wie ich für ein Foto meine ganze Wohnung umgestellt habe
FotografieHintergrund

One Perfect Shot: Wie ich für ein Foto meine ganze Wohnung umgestellt habe

<strong>Razer Phone</strong>: Mein liebster Ziegel
Video
SmartphoneHintergrund

Razer Phone: Mein liebster Ziegel

<strong>LG am MWC 2018</strong>: Hat da jemand auch nur drei Sekunden nachgedacht? // Update 27.02.2018: LG V30S ThinQ bestellbar
Video
SmartphoneNews & Trends

LG am MWC 2018: Hat da jemand auch nur drei Sekunden nachgedacht? // Update 27.02.2018: LG V30S ThinQ bestellbar

User
Journalist. Autor. Hacker. Ich bin Geschichtenerzähler und suche Grenzen, Geheimnisse und Tabus. Ich dokumentiere die Welt, schwarz auf weiss. Nicht, weil ich kann, sondern weil ich nicht anders kann.

17 Kommentare

Bitte melde dich an.

Du musst angemeldet sein, um einen neuen Kommentar zu erfassen.


User TheEscalader

Du hast völlig Recht. Beim Kauf vom Handy für den täglichen Gebrauch bringen einem Benchmarks nicht, dafür aber Reviews.
Und cooles Hintergrundbild! #fsociety

31.01.2018
Missbrauch melden

Du musst dich anmelden um einen Missbrauch zu melden.

User Dominik Bärlocher

Hello, friend.

31.01.2018
Missbrauch melden

Du musst dich anmelden um einen Missbrauch zu melden.

Antworten
User garned

"Das LG V30 hat den niedrigsten Einzelwert von 172 798.00 Punkten erzielt"
Laut der Tabelle sollten das 142 798.00 Punkte, oder?

31.01.2018
Missbrauch melden

Du musst dich anmelden um einen Missbrauch zu melden.

User Dominik Bärlocher

Da hast du recht. Ist gefixed. Danke für den Hinweis.

31.01.2018
Missbrauch melden

Du musst dich anmelden um einen Missbrauch zu melden.

Antworten
User reze_dig

tsss .. nur ruckeln darf es nicht bei Office Anwendungen mehr muss der Bench für mich selber nicht aussagen.
WICHTIG ist: Akkudauer (länger = besser!!!!), gute Lesbarkeit des Displays, evtl. Kamera und Spritzwasserfest sowie keine Fantasiepreise von 800.- plus

31.01.2018
Missbrauch melden

Du musst dich anmelden um einen Missbrauch zu melden.

User The Merc

Freut mich, dass dies für Sie wichtig ist. Leider kann man diese Dinge nicht so testen. Ruckeln stellt man am Besten bei Praxistests fest, anders wird's schwierig(er). Die Akkulaufzeit braucht keine Benchmark, hier gilt entweder auf die Specs vertrauen oder auch testen. Die Lesbarkeit muss man ebenfalls von blossem Auge in einer Vorführung feststellen, die Kamera kann auch viele schöne Specs haben, das Ergebnis hängt aber auch vom Geschmack des Users ab. Und am ende wirfst das Ding ins Wasser.

31.01.2018
Missbrauch melden

Du musst dich anmelden um einen Missbrauch zu melden.

User The Merc

Hier geht es auch eher um das Wissen, wie man mit Benchmarks umgehen soll. Die andern Daten sind entweder relativ zum Betrachter oder schwierigzu testen, oft via Anwendung nicht möglich. Wenn Sie also einen wirklichen Praxisvergleich möchten, schlage ich reviews, recherche und vielleicht sogar die Anfrage bei Bekannten, welche ein Gerät besitzen anzufragen.

31.01.2018
Missbrauch melden

Du musst dich anmelden um einen Missbrauch zu melden.

Antworten
User miklagard

@Dominik Du als Hacker und Datenschützer solltest doch Wissen das man das Outlook ab nicht verwendet, da deine Maildaten über die Server Microsoft USA gelenkt werden...

31.01.2018
Missbrauch melden

Du musst dich anmelden um einen Missbrauch zu melden.

User fumo

ähm nein, Unsere Daten gehen nach Irland.
Aber Aluhutträger mögen echte Fakten ja nicht so, darum wirst du das eh nicht glauben wollen ;)

01.02.2018
Missbrauch melden

Du musst dich anmelden um einen Missbrauch zu melden.

User miklagard

Lieber Fumo
schon ein wenig älter aber der zustand ist noch nicht besser..
heise.de/mac-and-i/meldung/...

01.02.2018
Missbrauch melden

Du musst dich anmelden um einen Missbrauch zu melden.

User fumo

Lieber Miklagard
Genau lesen und nicht der Panikmache folgen hilft. Ich zitiere: "Dies geht aus den Datenschutzbedingungen für Acompli hervor". Was die Routine getan haben bevor sie von MS übernommen wurden ist kein gutes Anhaltspunkt für Vorwürfe. Gerichtsurteile beweisen dass die Daten der EU Nutzer von MS für US Behörden nicht einsehbar sind weil sie nicht über US Boden gehen.

01.02.2018
Missbrauch melden

Du musst dich anmelden um einen Missbrauch zu melden.

Antworten
User xerxes300

Vorab, ich habe mich nicht über "Antutu Benchmark" informiert. Meine Frage, wie lange wird denn gebenchmarked? Wenn die Antwort unter 15min ist, dann sind die Benchmarks für mich noch nutzloser. Ich stosse nicht oft an die Grenze von einem Smartphone aber oft wird es heiss und wird langsamer.

31.01.2018
Missbrauch melden

Du musst dich anmelden um einen Missbrauch zu melden.

User xerxes300

Natürlich wird es langsamer um sich selbst vor dem Überhitzen zu schützen. Fachbegriff: Thermal throttling

31.01.2018
Missbrauch melden

Du musst dich anmelden um einen Missbrauch zu melden.

User Dominik Bärlocher

Eine Runde Antutu dauert gefühlte drei bis fünf Minuten.

31.01.2018
Missbrauch melden

Du musst dich anmelden um einen Missbrauch zu melden.

User July Sullivan

Wer sich die Tabelle genau ansieht merkt das beim Samung der Benchmark völlig in sich zusammenfällt im 10. Durchlauf. Ich mein das konnte zufall sein, ein "lag zwischendurch", könnte aber auch heissen das dass phone nach 30-50 Minuten Deuerbelastung nicht mehr zu gebrauchen ist... Dominik, eine Mission für dich :D

31.01.2018
Missbrauch melden

Du musst dich anmelden um einen Missbrauch zu melden.

User xerxes300

@July Sullivan Ich würde mich auch extrem über einen "richtigen" Benchmark freuen, der minimum 15min dauert. 3 min Benchmarks sind einfach. Das Handy mit der besten Hardware und Software Lösung gewinnt. Aber bei längeren Tests kommen noch Kühlung und Ausdauer ins Spiel.

01.02.2018
Missbrauch melden

Du musst dich anmelden um einen Missbrauch zu melden.

User djdomrep

Sinnvoll wären Benchmarks wie Prime95 bei PC's welchen man schön über Stunden/Tage oder auch Wochen durchlaufen lassen kann.
Abgesehen davon testen diese Benchmarks einige unnütze Sachen, siehe Geekbench.
Ich persönlich verwende 3DMark um die Geräte für Gaming zu testen und nicht um rauszufinden wieviel Fotos ich pro sekunde schiessen kann, da man eigentlich eh nur einzelne macht.
Gaming ist finde ich ein wichtiger Punkt bei Smartphones, sowie auch das "flüssige Erlebnis" bei der Verwendung.

02.02.2018
Missbrauch melden

Du musst dich anmelden um einen Missbrauch zu melden.

Antworten