Vous n’êtes pas connecté à Internet.
Corporate logo
SmartphoneSavoir 1720

En direct du laboratoire: un benchmark n’est pas une formule magique

Les benchmarks sont censés fournir une comparaison standardisée des smartphones et autres technologies, mais ces tests automatisés omettent un élément essentiel: l’utilisateur. Nous vous montrons notre méthode de test.

Les benchmarks promettent des indications fiables, objectives et neutres sur les performances d’un smartphone. Certains prétendent même être supérieurs à n’importe quel autre test. Je suis testeur de smartphones professionnel, et je ne suis pas d’accord.

J’ai rarement deux téléphones du même type sur mon bureau, le LG V30 m’offre toutefois cette opportunité. Non seulement je dispose d’un LG V30+, une importation coréenne, mais aussi d’une version européenne du LG V30.

Les deux appareils se distinguent seulement de deux manières:

  1. Le LG V30+ est doté de 128 Go de mémoire interne, le LG V30 de seulement 64 Go
  2. Le LG V30+ a un port hybride double SIM, le LG V30 n’en a pas

Le reste de leurs caractéristiques sont identiques. Si je les compare dans une application de benchmarking, les valeurs devraient être les mêmes.

Ma méthodologie

Pour le test, j'ai utilisé les appareils suivants:

V30 (6", 64Go, 16Mpx, Cloud Silver)
CHF 699.–avant 799.–1
LG V30 (6", 64Go, 16Mpx, Cloud Silver)
Superbe phablette Amoled 6 pouces au format 18:9 certifiée IP 68. Prend en charge HDR10, Daydream, Google Assistant, UX 6.0+ et Hi-Fi Quad DAC.
19

Disponibilité

Envoi postal

  • Plus de 10 pièce(s)
    dans notre entrepôt

PickMup

Retrait

  • Bâle: demain à 13:10
  • Berne: demain à 12:45
  • Dietikon: demain à 14:30
  • Genève: demain à 13:30
  • Kriens: demain à 12:00
  • Lausanne: demain à 15:40
  • Saint-Gall: demain à 15:30
  • Winterthour: demain à 13:30
  • Wohlen: demain à 11:00
  • Zurich: demain à 12:30

Si commandé immédiatement.
Informations sans garantie.

Afficher les détails

V30+ (6", 128Go, Double SIM, 16Mpx, Moroccan Blue)
CHF 849.–
LG V30+ (6", 128Go, Double SIM, 16Mpx, Moroccan Blue)
11

Disponibilité

Envoi postal

  • encore 4 pièce(s)
    dans notre entrepôt

PickMup

Retrait

  • Bâle: demain à 13:10
  • Berne: demain à 12:45
  • Dietikon: demain à 14:30
  • Genève: demain à 13:30
  • Kriens: demain à 12:00
  • Lausanne: demain à 15:40
  • Saint-Gall: demain à 15:30
  • Winterthour: demain à 13:30
  • Wohlen: demain à 11:00
  • Zurich: demain à 12:30

Si commandé immédiatement.
Informations sans garantie.

Afficher les détails

J’utilise l’application Antutu Benchmark avec l’add on 3D. Le Google Play Store propose d’innombrables benchmarks, mais Antutu a reçu de bonnes évaluations. Je l’ai donc choisi après en avoir discuté avec mes collègues geeks.

Je rencontre déjà mon premier problème. Le benchmark par excellence n’existe pas, car chacun est libre de développer et de publier sa propre application. S’il existait une version universelle, elle devrait être standardisée. Or il n’existe aucune norme de ce type. N’importe quelle évaluation produite peut donc être contestée, car ses notes auront tout autant de poids dans l’univers des benchmarks que celles d’Antutu.

Le V30+ est notre vainqueur

J’ai lancé dix évaluations sur Antutu. Les geeks des appareils mobiles ne s’accordent pas entre eux. Chacun a sa manière de rendre son évaluation plus pertinente. Au terme d’une évaluation, le smartphone devrait être placé 30 minutes au réfrigérateur afin qu’il refroidisse. Le mode avion devrait être activé pour empêcher que le transfert de données ne nuise à certaines fonctions.

Le LG V30 et le LG V30+ sont quasiment identiques

La validité d’un benchmark qui dépend d’autant de facteurs externes et fournit des données aussi peu consistantes peut être mise en doute. Je décide de procéder de la sorte: je fais faire dix comparaisons de suite aux deux téléphones, sans pause ni réfrigérateur, et sans attendre que la pleine lune.

Petite évaluation:

  • Le LG V30 a obtenu 158 252,60 points en moyenne
  • Le LG V30+ a obtenu 161 325,40 points en moyenne
  • Le LG V30 a obtenu la valeur individuelle de 173 738,00 points la plus élevée
  • Le LG V30 a obtenu la valeur individuelle de 142 798,00 points la plus basse

En moyenne, le LG V30+ remporte donc mon évaluation. Les deux appareils ont en moyenne 3072,80 points de différence, ce qui correspond à 1,9 pour cent. J’ai remarqué quelque chose pendant le benchmarking: les smartphones sont censés être placés dans le frigo afin d’être refroidis, car, selon la théorie, un smartphone froid fournit des résultats supérieurs et plus fiables. Mon test réfute toutefois cette hypothèse, du moins pour ce cas précis. Il me faudrait mener bien plus de tests pour en avoir la certitude, et mes résultats ne seraient même pas représentatifs. Les deux téléphones ont fourni leur meilleure performance au neuvième tour, leur plus faible au huitième tour.

Les informations qu’un benchmark peut fournir

Je ne dis pas qu’un benchmark est inutile. Si je compare deux téléphones complètement différents, un vieil HTC M7 datant de 2013 et un tout nouveau Razer, j’obtiens les résultats suivants.

Le Razer Phone (2018) ressort étonnamment vainqueur par rapport au HTC M7 (2013)

Petite évaluation

  • Le Razer Phone a obtenu 176 931,50 points en moyenne
  • Le HTC One M7 a obtenu 40 511,50 points en moyenne
  • Le Razer Phone a obtenu la valeur individuelle de 181 227 points la plus élevée
  • Le HTC One M7 a obtenu la valeur individuelle de 39 611 points la plus basse

Qu’est-ce que ces résultats nous indiquent? Que le nouveau téléphone est meilleur. Qui l’eût cru? La différence de 77,10 pour cent n’a aucune signification. Bon, passons à un autre test: un Razer Phone contre un Samsung Galaxy Note 8.

Les benchmarks menés sur des smartphones plus ou moins de même niveau sont superflus

Galaxy Note8 (6.30", 64Go, Double SIM, 12Mpx, Midnight Black)
Show- room
CHF 799.–
Samsung Galaxy Note8 (6.30", 64Go, Double SIM, 12Mpx, Midnight Black)
116

Disponibilité

Envoi postal

  • Plus de 10 pièce(s)
    dans notre entrepôt

PickMup

Retrait

  • Bâle: encore 1 pièce(s)
  • Berne: encore 1 pièce(s)
  • Dietikon: demain à 14:30
  • Genève: encore 2 pièce(s)
  • Kriens: demain à 12:00
  • Lausanne: encore 1 pièce(s)
  • Saint-Gall: encore 1 pièce(s)
  • Winterthour: demain à 13:30
  • Wohlen: demain à 11:00
  • Zurich: encore 1 pièce(s)

Si commandé immédiatement.
Informations sans garantie.

Afficher les détails

Le Note 8 s’est fait ramasser, ce qui n’a rien d’étonnant vu ses caractéristiques. Ce benchmark a été sympa à faire, mais je crois que j’ai perdu mon temps, n’est-ce pas?

Les informations que les benchmarks ne fournissent pas

Nous testons des smartphones, ce qui va bien au-delà des benchmarks. Un vrai compte rendu doit être fait à partir d’une utilisation quotidienne, et non des résultats d’une application. Même les meilleurs scores ne prennent pas en compte tous les facteurs. Ils ne vous diront rien sur les petites saletés sur l’écran de mon LG V30+ dont je ne peux plus faire abstraction maintenant que je les ai remarquées. La vitesse de l’appareil photo du Razer Phone n’est nulle part remise en question, et la durabilité du HTC One M7 n’est pas non plus mise en avant.

Seul un être humain peut identifier ces facteurs, les évaluer et les quantifier. Au final, malgré tous les benchmarks du monde, c’est vous qui maniez le téléphone, passez des appels, prenez des photos et envoyez des messages à vos proches sur WhatsApp. Une valeur arbitraire ne vous sera d’aucune utilité.

Voilà. J’ai terminé. Je continue mon test, sans benchmark, du moins la plupart du temps.

Ces articles pourraient aussi vous intéresser

User
Journaliste. Auteur. Hackers. Je suis un conteur d'histoires à la recherche de limites, de secrets et de tabous. Je documente le monde noir sur blanc. Non pas parce que je peux, mais parce que je ne peux pas m'en empêcher.

Commentaires 17

Veuillez vous connecter.

Vous devez être connecté pour écrire un commentaire.


User TheEscalader

Du hast völlig Recht. Beim Kauf vom Handy für den täglichen Gebrauch bringen einem Benchmarks nicht, dafür aber Reviews.
Und cooles Hintergrundbild! #fsociety

31.01.2018
Signaler un abus

Vous devez être connecté pour signaler un abus.

User Dominik Bärlocher

Hello, friend.

31.01.2018
Signaler un abus

Vous devez être connecté pour signaler un abus.

Vous devez être connecté pour répondre à un commentaire.

User garned

"Das LG V30 hat den niedrigsten Einzelwert von 172 798.00 Punkten erzielt"
Laut der Tabelle sollten das 142 798.00 Punkte, oder?

31.01.2018
Signaler un abus

Vous devez être connecté pour signaler un abus.

User Dominik Bärlocher

Da hast du recht. Ist gefixed. Danke für den Hinweis.

31.01.2018
Signaler un abus

Vous devez être connecté pour signaler un abus.

Vous devez être connecté pour répondre à un commentaire.

User reze_dig

tsss .. nur ruckeln darf es nicht bei Office Anwendungen mehr muss der Bench für mich selber nicht aussagen.
WICHTIG ist: Akkudauer (länger = besser!!!!), gute Lesbarkeit des Displays, evtl. Kamera und Spritzwasserfest sowie keine Fantasiepreise von 800.- plus

31.01.2018
Signaler un abus

Vous devez être connecté pour signaler un abus.

User The Merc

Freut mich, dass dies für Sie wichtig ist. Leider kann man diese Dinge nicht so testen. Ruckeln stellt man am Besten bei Praxistests fest, anders wird's schwierig(er). Die Akkulaufzeit braucht keine Benchmark, hier gilt entweder auf die Specs vertrauen oder auch testen. Die Lesbarkeit muss man ebenfalls von blossem Auge in einer Vorführung feststellen, die Kamera kann auch viele schöne Specs haben, das Ergebnis hängt aber auch vom Geschmack des Users ab. Und am ende wirfst das Ding ins Wasser.

31.01.2018
Signaler un abus

Vous devez être connecté pour signaler un abus.

User The Merc

Hier geht es auch eher um das Wissen, wie man mit Benchmarks umgehen soll. Die andern Daten sind entweder relativ zum Betrachter oder schwierigzu testen, oft via Anwendung nicht möglich. Wenn Sie also einen wirklichen Praxisvergleich möchten, schlage ich reviews, recherche und vielleicht sogar die Anfrage bei Bekannten, welche ein Gerät besitzen anzufragen.

31.01.2018
Signaler un abus

Vous devez être connecté pour signaler un abus.

Vous devez être connecté pour répondre à un commentaire.

User miklagard

@Dominik Du als Hacker und Datenschützer solltest doch Wissen das man das Outlook ab nicht verwendet, da deine Maildaten über die Server Microsoft USA gelenkt werden...

31.01.2018
Signaler un abus

Vous devez être connecté pour signaler un abus.

User fumo

ähm nein, Unsere Daten gehen nach Irland.
Aber Aluhutträger mögen echte Fakten ja nicht so, darum wirst du das eh nicht glauben wollen ;)

01.02.2018
Signaler un abus

Vous devez être connecté pour signaler un abus.

User miklagard

Lieber Fumo
schon ein wenig älter aber der zustand ist noch nicht besser..
heise.de/mac-and-i/meldung/...

01.02.2018
Signaler un abus

Vous devez être connecté pour signaler un abus.

User fumo

Lieber Miklagard
Genau lesen und nicht der Panikmache folgen hilft. Ich zitiere: "Dies geht aus den Datenschutzbedingungen für Acompli hervor". Was die Routine getan haben bevor sie von MS übernommen wurden ist kein gutes Anhaltspunkt für Vorwürfe. Gerichtsurteile beweisen dass die Daten der EU Nutzer von MS für US Behörden nicht einsehbar sind weil sie nicht über US Boden gehen.

01.02.2018
Signaler un abus

Vous devez être connecté pour signaler un abus.

Vous devez être connecté pour répondre à un commentaire.

User xerxes300

Vorab, ich habe mich nicht über "Antutu Benchmark" informiert. Meine Frage, wie lange wird denn gebenchmarked? Wenn die Antwort unter 15min ist, dann sind die Benchmarks für mich noch nutzloser. Ich stosse nicht oft an die Grenze von einem Smartphone aber oft wird es heiss und wird langsamer.

31.01.2018
Signaler un abus

Vous devez être connecté pour signaler un abus.

User xerxes300

Natürlich wird es langsamer um sich selbst vor dem Überhitzen zu schützen. Fachbegriff: Thermal throttling

31.01.2018
Signaler un abus

Vous devez être connecté pour signaler un abus.

User Dominik Bärlocher

Eine Runde Antutu dauert gefühlte drei bis fünf Minuten.

31.01.2018
Signaler un abus

Vous devez être connecté pour signaler un abus.

User July Sullivan

Wer sich die Tabelle genau ansieht merkt das beim Samung der Benchmark völlig in sich zusammenfällt im 10. Durchlauf. Ich mein das konnte zufall sein, ein "lag zwischendurch", könnte aber auch heissen das dass phone nach 30-50 Minuten Deuerbelastung nicht mehr zu gebrauchen ist... Dominik, eine Mission für dich :D

31.01.2018
Signaler un abus

Vous devez être connecté pour signaler un abus.

User xerxes300

@July Sullivan Ich würde mich auch extrem über einen "richtigen" Benchmark freuen, der minimum 15min dauert. 3 min Benchmarks sind einfach. Das Handy mit der besten Hardware und Software Lösung gewinnt. Aber bei längeren Tests kommen noch Kühlung und Ausdauer ins Spiel.

01.02.2018
Signaler un abus

Vous devez être connecté pour signaler un abus.

User djdomrep

Sinnvoll wären Benchmarks wie Prime95 bei PC's welchen man schön über Stunden/Tage oder auch Wochen durchlaufen lassen kann.
Abgesehen davon testen diese Benchmarks einige unnütze Sachen, siehe Geekbench.
Ich persönlich verwende 3DMark um die Geräte für Gaming zu testen und nicht um rauszufinden wieviel Fotos ich pro sekunde schiessen kann, da man eigentlich eh nur einzelne macht.
Gaming ist finde ich ein wichtiger Punkt bei Smartphones, sowie auch das "flüssige Erlebnis" bei der Verwendung.

02.02.2018
Signaler un abus

Vous devez être connecté pour signaler un abus.

Vous devez être connecté pour répondre à un commentaire.