En direct du laboratoire: un benchmark n’est pas une formule magique
31/1/2018
Les benchmarks sont censés fournir une comparaison standardisée des smartphones et autres technologies, mais ces tests automatisés omettent un élément essentiel: l’utilisateur. Nous vous montrons notre méthode de test.
Les benchmarks promettent des indications fiables, objectives et neutres sur les performances d’un smartphone. Certains prétendent même être supérieurs à n’importe quel autre test. Je suis testeur de smartphones professionnel, et je ne suis pas d’accord.
J’ai rarement deux téléphones du même type sur mon bureau, le LG V30 m’offre toutefois cette opportunité. Non seulement je dispose d’un LG V30+, une importation coréenne, mais aussi d’une version européenne du LG V30.
Les deux appareils se distinguent seulement de deux manières:
- Le LG V30+ est doté de 128 Go de mémoire interne, le LG V30 de seulement 64 Go
- Le LG V30+ a un port hybride double SIM, le LG V30 n’en a pas
Le reste de leurs caractéristiques sont identiques. Si je les compare dans une application de benchmarking, les valeurs devraient être les mêmes.
Ma méthodologie
Pour le test, j'ai utilisé les appareils suivants:
Je rencontre déjà mon premier problème. Le benchmark par excellence n’existe pas, car chacun est libre de développer et de publier sa propre application. S’il existait une version universelle, elle devrait être standardisée. Or il n’existe aucune norme de ce type. N’importe quelle évaluation produite peut donc être contestée, car ses notes auront tout autant de poids dans l’univers des benchmarks que celles d’Antutu.
Le V30+ est notre vainqueur
J’ai lancé dix évaluations sur Antutu. Les geeks des appareils mobiles ne s’accordent pas entre eux. Chacun a sa manière de rendre son évaluation plus pertinente. Au terme d’une évaluation, le smartphone devrait être placé 30 minutes au réfrigérateur afin qu’il refroidisse. Le mode avion devrait être activé pour empêcher que le transfert de données ne nuise à certaines fonctions.
Le LG V30 et le LG V30+ sont quasiment identiquesLa validité d’un benchmark qui dépend d’autant de facteurs externes et fournit des données aussi peu consistantes peut être mise en doute. Je décide de procéder de la sorte: je fais faire dix comparaisons de suite aux deux téléphones, sans pause ni réfrigérateur, et sans attendre que la pleine lune.
Petite évaluation:
- Le LG V30 a obtenu 158 252,60 points en moyenne
- Le LG V30+ a obtenu 161 325,40 points en moyenne
- Le LG V30 a obtenu la valeur individuelle de 173 738,00 points la plus élevée
- Le LG V30 a obtenu la valeur individuelle de 142 798,00 points la plus basse
Les informations qu’un benchmark peut fournir
Je ne dis pas qu’un benchmark est inutile. Si je compare deux téléphones complètement différents, un vieil HTC M7 datant de 2013 et un tout nouveau Razer, j’obtiens les résultats suivants.
Le Razer Phone (2018) ressort étonnamment vainqueur par rapport au HTC M7 (2013)Petite évaluation
- Le Razer Phone a obtenu 176 931,50 points en moyenne
- Le HTC One M7 a obtenu 40 511,50 points en moyenne
- Le Razer Phone a obtenu la valeur individuelle de 181 227 points la plus élevée
- Le HTC One M7 a obtenu la valeur individuelle de 39 611 points la plus basse
Qu’est-ce que ces résultats nous indiquent? Que le nouveau téléphone est meilleur. Qui l’eût cru? La différence de 77,10 pour cent n’a aucune signification. Bon, passons à un autre test: un Razer Phone contre un Samsung Galaxy Note 8.
Les benchmarks menés sur des smartphones plus ou moins de même niveau sont superflusLe Note 8 s’est fait ramasser, ce qui n’a rien d’étonnant vu ses caractéristiques. Ce benchmark a été sympa à faire, mais je crois que j’ai perdu mon temps, n’est-ce pas?
Les informations que les benchmarks ne fournissent pas
Seul un être humain peut identifier ces facteurs, les évaluer et les quantifier. Au final, malgré tous les benchmarks du monde, c’est vous qui maniez le téléphone, passez des appels, prenez des photos et envoyez des messages à vos proches sur WhatsApp. Une valeur arbitraire ne vous sera d’aucune utilité.
Voilà. J’ai terminé. Je continue mon test, sans benchmark, du moins la plupart du temps.
Journaliste. Auteur. Hackers. Je suis un conteur d'histoires à la recherche de limites, de secrets et de tabous. Je documente le monde noir sur blanc. Non pas parce que je peux, mais parce que je ne peux pas m'en empêcher.
Smartphone
Suivez les thèmes et restez informé dans les domaines qui vous intéressent.
En coulisse
Des informations intéressantes sur le monde des produits, un aperçu des coulisses des fabricants et des portraits de personnalités intéressantes.
Tout afficher
