En direct du laboratoire: un benchmark n’est pas une formule magique
En coulisseMobile

En direct du laboratoire: un benchmark n’est pas une formule magique

Dominik Bärlocher
Zurich, le 31.01.2018
Les benchmarks sont censés fournir une comparaison standardisée des smartphones et autres technologies, mais ces tests automatisés omettent un élément essentiel: l’utilisateur. Nous vous montrons notre méthode de test.

Les benchmarks promettent des indications fiables, objectives et neutres sur les performances d’un smartphone. Certains prétendent même être supérieurs à n’importe quel autre test. Je suis testeur de smartphones professionnel, et je ne suis pas d’accord.

J’ai rarement deux téléphones du même type sur mon bureau, le LG V30 m’offre toutefois cette opportunité. Non seulement je dispose d’un LG V30+, une importation coréenne, mais aussi d’une version européenne du LG V30.

Les deux appareils se distinguent seulement de deux manières:

  1. Le LG V30+ est doté de 128 Go de mémoire interne, le LG V30 de seulement 64 Go
  2. Le LG V30+ a un port hybride double SIM, le LG V30 n’en a pas

Le reste de leurs caractéristiques sont identiques. Si je les compare dans une application de benchmarking, les valeurs devraient être les mêmes.

Ma méthodologie

Pour le test, j'ai utilisé les appareils suivants:

J’utilise l’application Antutu Benchmark avec l’add on 3D. Le Google Play Store propose d’innombrables benchmarks, mais Antutu a reçu de bonnes évaluations. Je l’ai donc choisi après en avoir discuté avec mes collègues geeks.

Je rencontre déjà mon premier problème. Le benchmark par excellence n’existe pas, car chacun est libre de développer et de publier sa propre application. S’il existait une version universelle, elle devrait être standardisée. Or il n’existe aucune norme de ce type. N’importe quelle évaluation produite peut donc être contestée, car ses notes auront tout autant de poids dans l’univers des benchmarks que celles d’Antutu.

Le V30+ est notre vainqueur

J’ai lancé dix évaluations sur Antutu. Les geeks des appareils mobiles ne s’accordent pas entre eux. Chacun a sa manière de rendre son évaluation plus pertinente. Au terme d’une évaluation, le smartphone devrait être placé 30 minutes au réfrigérateur afin qu’il refroidisse. Le mode avion devrait être activé pour empêcher que le transfert de données ne nuise à certaines fonctions.

aucune information disponible sur cette image
Le LG V30 et le LG V30+ sont quasiment identiques

La validité d’un benchmark qui dépend d’autant de facteurs externes et fournit des données aussi peu consistantes peut être mise en doute. Je décide de procéder de la sorte: je fais faire dix comparaisons de suite aux deux téléphones, sans pause ni réfrigérateur, et sans attendre que la pleine lune.

LG V30LG V30+
1162116169016
2165968168973
3158907163637
4160792160500
5156781157918
6147413152253
7148210149940
8142798148834
9173738173223
10165803168960

Petite évaluation:

  • Le LG V30 a obtenu 158 252,60 points en moyenne
  • Le LG V30+ a obtenu 161 325,40 points en moyenne
  • Le LG V30 a obtenu la valeur individuelle de 173 738,00 points la plus élevée
  • Le LG V30 a obtenu la valeur individuelle de 142 798,00 points la plus basse

En moyenne, le LG V30+ remporte donc mon évaluation. Les deux appareils ont en moyenne 3072,80 points de différence, ce qui correspond à 1,9 pour cent. J’ai remarqué quelque chose pendant le benchmarking: les smartphones sont censés être placés dans le frigo afin d’être refroidis, car, selon la théorie, un smartphone froid fournit des résultats supérieurs et plus fiables. Mon test réfute toutefois cette hypothèse, du moins pour ce cas précis. Il me faudrait mener bien plus de tests pour en avoir la certitude, et mes résultats ne seraient même pas représentatifs. Les deux téléphones ont fourni leur meilleure performance au neuvième tour, leur plus faible au huitième tour.

Les informations qu’un benchmark peut fournir

Je ne dis pas qu’un benchmark est inutile. Si je compare deux téléphones complètement différents, un vieil HTC M7 datant de 2013 et un tout nouveau Razer, j’obtiens les résultats suivants.

aucune information disponible sur cette image
Le Razer Phone (2018) ressort étonnamment vainqueur par rapport au HTC M7 (2013)
HTC One M7Razer Phone
140863178219
240459180698
340227181227
440045180238
540988177600
640814176727
740603171843
840662175492
940467175660
1039987171611

Petite évaluation

  • Le Razer Phone a obtenu 176 931,50 points en moyenne
  • Le HTC One M7 a obtenu 40 511,50 points en moyenne
  • Le Razer Phone a obtenu la valeur individuelle de 181 227 points la plus élevée
  • Le HTC One M7 a obtenu la valeur individuelle de 39 611 points la plus basse

Qu’est-ce que ces résultats nous indiquent? Que le nouveau téléphone est meilleur. Qui l’eût cru? La différence de 77,10 pour cent n’a aucune signification. Bon, passons à un autre test: un Razer Phone contre un Samsung Galaxy Note 8.

aucune information disponible sur cette image
Les benchmarks menés sur des smartphones plus ou moins de même niveau sont superflus
Razer PhoneSamsung Galaxy Note 8
1178219175360
2180698176210
3181227176939
4180238176036
5177600175236
6176727176321
7171843122752
8175492175762
9175660176286
10171611114510

Le Note 8 s’est fait ramasser, ce qui n’a rien d’étonnant vu ses caractéristiques. Ce benchmark a été sympa à faire, mais je crois que j’ai perdu mon temps, n’est-ce pas?

Les informations que les benchmarks ne fournissent pas

Nous testons des smartphones, ce qui va bien au-delà des benchmarks. Un vrai compte rendu doit être fait à partir d’une utilisation quotidienne, et non des résultats d’une application. Même les meilleurs scores ne prennent pas en compte tous les facteurs. Ils ne vous diront rien sur les petites saletés sur l’écran de mon LG V30+ dont je ne peux plus faire abstraction maintenant que je les ai remarquées. La vitesse de l’appareil photo du Razer Phone n’est nulle part remise en question, et la durabilité du HTC One M7 n’est pas non plus mise en avant.

Seul un être humain peut identifier ces facteurs, les évaluer et les quantifier. Au final, malgré tous les benchmarks du monde, c’est vous qui maniez le téléphone, passez des appels, prenez des photos et envoyez des messages à vos proches sur WhatsApp. Une valeur arbitraire ne vous sera d’aucune utilité.

Voilà. J’ai terminé. Je continue mon test, sans benchmark, du moins la plupart du temps.

Cet article plaît à 23 personne(s)


Dominik Bärlocher
Dominik Bärlocher
Senior Editor, Zurich
Journaliste. Auteur. Hackers. Je suis un conteur d'histoires à la recherche de limites, de secrets et de tabous. Je documente le monde noir sur blanc. Non pas parce que je peux, mais parce que je ne peux pas m'en empêcher.

Ces articles pourraient aussi vous intéresser