En direct du laboratoire: un benchmark n’est pas une formule magique
31/1/2018
Les benchmarks sont censés fournir une comparaison standardisée des smartphones et autres technologies, mais ces tests automatisés omettent un élément essentiel: l’utilisateur. Nous vous montrons notre méthode de test.
Les benchmarks promettent des indications fiables, objectives et neutres sur les performances d’un smartphone. Certains prétendent même être supérieurs à n’importe quel autre test. Je suis testeur de smartphones professionnel, et je ne suis pas d’accord.
J’ai rarement deux téléphones du même type sur mon bureau, le LG V30 m’offre toutefois cette opportunité. Non seulement je dispose d’un LG V30+, une importation coréenne, mais aussi d’une version européenne du LG V30.
Les deux appareils se distinguent seulement de deux manières:
- Le LG V30+ est doté de 128 Go de mémoire interne, le LG V30 de seulement 64 Go
- Le LG V30+ a un port hybride double SIM, le LG V30 n’en a pas
Le reste de leurs caractéristiques sont identiques. Si je les compare dans une application de benchmarking, les valeurs devraient être les mêmes.
Ma méthodologie
Pour le test, j'ai utilisé les appareils suivants:
J’utilise l’application Antutu Benchmark avec l’add on 3D. Le Google Play Store propose d’innombrables benchmarks, mais Antutu a reçu de bonnes évaluations. Je l’ai donc choisi après en avoir discuté avec mes collègues geeks.
Je rencontre déjà mon premier problème. Le benchmark par excellence n’existe pas, car chacun est libre de développer et de publier sa propre application. S’il existait une version universelle, elle devrait être standardisée. Or il n’existe aucune norme de ce type. N’importe quelle évaluation produite peut donc être contestée, car ses notes auront tout autant de poids dans l’univers des benchmarks que celles d’Antutu.
Le V30+ est notre vainqueur
J’ai lancé dix évaluations sur Antutu. Les geeks des appareils mobiles ne s’accordent pas entre eux. Chacun a sa manière de rendre son évaluation plus pertinente. Au terme d’une évaluation, le smartphone devrait être placé 30 minutes au réfrigérateur afin qu’il refroidisse. Le mode avion devrait être activé pour empêcher que le transfert de données ne nuise à certaines fonctions.
La validité d’un benchmark qui dépend d’autant de facteurs externes et fournit des données aussi peu consistantes peut être mise en doute. Je décide de procéder de la sorte: je fais faire dix comparaisons de suite aux deux téléphones, sans pause ni réfrigérateur, et sans attendre que la pleine lune.
| LG V30 | LG V30+ | |
|---|---|---|
| 1 | 162116 | 169016 |
| 2 | 165968 | 168973 |
| 3 | 158907 | 163637 |
| 4 | 160792 | 160500 |
| 5 | 156781 | 157918 |
| 6 | 147413 | 152253 |
| 7 | 148210 | 149940 |
| 8 | 142798 | 148834 |
| 9 | 173738 | 173223 |
| 10 | 165803 | 168960 |
Petite évaluation:
- Le LG V30 a obtenu 158 252,60 points en moyenne
- Le LG V30+ a obtenu 161 325,40 points en moyenne
- Le LG V30 a obtenu la valeur individuelle de 173 738,00 points la plus élevée
- Le LG V30 a obtenu la valeur individuelle de 142 798,00 points la plus basse
En moyenne, le LG V30+ remporte donc mon évaluation. Les deux appareils ont en moyenne 3072,80 points de différence, ce qui correspond à 1,9 pour cent. J’ai remarqué quelque chose pendant le benchmarking: les smartphones sont censés être placés dans le frigo afin d’être refroidis, car, selon la théorie, un smartphone froid fournit des résultats supérieurs et plus fiables. Mon test réfute toutefois cette hypothèse, du moins pour ce cas précis. Il me faudrait mener bien plus de tests pour en avoir la certitude, et mes résultats ne seraient même pas représentatifs. Les deux téléphones ont fourni leur meilleure performance au neuvième tour, leur plus faible au huitième tour.
Les informations qu’un benchmark peut fournir
Je ne dis pas qu’un benchmark est inutile. Si je compare deux téléphones complètement différents, un vieil HTC M7 datant de 2013 et un tout nouveau Razer, j’obtiens les résultats suivants.
| HTC One M7 | Razer Phone | |
|---|---|---|
| 1 | 40863 | 178219 |
| 2 | 40459 | 180698 |
| 3 | 40227 | 181227 |
| 4 | 40045 | 180238 |
| 5 | 40988 | 177600 |
| 6 | 40814 | 176727 |
| 7 | 40603 | 171843 |
| 8 | 40662 | 175492 |
| 9 | 40467 | 175660 |
| 10 | 39987 | 171611 |
Petite évaluation
- Le Razer Phone a obtenu 176 931,50 points en moyenne
- Le HTC One M7 a obtenu 40 511,50 points en moyenne
- Le Razer Phone a obtenu la valeur individuelle de 181 227 points la plus élevée
- Le HTC One M7 a obtenu la valeur individuelle de 39 611 points la plus basse
Qu’est-ce que ces résultats nous indiquent? Que le nouveau téléphone est meilleur. Qui l’eût cru? La différence de 77,10 pour cent n’a aucune signification. Bon, passons à un autre test: un Razer Phone contre un Samsung Galaxy Note 8.
| Razer Phone | Samsung Galaxy Note 8 | |
|---|---|---|
| 1 | 178219 | 175360 |
| 2 | 180698 | 176210 |
| 3 | 181227 | 176939 |
| 4 | 180238 | 176036 |
| 5 | 177600 | 175236 |
| 6 | 176727 | 176321 |
| 7 | 171843 | 122752 |
| 8 | 175492 | 175762 |
| 9 | 175660 | 176286 |
| 10 | 171611 | 114510 |
Téléphone portable
Samsung Galaxy Note8 EU
64 Go, Midnight Black, 6.30", Double SIM hybride, 12 Mpx, 4G
Le Note 8 s’est fait ramasser, ce qui n’a rien d’étonnant vu ses caractéristiques. Ce benchmark a été sympa à faire, mais je crois que j’ai perdu mon temps, n’est-ce pas?
Les informations que les benchmarks ne fournissent pas
Nous testons des smartphones, ce qui va bien au-delà des benchmarks. Un vrai compte rendu doit être fait à partir d’une utilisation quotidienne, et non des résultats d’une application. Même les meilleurs scores ne prennent pas en compte tous les facteurs. Ils ne vous diront rien sur les petites saletés sur l’écran de mon LG V30+ dont je ne peux plus faire abstraction maintenant que je les ai remarquées. La vitesse de l’appareil photo du Razer Phone n’est nulle part remise en question, et la durabilité du HTC One M7 n’est pas non plus mise en avant.
Seul un être humain peut identifier ces facteurs, les évaluer et les quantifier. Au final, malgré tous les benchmarks du monde, c’est vous qui maniez le téléphone, passez des appels, prenez des photos et envoyez des messages à vos proches sur WhatsApp. Une valeur arbitraire ne vous sera d’aucune utilité.
Voilà. J’ai terminé. Je continue mon test, sans benchmark, du moins la plupart du temps.
Journaliste. Auteur. Hackers. Je suis un conteur d'histoires à la recherche de limites, de secrets et de tabous. Je documente le monde noir sur blanc. Non pas parce que je peux, mais parce que je ne peux pas m'en empêcher.
Smartphone
Suivez les thèmes et restez informé dans les domaines qui vous intéressent.
17 commentaires
later