En coulisse
Fairphone 3 : Revue superflue
par Dominik Bärlocher
Antutu Benchmark Manipulation avec une cuisine et un peu de motivation
18/12/2018
Traduction : traduction automatique
Le standard est de la merde. Le benchmark Antutu a plus d'erreurs que personne ne le souhaite. Une analyse et un exemple avec un réfrigérateur.
Le problème : les scores sont extrêmement faciles à manipuler.
C'est pourquoi j'ai décidé de faire un petit test et de vous montrer un moyen de manipuler Antutu pour que l'application crache des chiffres significativement plus élevés. Je compare le gamer phone Xiaomi Black Shark à lui-même. Ajoutez à cela quelques chiffres de référence du Huawei Mate 20 Pro, car les différences en disent long.
La configuration : Les deux téléphones de test
Les téléphones de test sont donc dotés de différences aussi importantes que possible.
Xiaomi Black Shark : le puceau
Huawei Mate 20 Pro : le téléphone de poche
Le Mate 20 Pro est déjà en cours d'utilisation. Des applications comme Instagram, les e-mails ou WhatsApp se synchronisent en arrière-plan. Le Wi-Fi est éteint, les appareils mobiles allumés.
L'essai commence
Avant de commencer la manipulation, j'ai besoin de savoir ce dont le Black Shark est tout simplement capable. Je fais tourner Antutu trois fois de suite sur mon lieu de travail et dans une salle de réunion. Les scores :
- 227 410
- 224 099
- 220 689
Dans le graphique, je vois une diminution linéaire. Attention : le graphique est dans le style du parti nationaliste-conservateur suisse UDC : J'ai masqué la plage de 0 à 220 000 pour que les fluctuations soient visuellement les plus marquées possible. Cela concerne également les autres graphiques de cet article. Au final, je dessine un tableau dans lequel le Mate 20 Pro perd avec un écart important et embarrassant.
L'essai est ralenti par la température de l'appareil, car plus votre smartphone fonctionne à chaud, plus les systèmes de refroidissement ont tendance à s'emballer. Leur travail consiste à s'assurer que votre smartphone ne s'enflamme pas lorsque vous le poussez à bout. Comme la puissance entraîne une augmentation de la température, cette même puissance est réduite jusqu'à ce que l'appareil atteigne une température acceptable.
La question de la température
La manipulation la plus simple à réaliser est celle de la température. Si je refroidis un smartphone, il peut fonctionner plus longtemps à pleine vapeur avant que le système de refroidissement ne réduise ses performances. Je mets donc le Black Shark dans un Grip, également appelé sac à goûter, et je le mets au réfrigérateur. Après 30 minutes, je relance Antutu.
Le score : 284 089
Grâce au refroidissement externe par le réfrigérateur, le Phone a gagné 24 pour cent de rapidité ou d'amélioration selon Antutu.
Voyons si je peux pousser cela à l'extrême. Retour du Black Shark dans le Grip, puis au congélateur. 30 minutes plus tard : 285 853. Il semble donc que les performances du système se maintiennent à partir d'une certaine température, ou que les performances matérielles atteignent leur zénith au milieu des 280 000.
Bien sûr, le refroidissement extrême a un impact sur l'autonomie du Black Shark. Mais le fait que je consomme 60% de la batterie en une heure n'est pas pris en compte par Antutu.
Mais avec la montée en température, donc trois essais juste après le congélateur à température ambiante, le score revient à la normale.
Les scores en détail :
- 227 410
- 224 099
- 220 689
- 284 089
- 285 853
- 283 702
- 250 820
- 230 541
Le Mate 20 Pro passe sous la barre des 200 000
Le Huawei Mate 20 Pro n'a pas la vie facile. Je le teste uniquement à température ambiante, j'appuie sur "Test Again" dès que le test précédent est terminé. Le smartphone Huawei chauffe de plus en plus et cinq essais plus tard, il passe sous la barre des 220 000.
Le score : 199 911.
Les résultats des tests en détail :
- 260 886
- 247 398
- 242 193
- 221 842
- 199 911
Les questions en suspens
Il est bien trop facile de manipuler les scores. Si je peux faire croire à 24 pour cent de performances supplémentaires sur le chemin de la machine à café, c'est que quelque chose ne va pas avec le benchmark. Si je peux faire baisser artificiellement un score en exécutant simplement un essai à plusieurs reprises, l'essai ne vaut pas grand-chose.
Ensuite, il y a le problème des Global Scores. Même avec ma méthodologie de frigo, que je considère déjà comme excessive, je n'ai pas obtenu un score supérieur ou même proche du Global Score de 291 099. Comment ont-ils calculé cela ? Quelles sont les circonstances qui ont permis d'obtenir des scores qui dépassent mes 284 000 ?
L'essai nous amène à la conclusion décevante que les benchmarks ne sont pas aussi simples qu'ils le prétendent et qu'un chiffre commodément lisible n'a pas nécessairement de signification. Mais nous n'avons actuellement pas de meilleure alternative.
Voilà, c'est fini. Restez attentif et remettez tout en question.
Journaliste. Auteur. Hackers. Je suis un conteur d'histoires à la recherche de limites, de secrets et de tabous. Je documente le monde noir sur blanc. Non pas parce que je peux, mais parce que je ne peux pas m'en empêcher.
Smartphone
Suivez les thèmes et restez informé dans les domaines qui vous intéressent.
En coulisse
Des informations intéressantes sur le monde des produits, un aperçu des coulisses des fabricants et des portraits de personnalités intéressantes.
Tout afficher
