In diretta dal laboratorio: perché un benchmark non basta
31.1.2018
Traduzione: Leandra Amato
I benchmark dovrebbero fornire un confronto standardizzato tra smartphone e altre tecnologie, ma questi test automatizzati non tengono conto di un elemento essenziale: l'utente. Diamo uno sguardo dietro le quinte alla metodologia con cui effettuiamo i nostri test.
I benchmark promettono molto; soprattutto, sono un'indicazione affidabile, obiettiva e neutrale delle prestazioni di uno smartphone. Alcuni sostengono addirittura che siano superiori a qualsiasi altro tipo di test. Testo smartphone per lavoro e non sono d'accordo.
Non mi capita spesso di avere due telefoni dello stesso tipo sulla mia scrivania, ma con l'LG V30 ho questa opportunità: non solo ho un LG V30+, che arriva dalla Corea, ma anche una versione europea dell'LG V30.
I due dispositivi hanno solo due differenze:
- L’LG V30+ ha 128 GB di memoria interna, mentre l’LG V30 ne ha solo 64.
- L'LG V30+ ha uno slot SIM doppio ibrido, l'LG V30 invece no.
Tutte le altre specifiche tecniche sono identiche. Se li confrontassi in un’applicazione di benchmarking, i valori dovrebbero essere gli stessi.
Via al test: la mia metodologia per i benchmark
Per il mio test utilizzo i seguenti dispositivi:
l'applicazione che uso per il benchmark si chiama Antutu Benchmark, con l’add-on per il 3D. Nel Google Play Store ce ne sono moltissime, ma Antutu riceve costantemente ottime recensioni e quindi, dopo essermi consultato con i nerd del mondo mobile, la scelta è finita per caso su Antutu.
Qui ci imbattiamo nel primo problema: il test di benchmark. Non esiste un benchmark ufficiale, perché chiunque può sviluppare e pubblicare un'applicazione. Affinché un benchmark possa essere applicato universalmente, è necessario stabilire una sorta di standard. Ma questo standard non esiste. Qualsiasi benchmark può quindi essere contestato, perché i suoi punteggi avranno, nell'universo dei benchmark, lo stesso peso dei punteggi di Antutu.
Il risultato: il V30+ è il nostro vincitore
Ho eseguito dieci valutazioni su Antutu. I nerd dei dispositivi mobili non sono d'accordo: ognuno sa come il proprio benchmark sia più pertinente e quindi più significativo. Dopo ogni benchmark, lo smartphone deve essere messo in frigorifero per 30 minuti per raffreddarsi. Il telefono deve essere impostato in modalità aerea in modo che il trasferimento dei dati non interferisca con alcuna funzione.
La validità di un benchmark dipende da tanti fattori esterni e fornisce dati così incoerenti che, in linea di massima, può essere messa in discussione. Decido di procedere in questo modo: faccio dieci confronti consecutivi dei due telefoni, senza pause, frigoriferi e lune piene.
| LG V30 | LG V30+ | |
|---|---|---|
| 1 | 162116 | 169016 |
| 2 | 165968 | 168973 |
| 3 | 158907 | 163637 |
| 4 | 160792 | 160500 |
| 5 | 156781 | 157918 |
| 6 | 147413 | 152253 |
| 7 | 148210 | 149940 |
| 8 | 142798 | 148834 |
| 9 | 173738 | 173223 |
| 10 | 165803 | 168960 |
Una breve valutazione:
- L’LG V30 ha ottenuto una media di 158’252.60 punti
- L'LG V30+ ha ottenuto una media di 161’325.40 punti
- L’LG V30 ha ottenuto il punteggio individuale più alto con 173’738.00 punti.
- L’LG V30 ha ottenuto il punteggio individuale più basso con 142’798.00 punti.
In media, l'LG V30+ ne esce vincitore. La differenza media è di 3072.80 punti, che corrispondono a 1,9 punti percentuale. Ma durante il processo ho notato molte cose. Gli smartphone vengono messi nel frigorifero per farli raffreddare perché, secondo la teoria, uno smartphone freddo fornisce risultati migliori e più affidabili. Tuttavia, il mio test contraddice questa ipotesi, almeno in questo caso. Dovrei fare altri test per esserne sicuro, e i miei risultati non sarebbero comunque rappresentativi. Entrambi i telefoni hanno ottenuto i punteggi più alti nel nono test, ma i punteggi più bassi nell'ottavo.
Cosa può dirci un benchmark
Non sto dicendo che un benchmark sia inutile. Se confronto due telefoni completamente diversi, un vecchio HTC M7 del 2013 e un Razer Phone nuovo di zecca, ottengo i seguenti risultati:
Sorprendentemente, il Razer Phone (2018) vince sull'HTC M7 (2013)
.
| HTC One M7 | Razer Phone | |
|---|---|---|
| 1 | 40863 | 178219 |
| 2 | 40459 | 180698 |
| 3 | 40227 | 181227 |
| 4 | 40045 | 180238 |
| 5 | 40988 | 177600 |
| 6 | 40814 | 176727 |
| 7 | 40603 | 171843 |
| 8 | 40662 | 175492 |
| 9 | 40467 | 175660 |
| 10 | 39987 | 171611 |
Una breve valutazione:
- il Razer Phone ha ottenuto una media di 176’931.50 punti
- L'HTC One M7 ha ottenuto una media di 40’511.50 punti
- Il Razer Phone ha ottenuto il punteggio individuale più alto con 181’227 punti
- L'HTC One M7 ha ottenuto il punteggio individuale più basso con 39’611 punti
E questo cosa significa? Che il telefono nuovo è meglio di quello vecchio. Chi l’avrebbe mai detto? La differenza del 77,10% non ha alcun significato. Bene, facciamo un altro test. Razer Phone contro Samsung Galaxy Note 8.
Per telefoni più o meno uguali, non è necessario alcun test di benchmark
.
| Razer Phone | Samsung Galaxy Note 8 | |
|---|---|---|
| 1 | 178219 | 175360 |
| 2 | 180698 | 176210 |
| 3 | 181227 | 176939 |
| 4 | 180238 | 176036 |
| 5 | 177600 | 175236 |
| 6 | 176727 | 176321 |
| 7 | 171843 | 122752 |
| 8 | 175492 | 175762 |
| 9 | 175660 | 176286 |
| 10 | 171611 | 114510 |
Il Note 8 non ha una reputazione esattamente stellare. Il che non ci sorprende, date le sue caratteristiche. Nel migliore dei casi questo test di benchmark sarà un passatempo divertente che conferma le nostre tesi; nel peggiore dei casi, sarà solo una perdita di tempo.
Cosa non ci dice un test di benchmark
Testiamo i telefoni e lo facciamo in un modo che va ben oltre un benchmark. Un test realmente utile deve basarsi sull’utilizzo quotidiano del dispositivo, non sui risultati di un'applicazione. Anche i migliori punteggi non tengono conto di tutti i fattori: non ti diranno nulla sulla sporcizia sullo schermo del mio LG V30+, che non posso ignorare, ora che li ho notati. La velocità della fotocamera del Razer Phone non viene citata da nessuna parte, così come la durata della batteria dell'HTC One M7.
Per scoprire questi fattori, valutarli, qualificarli e quantificarli, ci vogliono gli occhi e le mani di un essere umano. Perché alla fine, nonostante tutti i benchmark del mondo, sei tu, una persona in carne e ossa, che utilizzi il telefono, fai chiamate, scatti foto e invii messaggi ai tuoi cari su WhatsApp. Ecco perché un valore arbitrario non ti servirà a niente.
Bene, questo è quanto. Io torno a fare i miei test, generalmente senza benchmark.
Giornalista. Autore. Hacker. Sono un contastorie e mi piace scovare segreti, tabù, limiti e documentare il mondo, scrivendo nero su bianco. Non perché sappia farlo, ma perché non so fare altro.
Smartphone
Segui gli argomenti e ricevi gli aggiornamenti settimanali relativi ai tuoi interessi.
17 commenti
later