In diretta dal laboratorio: perché un benchmark non basta
RetroscenaMobile

In diretta dal laboratorio: perché un benchmark non basta

Dominik Bärlocher
Zurigo, il 31.01.2018
Responsabile di traduzione/revisione: Leandra Amato
I benchmark dovrebbero fornire un confronto standardizzato tra smartphone e altre tecnologie, ma questi test automatizzati non tengono conto di un elemento essenziale: l'utente. Diamo uno sguardo dietro le quinte alla metodologia con cui effettuiamo i nostri test.

I benchmark promettono molto; soprattutto, sono un'indicazione affidabile, obiettiva e neutrale delle prestazioni di uno smartphone. Alcuni sostengono addirittura che siano superiori a qualsiasi altro tipo di test. Testo smartphone per lavoro e non sono d'accordo.

Non mi capita spesso di avere due telefoni dello stesso tipo sulla mia scrivania, ma con l'LG V30 ho questa opportunità: non solo ho un LG V30+, che arriva dalla Corea, ma anche una versione europea dell'LG V30.

I due dispositivi hanno solo due differenze:

  1. L’LG V30+ ha 128 GB di memoria interna, mentre l’LG V30 ne ha solo 64.
  2. L'LG V30+ ha uno slot SIM doppio ibrido, l'LG V30 invece no.

Tutte le altre specifiche tecniche sono identiche. Se li confrontassi in un’applicazione di benchmarking, i valori dovrebbero essere gli stessi.

Via al test: la mia metodologia per i benchmark

Per il mio test utilizzo i seguenti dispositivi:

V30 (64GB, Argento Nuvola, 6", SIM singola, 16Mpx)
LG V30 (64GB, Argento Nuvola, 6", SIM singola, 16Mpx)
V30+ (128GB, Blu Marocchino, 6", Doppia SIM Ibrida, 16Mpx)
LG V30+ (128GB, Blu Marocchino, 6", Doppia SIM Ibrida, 16Mpx)

l'applicazione che uso per il benchmark si chiama Antutu Benchmark, con l’add-on per il 3D. Nel Google Play Store ce ne sono moltissime, ma Antutu riceve costantemente ottime recensioni e quindi, dopo essermi consultato con i nerd del mondo mobile, la scelta è finita per caso su Antutu.

Qui ci imbattiamo nel primo problema: il test di benchmark. Non esiste un benchmark ufficiale, perché chiunque può sviluppare e pubblicare un'applicazione. Affinché un benchmark possa essere applicato universalmente, è necessario stabilire una sorta di standard. Ma questo standard non esiste. Qualsiasi benchmark può quindi essere contestato, perché i suoi punteggi avranno, nell'universo dei benchmark, lo stesso peso dei punteggi di Antutu.

Il risultato: il V30+ è il nostro vincitore

Ho eseguito dieci valutazioni su Antutu. I nerd dei dispositivi mobili non sono d'accordo: ognuno sa come il proprio benchmark sia più pertinente e quindi più significativo. Dopo ogni benchmark, lo smartphone deve essere messo in frigorifero per 30 minuti per raffreddarsi. Il telefono deve essere impostato in modalità aerea in modo che il trasferimento dei dati non interferisca con alcuna funzione.

nessuna informazione disponibile su questa immagine
I modelli LG V30 e LG V30+ sono quasi identici

La validità di un benchmark dipende da tanti fattori esterni e fornisce dati così incoerenti che, in linea di massima, può essere messa in discussione. Decido di procedere in questo modo: faccio dieci confronti consecutivi dei due telefoni, senza pause, frigoriferi e lune piene.

LG V30LG V30+
1162116169016
2165968168973
3158907163637
4160792160500
5156781157918
6147413152253
7148210149940
8142798148834
9173738173223
10165803168960

Una breve valutazione:

  • L’LG V30 ha ottenuto una media di 158’252.60 punti
  • L'LG V30+ ha ottenuto una media di 161’325.40 punti
  • L’LG V30 ha ottenuto il punteggio individuale più alto con 173’738.00 punti.
  • L’LG V30 ha ottenuto il punteggio individuale più basso con 142’798.00 punti.

In media, l'LG V30+ ne esce vincitore. La differenza media è di 3072.80 punti, che corrispondono a 1,9 punti percentuale. Ma durante il processo ho notato molte cose. Gli smartphone vengono messi nel frigorifero per farli raffreddare perché, secondo la teoria, uno smartphone freddo fornisce risultati migliori e più affidabili. Tuttavia, il mio test contraddice questa ipotesi, almeno in questo caso. Dovrei fare altri test per esserne sicuro, e i miei risultati non sarebbero comunque rappresentativi. Entrambi i telefoni hanno ottenuto i punteggi più alti nel nono test, ma i punteggi più bassi nell'ottavo.

Cosa può dirci un benchmark

Non sto dicendo che un benchmark sia inutile. Se confronto due telefoni completamente diversi, un vecchio HTC M7 del 2013 e un Razer Phone nuovo di zecca, ottengo i seguenti risultati:

nessuna informazione disponibile su questa immagine
Sorprendentemente, il Razer Phone (2018) vince sull'HTC M7 (2013)

.

Phone (64GB, Nero, 5.70", SIM singola, 12Mpx)
Razer Phone (64GB, Nero, 5.70", SIM singola, 12Mpx)
HTC One M7Razer Phone
140863178219
240459180698
340227181227
440045180238
540988177600
640814176727
740603171843
840662175492
940467175660
1039987171611

Una breve valutazione:

  • il Razer Phone ha ottenuto una media di 176’931.50 punti
  • L'HTC One M7 ha ottenuto una media di 40’511.50 punti
  • Il Razer Phone ha ottenuto il punteggio individuale più alto con 181’227 punti
  • L'HTC One M7 ha ottenuto il punteggio individuale più basso con 39’611 punti

E questo cosa significa? Che il telefono nuovo è meglio di quello vecchio. Chi l’avrebbe mai detto? La differenza del 77,10% non ha alcun significato. Bene, facciamo un altro test. Razer Phone contro Samsung Galaxy Note 8.

nessuna informazione disponibile su questa immagine
Per telefoni più o meno uguali, non è necessario alcun test di benchmark

.

Razer PhoneSamsung Galaxy Note 8
1178219175360
2180698176210
3181227176939
4180238176036
5177600175236
6176727176321
7171843122752
8175492175762
9175660176286
10171611114510
Galaxy Note8 EU (64GB, Nero Mezzanotte, 6.30", Doppia SIM Ibrida, 12Mpx)
Samsung Galaxy Note8 EU (64GB, Nero Mezzanotte, 6.30", Doppia SIM Ibrida, 12Mpx)

Il Note 8 non ha una reputazione esattamente stellare. Il che non ci sorprende, date le sue caratteristiche. Nel migliore dei casi questo test di benchmark sarà un passatempo divertente che conferma le nostre tesi; nel peggiore dei casi, sarà solo una perdita di tempo.

Cosa non ci dice un test di benchmark

Testiamo i telefoni e lo facciamo in un modo che va ben oltre un benchmark. Un test realmente utile deve basarsi sull’utilizzo quotidiano del dispositivo, non sui risultati di un'applicazione. Anche i migliori punteggi non tengono conto di tutti i fattori: non ti diranno nulla sulla sporcizia sullo schermo del mio LG V30+, che non posso ignorare, ora che li ho notati. La velocità della fotocamera del Razer Phone non viene citata da nessuna parte, così come la durata della batteria dell'HTC One M7.

Per scoprire questi fattori, valutarli, qualificarli e quantificarli, ci vogliono gli occhi e le mani di un essere umano. Perché alla fine, nonostante tutti i benchmark del mondo, sei tu, una persona in carne e ossa, che utilizzi il telefono, fai chiamate, scatti foto e invii messaggi ai tuoi cari su WhatsApp. Ecco perché un valore arbitrario non ti servirà a niente.

Bene, questo è quanto. Io torno a fare i miei test, generalmente senza benchmark.

A 23 persone piace questo articolo


Dominik Bärlocher
Dominik Bärlocher
Senior Editor, Zurigo
Giornalista. Autore. Hacker. Sono un contastorie e mi piace scovare segreti, tabù, limiti e documentare il mondo, scrivendo nero su bianco. Non perché sappia farlo, ma perché non so fare altro.

Potrebbero interessarti anche questi articoli