Non sei connesso a internet.
Corporate logo
SmartphoneSapere 1720

In diretta dal laboratorio: perché un benchmark non basta

I benchmark dovrebbero fornire un confronto standardizzato tra smartphone e altre tecnologie, ma questi test automatizzati non tengono conto di un elemento essenziale: l'utente. Diamo uno sguardo dietro le quinte alla metodologia con cui effettuiamo i nostri test.

I benchmark promettono molto; soprattutto, sono un'indicazione affidabile, obiettiva e neutrale delle prestazioni di uno smartphone. Alcuni sostengono addirittura che siano superiori a qualsiasi altro tipo di test. Testo smartphone per lavoro e non sono d'accordo.

Non mi capita spesso di avere due telefoni dello stesso tipo sulla mia scrivania, ma con l'LG V30 ho questa opportunità: non solo ho un LG V30+, che arriva dalla Corea, ma anche una versione europea dell'LG V30.

I due dispositivi hanno solo due differenze:

  1. L’LG V30+ ha 128 GB di memoria interna, mentre l’LG V30 ne ha solo 64.
  2. L'LG V30+ ha uno slot SIM doppio ibrido, l'LG V30 invece no.

Tutte le altre specifiche tecniche sono identiche. Se li confrontassi in un’applicazione di benchmarking, i valori dovrebbero essere gli stessi.

Via al test: la mia metodologia per i benchmark

Per il mio test utilizzo i seguenti dispositivi:

V30 (6", 64GB, 16MP, Cloud Silver)
CHF 699.–anziché 799.–1
LG V30 (6", 64GB, 16MP, Cloud Silver)
21

Disponibilità

Invio postale

  • più di 10 pezzo(i)
    nel nostro magazzino

PickMup

Ritiro

  • Basilea: oggi alle 13:10
  • Berna: oggi alle 12:45
  • Dietikon: oggi alle 14:30
  • Genf: oggi alle 13:30
  • Kriens: oggi alle 12:00
  • Losanna: oggi alle 15:40
  • San Gallo: oggi alle 15:30
  • Winterthur: oggi alle 13:30
  • Wohlen: oggi alle 11:00
  • Zurigo: oggi alle 12:30

Solo se ordini immediatamente.
Tutte le informazioni senza garanzia.

Visualizza i dettagli

V30+ (6", 128GB, Doppia SIM, 16MP, Moroccan Blue)
CHF 849.–
LG V30+ (6", 128GB, Doppia SIM, 16MP, Moroccan Blue)
11

Disponibilità

Invio postale

  • ancora solo 4 pezzo(i)
    nel nostro magazzino

PickMup

Ritiro

  • Basilea: oggi alle 13:10
  • Berna: oggi alle 12:45
  • Dietikon: oggi alle 14:30
  • Genf: oggi alle 13:30
  • Kriens: oggi alle 12:00
  • Losanna: oggi alle 15:40
  • San Gallo: oggi alle 15:30
  • Winterthur: oggi alle 13:30
  • Wohlen: oggi alle 11:00
  • Zurigo: oggi alle 12:30

Solo se ordini immediatamente.
Tutte le informazioni senza garanzia.

Visualizza i dettagli

l'applicazione che uso per il benchmark si chiama Antutu Benchmark, con l’add-on per il 3D. Nel Google Play Store ce ne sono moltissime, ma Antutu riceve costantemente ottime recensioni e quindi, dopo essermi consultato con i nerd del mondo mobile, la scelta è finita per caso su Antutu.

Qui ci imbattiamo nel primo problema: il test di benchmark. Non esiste un benchmark ufficiale, perché chiunque può sviluppare e pubblicare un'applicazione. Affinché un benchmark possa essere applicato universalmente, è necessario stabilire una sorta di standard. Ma questo standard non esiste. Qualsiasi benchmark può quindi essere contestato, perché i suoi punteggi avranno, nell'universo dei benchmark, lo stesso peso dei punteggi di Antutu.

Il risultato: il V30+ è il nostro vincitore

Ho eseguito dieci valutazioni su Antutu. I nerd dei dispositivi mobili non sono d'accordo: ognuno sa come il proprio benchmark sia più pertinente e quindi più significativo. Dopo ogni benchmark, lo smartphone deve essere messo in frigorifero per 30 minuti per raffreddarsi. Il telefono deve essere impostato in modalità aerea in modo che il trasferimento dei dati non interferisca con alcuna funzione.

I modelli LG V30 e LG V30+ sono quasi identici

La validità di un benchmark dipende da tanti fattori esterni e fornisce dati così incoerenti che, in linea di massima, può essere messa in discussione. Decido di procedere in questo modo: faccio dieci confronti consecutivi dei due telefoni, senza pause, frigoriferi e lune piene.

Una breve valutazione:

  • L’LG V30 ha ottenuto una media di 158’252.60 punti
  • L'LG V30+ ha ottenuto una media di 161’325.40 punti
  • L’LG V30 ha ottenuto il punteggio individuale più alto con 173’738.00 punti.
  • L’LG V30 ha ottenuto il punteggio individuale più basso con 142’798.00 punti.

In media, l'LG V30+ ne esce vincitore. La differenza media è di 3072.80 punti, che corrispondono a 1,9 punti percentuale. Ma durante il processo ho notato molte cose. Gli smartphone vengono messi nel frigorifero per farli raffreddare perché, secondo la teoria, uno smartphone freddo fornisce risultati migliori e più affidabili. Tuttavia, il mio test contraddice questa ipotesi, almeno in questo caso. Dovrei fare altri test per esserne sicuro, e i miei risultati non sarebbero comunque rappresentativi. Entrambi i telefoni hanno ottenuto i punteggi più alti nel nono test, ma i punteggi più bassi nell'ottavo.

Cosa può dirci un benchmark

Non sto dicendo che un benchmark sia inutile. Se confronto due telefoni completamente diversi, un vecchio HTC M7 del 2013 e un Razer Phone nuovo di zecca, ottengo i seguenti risultati:

Sorprendentemente, il Razer Phone (2018) vince sull'HTC M7 (2013).

Una breve valutazione:

  • il Razer Phone ha ottenuto una media di 176’931.50 punti
  • L'HTC One M7 ha ottenuto una media di 40’511.50 punti
  • Il Razer Phone ha ottenuto il punteggio individuale più alto con 181’227 punti
  • L'HTC One M7 ha ottenuto il punteggio individuale più basso con 39’611 punti

E questo cosa significa? Che il telefono nuovo è meglio di quello vecchio. Chi l’avrebbe mai detto? La differenza del 77,10% non ha alcun significato. Bene, facciamo un altro test. Razer Phone contro Samsung Galaxy Note 8.

Per telefoni più o meno uguali, non è necessario alcun test di benchmark.

Galaxy Note8 (6.30", 64GB, Doppia SIM, 12MP, Midnight Black)
Show- room
CHF 799.–
Samsung Galaxy Note8 (6.30", 64GB, Doppia SIM, 12MP, Midnight Black)
116

Disponibilità

Invio postale

  • più di 10 pezzo(i)
    nel nostro magazzino

PickMup

Ritiro

  • Basilea: oggi alle 13:10
  • Berna: ancora solo 1 pezzo(i)
  • Dietikon: ancora solo 1 pezzo(i)
  • Genf: oggi alle 13:30
  • Kriens: oggi alle 12:00
  • Losanna: ancora solo 1 pezzo(i)
  • San Gallo: oggi alle 15:30
  • Winterthur: ancora solo 1 pezzo(i)
  • Wohlen: oggi alle 11:00
  • Zurigo: oggi alle 12:30

Solo se ordini immediatamente.
Tutte le informazioni senza garanzia.

Visualizza i dettagli

Il Note 8 non ha una reputazione esattamente stellare. Il che non ci sorprende, date le sue caratteristiche. Nel migliore dei casi questo test di benchmark sarà un passatempo divertente che conferma le nostre tesi; nel peggiore dei casi, sarà solo una perdita di tempo.

Cosa non ci dice un test di benchmark

Testiamo i telefoni e lo facciamo in un modo che va ben oltre un benchmark. Un test realmente utile deve basarsi sull’utilizzo quotidiano del dispositivo, non sui risultati di un'applicazione. Anche i migliori punteggi non tengono conto di tutti i fattori: non ti diranno nulla sulla sporcizia sullo schermo del mio LG V30+, che non posso ignorare, ora che li ho notati. La velocità della fotocamera del Razer Phone non viene citata da nessuna parte, così come la durata della batteria dell'HTC One M7.

Per scoprire questi fattori, valutarli, qualificarli e quantificarli, ci vogliono gli occhi e le mani di un essere umano. Perché alla fine, nonostante tutti i benchmark del mondo, sei tu, una persona in carne e ossa, che utilizzi il telefono, fai chiamate, scatti foto e invii messaggi ai tuoi cari su WhatsApp. Ecco perché un valore arbitrario non ti servirà a niente.

Bene, questo è quanto. Io torno a fare i miei test, generalmente senza benchmark.

Potrebbero interessarti anche questi articoli

IFA_Handys21.jpeg
Novità
Michelle Oehri

Michelle Oehri

Category Marketing Manager

Profilo utente
  • 6120

Das kommt – an der IFA vorgestellt und schon (bald) bei uns im Handy-Sortiment

User
Giornalista. Autore. Hacker. I miei temi hanno a che fare principalmente con Android o Apple iOS. Anche la sicurezza informatica è molto importante per me, poiché oggi la privacy non è più una questione secondaria bensì una strategia di sopravvivenza.

17 Commenti

Per favore, effettua il login.

Devi effettuare il login per scrivere un nuovo commento.


User TheEscalader

Du hast völlig Recht. Beim Kauf vom Handy für den täglichen Gebrauch bringen einem Benchmarks nicht, dafür aber Reviews.
Und cooles Hintergrundbild! #fsociety

31.01.2018
Segnala abuso

Devi essere connesso al tuo account per segnalare un abuso.

User Dominik Bärlocher

Hello, friend.

31.01.2018
Segnala abuso

Devi essere connesso al tuo account per segnalare un abuso.

Effettua il login per poter rispondere al commento.

User garned

"Das LG V30 hat den niedrigsten Einzelwert von 172 798.00 Punkten erzielt"
Laut der Tabelle sollten das 142 798.00 Punkte, oder?

31.01.2018
Segnala abuso

Devi essere connesso al tuo account per segnalare un abuso.

User Dominik Bärlocher

Da hast du recht. Ist gefixed. Danke für den Hinweis.

31.01.2018
Segnala abuso

Devi essere connesso al tuo account per segnalare un abuso.

Effettua il login per poter rispondere al commento.

User reze_dig

tsss .. nur ruckeln darf es nicht bei Office Anwendungen mehr muss der Bench für mich selber nicht aussagen.
WICHTIG ist: Akkudauer (länger = besser!!!!), gute Lesbarkeit des Displays, evtl. Kamera und Spritzwasserfest sowie keine Fantasiepreise von 800.- plus

31.01.2018
Segnala abuso

Devi essere connesso al tuo account per segnalare un abuso.

User The Merc

Freut mich, dass dies für Sie wichtig ist. Leider kann man diese Dinge nicht so testen. Ruckeln stellt man am Besten bei Praxistests fest, anders wird's schwierig(er). Die Akkulaufzeit braucht keine Benchmark, hier gilt entweder auf die Specs vertrauen oder auch testen. Die Lesbarkeit muss man ebenfalls von blossem Auge in einer Vorführung feststellen, die Kamera kann auch viele schöne Specs haben, das Ergebnis hängt aber auch vom Geschmack des Users ab. Und am ende wirfst das Ding ins Wasser.

31.01.2018
Segnala abuso

Devi essere connesso al tuo account per segnalare un abuso.

User The Merc

Hier geht es auch eher um das Wissen, wie man mit Benchmarks umgehen soll. Die andern Daten sind entweder relativ zum Betrachter oder schwierigzu testen, oft via Anwendung nicht möglich. Wenn Sie also einen wirklichen Praxisvergleich möchten, schlage ich reviews, recherche und vielleicht sogar die Anfrage bei Bekannten, welche ein Gerät besitzen anzufragen.

31.01.2018
Segnala abuso

Devi essere connesso al tuo account per segnalare un abuso.

Effettua il login per poter rispondere al commento.

User miklagard

@Dominik Du als Hacker und Datenschützer solltest doch Wissen das man das Outlook ab nicht verwendet, da deine Maildaten über die Server Microsoft USA gelenkt werden...

31.01.2018
Segnala abuso

Devi essere connesso al tuo account per segnalare un abuso.

User fumo

ähm nein, Unsere Daten gehen nach Irland.
Aber Aluhutträger mögen echte Fakten ja nicht so, darum wirst du das eh nicht glauben wollen ;)

01.02.2018
Segnala abuso

Devi essere connesso al tuo account per segnalare un abuso.

User miklagard

Lieber Fumo
schon ein wenig älter aber der zustand ist noch nicht besser..
heise.de/mac-and-i/meldung/...

01.02.2018
Segnala abuso

Devi essere connesso al tuo account per segnalare un abuso.

User fumo

Lieber Miklagard
Genau lesen und nicht der Panikmache folgen hilft. Ich zitiere: "Dies geht aus den Datenschutzbedingungen für Acompli hervor". Was die Routine getan haben bevor sie von MS übernommen wurden ist kein gutes Anhaltspunkt für Vorwürfe. Gerichtsurteile beweisen dass die Daten der EU Nutzer von MS für US Behörden nicht einsehbar sind weil sie nicht über US Boden gehen.

01.02.2018
Segnala abuso

Devi essere connesso al tuo account per segnalare un abuso.

Effettua il login per poter rispondere al commento.

User xerxes300

Vorab, ich habe mich nicht über "Antutu Benchmark" informiert. Meine Frage, wie lange wird denn gebenchmarked? Wenn die Antwort unter 15min ist, dann sind die Benchmarks für mich noch nutzloser. Ich stosse nicht oft an die Grenze von einem Smartphone aber oft wird es heiss und wird langsamer.

31.01.2018
Segnala abuso

Devi essere connesso al tuo account per segnalare un abuso.

User xerxes300

Natürlich wird es langsamer um sich selbst vor dem Überhitzen zu schützen. Fachbegriff: Thermal throttling

31.01.2018
Segnala abuso

Devi essere connesso al tuo account per segnalare un abuso.

User Dominik Bärlocher

Eine Runde Antutu dauert gefühlte drei bis fünf Minuten.

31.01.2018
Segnala abuso

Devi essere connesso al tuo account per segnalare un abuso.

User July Sullivan

Wer sich die Tabelle genau ansieht merkt das beim Samung der Benchmark völlig in sich zusammenfällt im 10. Durchlauf. Ich mein das konnte zufall sein, ein "lag zwischendurch", könnte aber auch heissen das dass phone nach 30-50 Minuten Deuerbelastung nicht mehr zu gebrauchen ist... Dominik, eine Mission für dich :D

31.01.2018
Segnala abuso

Devi essere connesso al tuo account per segnalare un abuso.

User xerxes300

@July Sullivan Ich würde mich auch extrem über einen "richtigen" Benchmark freuen, der minimum 15min dauert. 3 min Benchmarks sind einfach. Das Handy mit der besten Hardware und Software Lösung gewinnt. Aber bei längeren Tests kommen noch Kühlung und Ausdauer ins Spiel.

01.02.2018
Segnala abuso

Devi essere connesso al tuo account per segnalare un abuso.

User djdomrep

Sinnvoll wären Benchmarks wie Prime95 bei PC's welchen man schön über Stunden/Tage oder auch Wochen durchlaufen lassen kann.
Abgesehen davon testen diese Benchmarks einige unnütze Sachen, siehe Geekbench.
Ich persönlich verwende 3DMark um die Geräte für Gaming zu testen und nicht um rauszufinden wieviel Fotos ich pro sekunde schiessen kann, da man eigentlich eh nur einzelne macht.
Gaming ist finde ich ein wichtiger Punkt bei Smartphones, sowie auch das "flüssige Erlebnis" bei der Verwendung.

02.02.2018
Segnala abuso

Devi essere connesso al tuo account per segnalare un abuso.

Effettua il login per poter rispondere al commento.