Are the hardware reviews realized according to a scientific method?

[Fottemberg]

Some hours ago, during a discussion on Twitter...

Continue

[Yorgos]

many sites, which are paid to do the reviews, or do it to be favored by the manufacturer, are obeying the guidelines sent along with the product.
Novidia is one of those companies that releases "Reviewing Guides". They tell you what game to run, what settings, how long... etc.
On both CPU and GPU side, you can manipulate the outcome.
Some of the worst sites out there is AnandTech and TechpowerUp.
AnandTech had/has some obsession with ram and JEDEC standards. The last 2 years they stopped it, or changed their methodology for a reason unknown to me. Since their Purch media acquisition they should be considered a novidia and intel promoting site(although novidia stopped being a purch media customer for a couple of years)
TechpowerUP, otoh has the most skewed results. They dump all the data they have from the past decade, regardless of S/W versions, drivers, etc, into a pile of stinking charts and throw it into their "review".
I guess they will redo all those benchmarks they did the last 2.5 years with intel and amd applying security patches and scheduler updates.... not. TPU charts is like reading Earth centric planet system Astronomy papers from 500 years ago.
There was this TechSpot bulldozer review I was reading back in the day, where some 8 core chips got beaten by a dual core i3. How is that possible? well, if you are encoding movies using MPEG-1 (I don't remember the algorithm they used) at 480p (yes, they were targeting that resolution) It's obvious that a 125W/8=15.625Watt Core will lose against a 65W/2=32.5Watt Core.
You can fool the reader easily, by hiding those details.
Someone said "look that i-core with 6cores is better at encoding compared to that 32cores when using handbrake". Well, nobody told to the viewers that most encoding s/w doesn't scale beyond (usually) 12 threads.

Even if your are willing to post all the benching details, you should justify the choice you made on each s/w.
Here's an example of how you can make intel look good. 10/20 7900x vs 16/32 1950x
test one: "Low" presets. "Here we transcode a 640x266 H264"... but why?
here's why: https://images.anandtech.com/graphs/gra ... /90032.png
you can cripple any cpu in every benchmark.

[Fottemberg]

Yes, I agree with you. I think tech companies and tech journalists need to get together and have a round table to come up with a shared review guideline. At the present moment reading a review is like to trying to understand the Rosetta stone. :\

[charlotto]

un articolo scientifico cerca di osservare la realtà naturale attraverso la ripetivilità dell'esperimento sintetizzandola in una relazione matematica o legge. Il mondo dell'hardware-software potrebbe o dovrebbe fare lo stesso entro i limiti che lo caratterizzano. a complicare le cose sono la complessità del sistema che si sta ossercano dovuta all'enorme varietà di software e la mutabilità temporale dovuta essenzialmente alla riscruttura del softoware stessp. inoltre, c'è il vizio! ovverso il fatto che c'è una competizione tra marche che può falsificare la realtà per favorire un concorrente. il vizio si può manifestare proponendo scenari che sono a favore di una determinata marca, in modo che anche se sono ripetivili, non sono rappresentativi del valore globbale di ciò che si osserva. il vizio può agire anche falsificando i dati, con mezzucci software ecc. escludendo il vizio, il problema della scientificità dei test diventa, esiste una configurazione softaware (non si puà fare una misura utilizzando tutti i software) che sia rappresentativa del valore oggettivo di ciò che si sottopone a test?

[Blobay]

We need the possibility to make a comfortable peer review. In my opinion, without we can't accept any review.

[lucusta]

Yes, I agree with you. I think tech companies and tech journalists need to get together and have a round table to come up with a shared review guideline. At the present moment reading a review is like to trying to understand the Rosetta stone. :\

mi è ricapitato di leggere questo vecchio articolo, Gian Maria e devo ammettere che mi ha strappato un sogghigno di soddisfazione

non c'è necessità di mettere assieme tutti i revisori per fare uno standard comune, anche perchè dovrebbe essere uno standard in evoluzione, dalla review di un prodotto a quello successivo, a causa delle enormi differenze che possono portare due prodotti di generazione diverse e perderebbe qualsiasi scopo di uniformare la materia.
semplicemente basta che qualcuno entri nel "mercato" delle recensioni e faccia le reviews fatte per il pubblico e non per il marketing; li sbaraglierebbe tutti.

forse l'hai notato eseguendo i tuoi test, ma fare test è impegnativo e costoso.
per mia esperienza (e faccio test scientifici da oltre 30 anni tutti i giorni perchè è il mio lavoro), posso dirti che fare dei test ripetibili è semplicemente troppo oneroso per lo scopo delle tech news, che sarebbe solo quello d'informare il pubblico (ma che sappiamo tutti che, nella maggior parte dei casi, soprattutto sui media più "autorevoli" si tratta di influenzare le scelte del pubblico, quindi di marketing).
per rendere una procedura di test robusta devi andare a controllare ogni singola variabile del sistema (compreso quello di rilevazione) per capire l'influenza che apporta; anche la semplice frequenza di campionamento di un dato potrebbe influenzare la determinazione del valore.
in più parliamo di HW sottoposto a test usando software distintamente parametrizzabile e guidato da software, anche questo parametrizzabile indipendentemente; vai a creare quindi una combinazione di variabili virtualmente infinita, perchè, per essere una procedura soddisfacente ai fini di una determinazione scientifica, devi andare a testare la variabile in tutti i suoi valori, per ogni combinazione di tutte le variabili.
già se hai 4 volori a variabile per 4 variabili ottieni 4! (calcolo combinatorio: permutazioni semplici senza ripetizioni), cioè 24 test; ora immagina quanti test dovresti fare contando tutte le impostazioni HW che puoi variare (magari che si semplificano perchè correlate tra di loro, come ad esempio la frequenza delle ram e l'impostazione delle latenze, in cui non puoi usare alcune latenze per tutte le frequenze possibili impostabili), con tutte le variabili dell'impostazione dell'OS (usando profili energetici diversi, ad esempio), con tutte le variabili dell'impostazione dei driver fino ad arrivare a tutte le variabili dell'impostazione del singolo software...
quindi, la prima cosa da fare è di standardizzare più variabili possibili, lasciandole al valore dichiarato dal produttore (ma il valore pubblicizzato, non quello che puoi eventualmente usare, come appunto il PL2 dei processori Intel.
bhè, io, con meno variabili strumentali e fisiche, di solito arrivo a scrivere un faldone da 300 pagine per validare una nuova procedura di test, ma è in ambito scientifico e almeno quella procedura rimane operativa per tutta la vita produttiva del prodotto (ed anche oltre, con le revisioni biennali)....
e 300 pagine sono solo i test eseguiti da allegare alla validazione; poi, dopo quel lavoro di validazione, si estrarrà la procedura di test che indicherà che parametri utilizzare, che macchine utilizzare (si, si deve fare una validazione anche per singolo strumento utilizzato... se cambia marca dello strumento, dovrai fare un'altra validazione), e come trattare il prodotto per ogni singolo test richiesto per la determinazione di un singolo valore (moltiplicalo per tutti i valori richiesti da uno screening analitico e puoi renderti conto che una validazione di una procedura nuova per un prodotto m'impegna anche per diversi mesi... l'ultima volta avevo una 30ina di nuovi prodotti e mi ci sono voluti 2 anni e mezzo, con 6 persone ad eseguire test).
ma questa è il modus operandi in ambito prettamente scientifico, richiesto nel mio settore produttivo.
quindi l'idea di "standardizzare" le reviews credo che si possa abbandonare a priori, visto che lo dovresti fare per ogni nuovo HW o software.

si possono però indicare linee guida, ossia chiedere, come hai ben illustrato, che la procedura del test che hai adottato e tutti i parametri (HW e SW) di ogni variabile vengano semplicemente dichiarati, in modo da poter offrire agli altri la possibilità di ripetere il medesimo test, cosa che, mi dispiace dirlo, nemmeno nelle tue reviews fai in maniera completa, perchè ometti i singoli settaggi dei singoli parametri del software, la temperatura della stanza in cui operi, o su che build operi, ma soprattutto non metti mai in correlazione le variabili vitali del sistema per ogni test che fai: prestazioni, sfruttamento dell'HW, consumo e calore.
oltretutto questi test dovrebbero essere sempre e comunque correlati con altre rilevazioni.
mi spiego: quando testi un gioco per determinare la potenzialità dell'HW, dovresti anche allegare la variabilità del framerate (completa, e ben leggibile, utilizzando un semplice grafico a gaussiana), la variabilità dell'uso della GPU, sempre correlata, momento per momento, don l'esecuzione del test, la variabilità dell'uso di ogni singolo core della CPU, la variazione della temperatura e il consumo dell'HW.

è del tutto inutile dire che il 9900K arriva a consumare, di picco, 250W, se poi non mi fai vedere se quel picco di consumo è solo uno sporadico spike con valore totalmente distante dal valor medio o se è il valore più alto di un serie di valori molto vicini tra loro.

ad esempio vedo spesso che nelle reviews indicano il consumo massimo di una GPU su un gioco, ma poi non offrono al lettore la possibilità di constatare se in quello specifico gioco quello specifico HW continua a mantenere un profilo prestazionale tipico come negli altri giochi testati.
in pratica fanno vedere test prestazionali dove il valore di una GPU è mediamente di un certo livello, senza mostrare il consumo nei singoli giochi testati e poi fanno vedere il consumo massimo su un gioco dove non mostrano le prestazioni ottenute, e magari è un gioco che sfrutta diversamente quell'HW e produce una prestazione nettamente in contrasto con quella dei test precedenti... non relazionando le variabili di prestazione e consumo in maniera puntuale, non hai fatto nulla di "scientificamente" valevole.... hai solo sprecato test e tempo.
ma sappiamo bene perchè procedono in questo modo... non dire una verità non è la stessa cosa di dire una bugia.
ed è questo il problema che hai sollevato:
queste "reviews" sono bugie etichettabili come marchette o sono mezze verità, comunque etichettabili come marchette , e/o come inesperienza, e/o solamente come inadeguatezza , ma comunque fatte in questo modo per dire solo le verità che si vogliono dire?

con l'esperienza che ho, posso dirti con assoluta certezza che nessuno fa test che possano essere presi minimamente sul serio, perchè se devi andare a guardare differenze di pochi punti percentuali tra due HW molto simili tra loro, non puoi farlo in quel modo, almeno se vuoi essere credibile su chi il "mestiere" lo conosce bene (ma anche verso chi usa in modo opportuno la propria intelligenza).

quindi, visto che difficilmente si potrà mai riuscire a mettere tutti i reviewers delle tech news d'accordo tra di loro in una metodologia di test efficacie, sarebbe il caso di far capire almeno al pubblico che quello che leggono sono solo sciocchezze, perchè cose fatte come le stanno facendo le più famose tech news sono solo da considerare sciocchezze fatte per perdere tempo o per influenzare i più sciocchi (e, da quanto posso constatare nei forum, puntano proprio a questo profilo di utenza, perchè se non sono i più numerosi, sono comunque quelli che fanno più confusione e non fanno altro che influenzare altri che non hanno, per interesse o per cultura, nessuna dimestichezza nel poter giudicare un HW, ma che lo comprono e basta, affidandosi alla millantata esperienza di amici, ma più spesso di sconosciuti).

io sono un po' estremista su certe questioni, ma perchè nel mio lavoro si lavora anche contro gli interessi di chi ti paga, perchè si lavora con il mandato di curare la qualità del prodotto, non quello di curare l'andamento della fabbrica... se poi i prodotti non sono della qualità desiderata, i problemi della fabbrica ti assicuro che sono nettamente più costosi di quanto siano i "benefici" nel fare le cose in modo approssimativo (e comunque lo facciamo per indicare alla produzione come risolvere i problemi di qualità del prodotto).
in molte procedure di test che elaboro metto sempre un indice indipendente, influenzato da parametri (soprattutto fisici e strumentali) indipendenti dal soggetto di analisi, non tanto per validare il test, ma per evitare che l'esecutore del test troppo facinoroso, che per inesperienza non capisce l'importanza di uno screening sulla qualità, "aggiusti" i parametri per rendere buono quello che in realtà non è; farlo su due indici diversi è assai più complicato, se non impossibile, nella maggior parte delle volte (perchè per essere uno che fa bene questo tipo di lavoro devi essere anche il più bravo a saper scardinare ogni tipo di limite che chi crea le procedure riesce a imporre, ed io ti posso far diventare bianco anche il "corpo nero assoluto", se la procedura è fatta da qualcun altro... quando diventa impossibile anche per me imbrogliare su una mia stessa procedura, allora mi ritengo quasi soddisfatto).
quindi la correlazione di variabili è vitale in certe questioni, perchè significa far passare il revisore da una mezza verità non detta ad una vera bugia se sofistica i dati e ti assicuro che non tutti sono disposti a perdere credibilità per una marchetta, quando per farlo devono mentire in modo palese.

PS:
purtroppo, usando apparecchiature HW e software per la determinazione dei test, sono tenuto anche a validare questi, perchè non c'è nessuna azienda che ti garantisce e validi un software o un HW in modo legale (ossia con responsabilità penale e civile se trovi un bug che porta ad una errata valutazione usando i loro strumenti), neppure pagandoli!
e se sono noiose le validazioni delle procedure analitiche dei test scientifici, non potrai mai capire quanto lo siano quelle di HW e software e quante rogne porti la scoperta di un bug software o, peggio ancora HW (e non è raro, anzi...).

[Fottemberg]

Eh, lo so, Lucusta, che neppure la mia metodologia di test al 100% scientifica, ma l'inserire - almeno - la versione dei software e tutta la componentistica hardware sarebbe già un grosso passo in avanti. A grandi linee si potrebbero verificare un buon grado di approsimazione i risultati ottenuti da altri. Oggi come oggi può capitare di vedere dei delta anche del 30 o 40%. Assolutamente inconcepibile!
Nelle prove delle automobili puoi osservare una differenza nella velocità di punta di 5%, nello spazio di frenata puoi osservare una devianza simile ... ma non vedrai mai una Ferrari andare ai 320 in una recensione, e a 220 nell'altra. Nelle recensioni della componentistica informatica, invece, capita proprio questo.
Altrimenti, come detto, mi metto a scrivere recensioni su hardware che non ho, tanto i risultati li posso inserire a caso, basta che rimangano entro un certo range ...

[lucusta]

bhè, questo modo di fare deriva proprio dagli infotech automotive, dalle riviste patinate che c'erano quando eravamo ragazzini e che ancora continuano ad esserci in edicola dedicate all'automotive... e sono tutte dedite alla stessa cosa: fare pubblicità occulta pagata.
è un mercato pubblicitario redditizio ed era fuori di dubbio che fosse importato anche in altri settori.
se VW ha pagato 122 milioni di dollari in pubblicità nel 2016, solo in Italia, verso TV, internet e giornali, puoi capire il giro d'affari che ruota attorno a questi soldi e alla gente interessata ad intascarli, anche e soprattutto compiacendo il cliente.
cliente che (non necessariamente VW) ha tutti gli interessi nel fare soldi, con ogni mezzo.

guardati la storia di Thomas Midgley; ingegnere chimico presso GM, l'uomo che ha inventato le più sporche schifezze chimiche negli anni 30 e che ci son voluti 50 anni per metterle al bando, dopo che avevano avvelenato l'intero mondo: addizionare il piombo tetraetile alla benzina e il capostipite dei CFC, il diclorodifluorometano (morì per un incidente, ma provocato della poiomelite che lo allettò).

in piccolo succede ovunque, soprattutto nei mercati di nicchia, per appassionati: si fa la rivista, il sito o il canale YT specifico e si riempe di prodotti da pubblicizzare, nei modi più congeniali, e non sempre etici.

per arrivare a quell'equilibrio di cui parli ci sono volute decadi di reali lotte processuali in cui gli organi di controllo della pubblicitàe quelli antitrust (che in alcune nazioni sono stati istituiti proprio per limitare l'invadenza delle testate giornalistiche specializzate sull'automotive) son arrivati anche a chiudere testate perchè andavano palesemente contro gli interessi del pubblico praticando pubblicità ingannevoli e omissioni.

te l'ho detto: prima o poi comparirà una nuova "specie" che semplicemente renderà alla maggiorparte impossibile continuare a praticare questo tipo di pubblicità, perchè strutturerà il settore elevandone il livello, come è successo nell'automotive, in cui, se devi dare dei numeri, lo puoi fare solamente se hai dietro una struttura professionale e a prova di critiche (scientifiche) o diversamente di devi attenere solo a quello dichiarato dalla casa produttrice...
in questo modo si elimina la concorrenza e si concentra quel tipo di pubblicità, assai remunerativa, solo su pochi...
è solo questione di tempo...

[Blobay]

Io mi arrabbio sempre più, nel vedere i cosiddetti influencer in canali stile Istagram, Facebook, et simila, che propongono prodotti sponsorizzati ma non dichiarandolo.
Si chiama "pubblicità ingannevole":

Decreto Legislativo 2 agosto 2007, n. 145 - Pubblicità ingannevole

Attuazione dell'articolo 14 della direttiva 2005/29/CE che modifica la direttiva 84/450/CEE sulla pubblicità ingannevole

(Gazzetta Ufficiale n. 207 del 6-9-2007)

https://www.agcm.it/chi-siamo/normativa ... onsumatore

di cui cito:

Art. 1
...
2. La pubblicità deve essere palese, veritiera e corretta.

Art. 5

Trasparenza della pubblicità


1. La pubblicità deve essere chiaramente riconoscibile come tale.

La pubblicità a mezzo di stampa deve essere distinguibile dalle altre forme di comunicazione al pubblico, con modalità grafiche di evidente percezione.

2. ...

3. É vietata ogni forma di pubblicità subliminale.

Ora, in base alla LEGGE, tutte le sponsorizzazioni devono essere dichiarate come tali. Tutto quello che viene offerto in pagamento o pagato come prestazione, deve essere dichiarato pubblicità.
Se un ragazzino su Youtube parla di un prodotto, perché pagato per farlo, questo si chiama pubblicità "ingannevole" e deve essere sanzionato.
L'unico motivo per cui questo non viene dichiarato, è semplicemente perché non è "pubblicità a mezzo di stampa".
Se i canali di Youtube dovessero essere paragonati alla carta stampata, allora verrebbero fuori delle belle gatte per questi sedicenti sponsorizzatori da quattro soldi che si arricchiscono alle spalle degli ingnari.

Lo stesso però vale per le testate online che parlano di prodotti per i quali sono stati pagati per promuovere.
Dovremmo essere tutti avvocati in questa vita ed andare avanti a forza di denunce, piuttosto però lascio correre. Il mio però è un lasciar correre critico, nel senso che non dimentico.

[lucusta]

youtube è paragonato ad un media come la TV e se nella TV sono costretti a passare la scritta del messaggio pubblicitario e a dichiarare la sponsorizzazione, lo devono fare anche gli youtuber quando lo fanno.
te la fanno passare come test, revisione, prova, parere personale., ma se tu parli di un prodotto, è pubblicità, che tu venga pagato o meno, sempre lo è (la differenza è se non ti pagano sei anche poco furbo a rischiare multe, anche salate).