2007-05-25

Tuffa krav på testpaneler

Råd & Röns tester utförs alltid i laboratorier. Men allt kan inte testas med maskiner och mätinstrument. Ibland måste mänskliga bedömningar vägas in för att resultatet ska bli användbart. Oftast anlitas tränade paneler eller experter.

Smak, doft och känsla hör till egenskaper som inte går att mäta med hjälp av maskiner. Detsamma gäller hur vi uppfattar bilder, ljud och färger.

När man testar tv-apparater, dvd-spelare, hörlurar och mp3-spelare måste man därför komplettera mätningarna med mänskliga bedömningar få att få en uppfattning om kvaliteten.

Att sätta ihop en fungerande panel kräver noggranna förberedelser för att resultatet ska bli användbart och tillförlitligt. Det gäller att välja ut relevanta personer i rätt antal och kombinationer, att ge dem bra instruktioner och att införa kontrollsystem som upptäcker brister under testets gång. Till exempel kan det krävas hörseltest, syntest eller hälsokontroll innan en panelmedlem blir godkänd.

Vad är blått?

Panelerna ser olika ut beroende på vad man vill ta reda på. Vill man använda panelen som ett objektivt mätinstrument måste medlemmarna först tränas för uppgiften. Det kan exempelvis handla om att träna fingertoppskänslan mot sandpapper i olika grovlekar för att sedan kunna be­döma hur huden känns hos personer som använt olika rakapparater.

Träningen ska göra panelen till proffs på att höra och se vissa egenskaper, som ljudet från en diskmaskin, och att betygsätta det på en skala. Ibland kan ett lågt ljud faktiskt upplevas som mer obehagligt än ett ljud med höga mätvärden.

När du tänker på en blå himmel minns du troligtvis en mycket starkare blå färg än den som en blå himmel har i verkligheten. Färgminnet är nämligen inte mycket att lita på eftersom det oftast minns mättade färger istället för naturliga. Vår upplevelse av färger varierar också beroende på kön, etnisk och social bakgrund och på var i världen vi bor. I vissa tropiska kulturer ser man exempelvis en slags grönblå färg istället för blå och grön. Kanske det beror på de starka banden till havet.

I ett paneltest med syftet att bedöma färg­kvaliteten måste medlemmarna tränas i att bedöma färger på samma sätt och att sortera bort den subjektiva upp­fattningen. För tillverkarna innebär det också att kameror och annan teknisk utrustning kan behöva ställas in på olika sätt för ”bästa kvalitet” beroende på var i världen de ska säljas.

Ofta kombinationer

Ibland kallas experter in som panelmedlemmar. Det kan handla om läkare som ska bedöma effekten av antirynkkrämer eller om personer med expertkunskaper om en viss bransch. De kan produkterna, vet hur de fungerar och vad som förväntas av dem. I testet av gräsklippare i det här numret är det experter som provkör de olika modellerna för att bedöma klipp­förmågan. Ofta används en kombination av experter eller tränade paneler och lekmän, som i det här numrets bedömning av hur praktiska och lätthanterade olika bilbarnstolar är. Lekmän ger vanligtvis bättre betyg än vad tränade bedömare och experter gör.

Vill man få en uppfattning om vad folk i allmänhet tycker om olika saker använder man en otränad lekmannapanel. För att få ett statistiskt säkerställt resultat som tål att upprepas måste gruppen vara tillräckligt stor, med en bra mix av rätt personer. Och för att få ihop den krävs en mängd frågeformulär. Att använda lekmannapaneler är därför ofta både dyrt och arbetskrävande.

Vad vi uppfattar som bra och dåligt styrs till stor del av vad vi är vana vid. Men även andra faktorer spelar in. Vi väljer exempelvis i allmänhet hellre låga nummer än höga och ger ofta bättre betyg till de första exemplaren vi konfronteras med än till de efterföljande. En förklaring är att man tröttar ut sina sinnen under provningens gång, exempelvis vid smakprovningar. Där­för är det bättre att ge produkterna tresiffriga, slumpmässiga nummer än att kalla dem 1, 2, 3 och så vidare.

Testerna ska också vara blinda och produkterna ska komma i olika ordning till de olika panelmedlemmarna. En referens­produkt ska finnas med och återkomma slump­­mässigt för att garantera att bedömningarna ska bli så tillförlitliga som möjligt.

Passiva eller aktiva

I vissa fall används lekmannapaneler som levande, passiva provdockor. Det gäller till exempel vid test av blodtrycksmätare, där läkare och experter svarar för alla bedömningar. När vi testade antirynkkrämer fick testpersonerna smörja in sig efter givna instruktioner för att sedan bedömas av maskiner och experter. Panelen fick också tycka till om krämernas kvalitet, som doft och konsistens, men deras uppfattningar vägdes inte in i totalbetyget eftersom grupperna var för små för att bedömningarna skulle anses statistiskt tillförlitliga.

Ett vanligt exempel på paneltest som saknar vetenskaplig grund, men som ändå kan ha ett visst underhållningsvärde, är när ett gäng redaktionsmedlemmar prov­smakar kräftor eller själva testar en kamera under en tid och sedan själva sätter sina betyg på dem.

Idag finns ingen internationell standard för vilka krav som ska ställas på paneltester. Nyligen samlades den internationella testorganisationen ICRT, där Råd & Rön är medlem, med ambitionen att ta fram gemensamma riktlinjer. Alla är överens om att testpanelerna behövs som ett viktigt komplement till det jobb som maskinerna sköter bäst.

Så stor ska panelen vara enligt Consumers Union, USA

• Vid bedömning av tv-kvalitet: 2–3 experter och 3–5 tränade panelmedlemmar.
• Smaktest vin och öl: 2 experter
• Smaktest av mat: 4–6 tränade panelmedlemmar
• Lekmannapanel: minst 60 personer