Home » Articoli » Dati oggettivi e soggettivi e valutazioni manuali di accessibilità
31/05/2004
Dati oggettivi e soggettivi e valutazioni manuali di accessibilità
[di Maurizio Boscarol]
Per affrontare la valutazioni di accessibilità di un sito è necessario chiarire alcuni concetti circa la natura dei dati e dei loro modi di raccolta, per evitare di riferirsi in maniera impropria ai diversi metodi di analisi e di trattare i dati con strumenti statistici o concettuali impropri.
Le distinzioni rilevanti sono 3:
- Dati oggettivi/soggettivi
- Dati quantitativi/qualitativi
- Valutazioni automatiche/Manuali
Dati oggettivi e dati soggettivi
La distinzione fra dati oggettivi e soggettivi può essere così riassunta:
- Dati oggettivi
- Sono esterni alla mente dell'osservatore, esistono indipendentemente da lui, e hanno un alto grado di interosservabilità. Il che significa che diversi osservatori nelle medesime condizioni osservano lo stesso dato.
Un alto grado di interosservabilità non significa un grado assoluto: infatti le caratteristiche dell'osservatore contano, eccome: ad esempio un cieco non può osservare un colore, che invece è interosservabile per vedenti non daltonici, ed è al contempo misurabile sulla base di strumenti come i colorimetri. Il fatto che daltonici o ciechi non siano in grado di confermare l'osservazione del colore, non significa che il dato (la luce riflessa dalla superfice in questione) non sia oggettivo, ma che non è univoca la sua percezione. Il che non rende il dato meno oggettivo. Semplicemente, come tutti i dati, la sua percezione dipende dalle caratteristiche dell'osservatore, e di queste bisogna tener conto nelle analisi. Il che apre una parentesi filosofica e metodologica che è fuori dagli scopi del presente articolo.
- Dati soggettivi
- Derivano da giudizi e opinioni, e non da misure od osservazioni esterne. I dati soggettivi non esistono senza quell'osservatore, non sono interosservabili. Ad esempio, il giudizio su un film è soggettivo. Anche se altri spettatori possono dare giudizi simili, ogni giudizio è personale e almeno in parte differente. I giudizi soggettivi di un gran numero di soggetti possono essere raggruppati e classificati, ma essi si riferiscono ciascuno al vissuto di un singolo soggetto, e non esisterebbero senza di esso.
Dati quantitativi e qualitativi
- Dati quantitativi
- Quando, all'interno di un insieme di osservazioni, ogni singola osservazione è un numero che rappresenta una grandezza o una quantità. Ad essere quantitativo o qualitativo è il dato della singola osservazione. Ad esempio, il tempo di esecuzione di un compito o il numero di errori commessi in una prova sono dati quantitativi. I dati quantitativi sono sempre numeri, e rappresentano grandezze e quantità.
- Dati qualitativi
- Quando, all'interno di un insieme di osservazioni, ogni singola osservazione è una parola, una frase, una descrizione o un codice che rappresenta una categoria. Ad esempio, un giudizio di tipo "mi piace/non mi piace" è un dato qualitativo, come lo è l'appartenenza ad una categoria merceologica di un prodotto, o la collocazione di un'azienda in un settore (telecomunicazioni, piuttosto che commercio estero). La cosa importante è che conta la natura del singolo dato, e non di un insieme di dati. Ad esempio, possiamo ben sommare il numero di aziende che appartengono al settore delle telecomunicazioni e quello delle aziende del settore commercio estero. I dati così ricavati sono quantitativi, e come tali possono essere trattati, ma le singole osservazioni rimangono qualitative.
Su dati quantitativi e qualitativi non è lecito condurre lo stesso tipo di elaborazioni statistiche e di trattamenti. Una panoramica delle operazioni che è possibile eseguire su questi dati ci obbligherebbe a parlare di scale di misura, argomento che è fuori dagli scopi di questo articolo ma che è reperibile in qualunque manuale di tecniche di analisi dei dati.
Rapporto fra le dicotomie
Spesso si sovrappongono i dati oggettivi con i dati quantitativi, e i dati soggettivi con i dati qualitativi, ma tale sovrapposizione è errata. Un dato può benissimo, infatti, essere oggettivo e quantitativo, o ugualmente oggettivo, ma qualitativo. Esistono tutti i tipi di incroci fra queste due categorie, come elenchiamo qui sotto:
- dato oggettivo - quantitativo:
- Il tempo di esecuzione, il numero di errori, la percentuale di successo, ecc.
- dato oggettivo - qualitativo:
- La risposta alla domanda: "il colore è usato per veicolare informazioni sui dati?". In precisi contesti la risposta non può che essere sì o no, qualitativa, e assolutamente oggettiva. Molti dei check-point delle wcag 1.0 per le valutazioni di accessibilità rientrano in questa categoria. Un altro esempio è se è chiarita o meno la lingua principale di un documento.
- dato soggettivo - quantitativo:
- Un tipico esempio è una scala di valutazione da 1 a 5 o da 1 a 7 circa una caratteristica del sito, o il voto assegnato ad un compito. Per quanto ci si sforzi di essere obiettivi, valutatori (o insegnanti) diversi daranno giudizi o voti almeno in parte differenti. I giudizi sono soggettivi, e i dati di tipo quantitativo.
- dato soggettivo - qualitativo:
- L'assegnazione di attributi specifici ad un sito, a una persona, a qualunque aspetto. Ad esempio, si può scegliere una serie di aggettivi per identificare un sito (professionale, tecnologico, amichevole...), o la categoria di appartenenza (e-commerce, informativo, educativo, ecc.). Un altro esempio è il giudizio dell'equivalenza testuale di un attributo alt in un'immagine. In molti casi il giudizio di equivalenza è oggettivo, ma in altri è soggettivo, e dipende dall'interpretazione del ruolo funzionale di quell'immagine in un certo contesto e in riferimento ad un determinato scopo.
Valutazioni automatiche e manuali
Chiarita la differenza fra dati oggettivi e soggettivi e fra dati quantitativi e qualitativi, e i rapporti fra le due categorie, passiamo a considerare la maniera in cui i dati possono essere raccolti. In relazione ai giudizi su un sito, possiamo distinguere fra dati forniti da strumenti automatici e dati forniti da valutazioni manuali, o da giudizi umani. La terminologia qui non è univoca, ma è bene chiarirsi sul concetto.
- Valutazione automatica
- Una misura o una stima fornita esclusivamente da uno strumento automatico, nel nostro caso un programma, un algoritmo, che ci dice se una certa condizione è rispettata o meno.
- Un esempio sono i validatori di codice. Un validatore riceve una url, e restituisce in output la validità o meno dell codice rispetto ad una grammatica formale pubblicata. Il dato prodotto è immediatamente disponibile per un uso univoco. È per definizione oggettivo, ma può essere tanto qualitativo che quantitativo.
- Valutazioni manuali
- Tutte quelle misurazioni che non possono essere demandate esclusivamente alla macchina, ma che hanno bisogno di una valutazione umana. A volte una macchina o un algoritmo possono essere utilizzati per questa valutazione: ma l'output ha bosogno di interpretazione, valutazione da parte di un umano con un certo grado di competenza, perché l'output automatico da solo non è immediatamente applicabile o comprensibile o univoco.
- Tra le valutazioni manuali ci sono anche le analisi esperte e persino i test di usabilità, che richiedono la partecipazione di utenti e di valutatori umani per definizione. In queste circostanze si possono raccogliere dati di tutti i tipi: quantitativi, qualitativi, soggettivi ed oggettivi.
Valutare secondo le wcag 1.0
Queste brevi distinzioni, lungi dall'essere solo teoria, entrano in gioco nel momento in cui dobbiamo iniziare una valutazione secondo i chekpoint delle linee guida del w3c per l'accessibilità, versione 1.0.
L'aderenza o meno di un sito ai criteri di accessibiiltà si decide in pratica proprio in riferimento ai check-point, che sono organizzati in priorità A, AA, AAA. Per ogni checkpoint è sono previste tre possibili condizioni: Sì, No, Non applicabile. Queste valutazioni sui checkpoint di che tipo sono? Manuali o automatiche? Soggettive o oggettive? Quantitative o qualitative?
Solo valutazioni qualitative
Quel che senza dubbio possiamo dire è che tutte queste valutazioni sui check point sono di tipo qualitativo, per il modo in cui sono formulati. Un check point non potrà mai, infatti, essere rispettato "in parte": non è previsto. Se si applica, allora può solo essere rispettato o violato. La valutazione è qualitativa, di tipo si/no. Il check-point funge da criterio qualitativo.
Questo modo di valutare l'accessibilità ha i suoi limiti. Ad esempio, una pagina che è costruita secondo tutti i crismi dell'accessibilità, ma in cui ci si è dimenticati di inserire un alt text, viola il corrispondente check-point (1.1) esattamente come una pagina costruita con tutte le immagini senza alt. È ingiusto? Certamente sì, e questo vale anche per tutti gli altri criteri. È indubbio che una dimenticanza non sia equivalente a non aver nemmeno provato a rendere accessibili le immagini.
Ma se per ogni check-point dovessimo stabilite un grado di soddisfacimento (facendo diventare la valutazione quantitativa) avremmo, sì, dati più precisi, ma anche valutazioni molto più complesse, al limite dell'impraticabilità. Che senso avrebbe dire "questa pagina rispetta il check point all'80%", perché magari 8 immagini su 10 hanno un corretto alt text, e due non ce l'hanno? L'obiettivo è giungere ad una piena accessibilità, dunque il check point non risulta soddisfatto.
Abbiamo parlato degli equivalenti testuali per le immagini (in realtà per ogni elemento che lo richiede...). Il criterio è di tipo soggettivo, e la valutazione manuale. Richiede infatti una valutazione esperta che consideri, sulla base di considerazioni complesse, se l'equivalente testuale è effettivamente equivalente al contenuto dell'immagine. Se in alcuni casi la valutazione può essere uniformata da un criterio chiaro, ci sono casi in cui non è facile distinguere quando un testo è equivalente alla funzione (ad esempio nei grafici, o in alcune immagini esplicative, o esemplificative). Entrano in gioco criteri di comprensibilità, e il discorso si complica di nuovo. Senza considerare che l'alt, benché sempre richiesto per alcuni elementi, non è l'unico modo che abbiamo a disposizione per fornire un equivalente testuale. E dobbiamo valutare quali altri metodi possano essere appropriati alla situazione.
Nel caso del check-point 1.1, abbiamo dunque una valutazione soggettiva e manuale (che può però essere coadiuvata da un software che ci aiuti a cercare gli elementi su cui verificare l'alt) su un dato di tipo qualitativo.
Un altro esempio
Il check-point 2.1 recita: "Assicurarsi che tutte le informazioni veicolate con il colore siano anche disponibili senza il colore, ad esempio attraverso il contesto o il markup"
Sebbene questa possa sembrare una regola arbitraria, essa è invece oggettiva. Anzitutto bisogna verificare: ci sono informazioni veicolate attraverso il colore? Quelle informazioni sono veicolate anche attraverso un testo o il markup? Questo è sempre verificabile (anche se il significato delle informazioni necessita di una valutazione umana). Il check-point è oggettivo e manuale, perché non si può decidere in maniera automatica. Difficilmente un tool automatico potrà anche essere usato per identificare luoghi di informazione veicolati con il colore. Se interpretiamo in maniera chiara il concetto di "informazione", non dovrebbe esistere nessuna situazione in cui l'applicazione del check-point sia dubbia.
Un caso complicato
Il check-point 4.1 dice: "Identificare chiaramente i cambiamenti nel linguaggio naturale del testo nel documento e nei testi equivalenti (ad esempio nelle didascalie)."
Qui i problemi sono molteplici. Bisogna identificare in maniera univoca a quali testi si applica la regola. Ad esempio, gli alt text sono interessati? Come vanno trattati? Se si identifica in maniera univoca il testo interessato, bisogna poi identificare quando occorrono i cambiamenti del linguaggio naturale. Quali parole si possono considerare straniere fra quelle che sono ormai entrate in uso comune?
A questi problemi si aggiungono i problemi di implementazione pratica di questa regola. Infatti, se identifichiamo ogni cambio di linguaggio, alcuni screen reader, purtroppo anche diffusi come Jaws, devono cambiare motore di rendering vocale, il che comporta un improvviso rallentamento del corretto funzionamento, per leggere poche parole e poi cambiar di nuovo rendering vocale. Diversi non vedenti hanno espresso il desiderio di non vedere rispettata questa regola, perché crea loro molto disagio.
Quest'ultima considerazione ci porta verso un territorio della valutazione che non abbiamo fin qui considerato. Si tratta di un'ulteriore articolazione delle valutazioni manuali.
Le valutazioni manuali nel dettaglio
Riassumendo, infatti, le valutazioni manuali possono essere di due tipi:
- Valutazioni di esperti (sia disabili che non disabili)
- Osservazioni del comportamento di utenti non esperti, disabili e non.
Il primo tipo di valutazione è quella di cui abbiamo parlato di fatto fin qui quando abbiamo parlato di valutazioni manuali, o di human check.
Le seconde sono invece osservazioni di utenti reali monitorate da esperti, in tutto e per tutto simili ai test di usabilità. In un'ottica di accessibilità possono avere molteplici ruoli:
- Servire a valutare in generale l'efficacia, l'efficienza e la soddisfazione di un sito per quegli specifici utenti, che si presumono rappresentativi di un gruppo più ampio
- Servire a valutare l'efficacia o l'adeguatezza di una specifica pratica (ad esempio il cambio di linguaggio)
- Consentire di valutare soggettivamente il rispetto di un check-point non oggettivamente controllabile, come complemento di valutazioni esperte
Si tratta di casi differenti. Il primo caso è in tutto equivalente ad un test di usabilità, ma può essere condotto per valutare complessivamente il sito e per compararne le prestazioni fra gruppi differenti. Ad esempio, come lo usano ciechi e vedenti. O ciechi, vedenti e ipovedenti (semplificando molto).
Nel secondo caso, il risultato può anche rivelare l'inadeguatezza del check-point: il cambio di linguaggio, quando rispettato, crea problemi agli utenti. Questo devrebbe portare al ripensamento del criterio sotteso dal check-point.
Nel terzo caso il test serve a decidere se un check-point è effettivamente rispettato. Dunque la valutazione del check-point in quel caso viene demandata non più solo ad un valutatore, ma ad un valutatore che osserva il comportamento di soggetti che sono utenti interessati.
Le valutazioni manuali dunque possono essere di diversi tipi, e a volte possono anche servire a dimostrare la scorrettezza del check-point. I test con utenti anche in questo caso si rivelano degli strumenti in grado di aumentare la conoscenza, cioè sono strumenti evolutivi: in quel caso bisogna attivare una procedura di segnalazione che porti ad una discussione negli ambiti competenti (wcag-wg, governo), che la dovrebbero pertanto prevedere (il w3c ad esempio lo fa, consentendo la discussione in liste che sono anche rese pubbliche).
Fonti di errore
Quando si valuta l'accessibilità secondo queste modalità (requisiti, criteri, check point di tipo qualitativo), gli errori possono verificarsi in diversi momenti:
- Nel momento in cui si deve decidere se il criterio si deve applicare al nostro caso o no. Potrebbe darsi che sbagliamo la valutazione, e decidiamo che non dobbiamo applicare quel criterio quando invece si deve applicare, e viceversa.
- La decisione di considerare il criterio rispettato o meno. Ovvero la valutazione vera e propria nel merito del criterio. Questa valutazione sarà tanto più a rischio d'errore quanto più soggettiva essa sarà. Per renderla meno soggettiva l'unica strada è definire in maniera sempre più precisa il criterio. Ad esempio attraverso una serie di tecniche o di linee guida sulla sua valutazione e applicazione.
Conclusioni
In definitiva, abbiamo visto che:
- L'accessibilità necessita di valutazioni umane
- L'accessibilità, per come viene valutata nelle wcag, non è mai quantitativa, ma qualitativa
- E' composta da una serie di controlli indipendenti, che sono a volte oggettivi a volte soggettivi
- Ognuno di questi controlli riguarda il rispetto o meno di un criterio. Dalla definizione più o meno stringente e rigorosa del criterio dipende l'oggettività
- Il criterio può anche essere sbagliato
- Gli organismi che stabiliscono i criteri devono prevedere canali pubblici per la segnalazione e le ridiscussioni degli eventuali errori o criteri controversi
Fonti di errore sono:
- La decisione di applicare o meno il criterio
- La decisione di considerare rispettato il criterio quando si è deciso che si applica.
Altri rischi sono costituiti dal fatto che i criteri siano troppo severi su aspetti marginali, e poco severi su aspetti importanti nel mondo reale. Questo conferma che ci dev'essere un continuo monitoraggio e una revisione dei criteri. I quali non devono perciò essere calati dall'alto, o rifarsi a norme che magari hanno poco a vedere con le problematiche dell'accessibilità, ma verificati nel mondo reale.
Dobbiamo anche considerare che il numero dei criteri rispettati può essere sommato, e si può ad esempio trarre un numero o una percentuale di criteri soddisfatti sul totale che si applica al nostro caso. Si tratta però di una stima rozza. Alcuni criteri sono più importanti di altri, e una stima numerica di tipo quantitativo non ne rende conto. Bene ha fatto il WAI a decidere di non contare ma di categorizzare i check-point dividendoli in tre categorie di importanza. In ogni categoria tutti devono essere rispettati per poter dichiarare la conformità.
Una categorizzazione alternativa
Un'altra categorizzazione sarebbe possibile, e forse in alcuni casi utile: quella per tipologia di utenza servita.
Sarebbe così possibile almeno stabilire non se un sito è accessibile o meno, ma per quale categoria di utenti è accessibile o meno. Ad esempio:
- Non vedenti
- Ipovedenti senza disturbi del colore
- Ipovedenti con disturbi del colore
- Sordi
- Disabili motori gravi
- Disabili motori lievi (cervelletto, disfunzionalità parziali...)
- Utenti di tecnologie minoritarie e/o obsolete
- Utenti con disturbi di apprendimento
- Utenti con disabilità cognitive congenite
- Utenti con scarsa competenza di dominio
- Utenti con scarsa alfabetizzazione informatica
In questo modo un sito potrebbe decidere quali categorie di utenti sono più importanti rispetto al costo di assolvimento degli obblighi di accessibilità, e potrebbe esibire una dichiarazione articolata, invece del bollino. Il rischio di una scelta di questo tipo è naturalmente quella di privilegiare alcuni utenti e di discriminarne altri in maniera arbitraria o, peggio, sulla base delle risorse economiche necessarie ad ottenere la conformità. Così le pratiche più economiche verrebbero rispettate a prescindere dalla percentuale di utenti interessati, le altre no.
Questa classificazione, però, può esser utile in fase di
progettazione del sito e di autovalutazione, perché semplifica
e categorizza i problemi. Aiuta ad identificare scenari di uso. E' possibile
così non chiedersi genericamente "il mio sito è accessibile?",
ma piuttosto "i ciechi hanno difficoltà ad usare il mio sito?
E quali?". E poi: "Gli ipovedenti hanno difficoltà ad
usare il mio sito? Quali?", e così via per ogni categoria.
Questo sistema ha il merito di rimanere focalizzato sulle problematiche
di utenti specifici, piuttosto che su criteri astratti, e consente di
orientare la progettazione alla risoluzione dei problemi più comuni,
rendendo più probabile il superamento delle successive valutazioni.
Tag: accessibilità, metodo, valutazioni
Iscriviti alla newsletter di usabile.it:
Circa una mail al mese (ma spesso meno) con gli aggiornamenti più significativi.
Precedente:
« Dare rilievo ai prodotti nei siti aziendali
Successivo:
Cos'è la legge di Fitts »
