Lezione 8 - Schede modello

Discussione: immagina di fare da babysitter a un cugino giovane e che lui, mentre stava giocando, ti corre incontro con aria corrucciata chiedendo aiuto. Ti fa vedere il ginocchio sbucciato che non sanguina ma è molto arrossato. Se dovessi scegliere un solo modo di reagire, quale sceglieresti?

_ (1) Dirgli di occuparsene e di tornare a giocare_

_ (2) Dirgli di aspettare un minuto mentre tu vai a prendere dei cerotti _

_ (3) Chiamare il 118 e chiedere di chiamare un'ambulanza_

Fai in modo che gli studenti condividano mostrando sulle dita quale opzione hanno scelto. Questa situazione è volutamente vaga e la classe potrebbe trovarsi divisa tra opzione (1) e opzione (2).

Non è una scelta realistica: gli studenti possono sottolineare che questo non è un modo realistico di scegliere la propria reazione. Ci sono molte altre scelte che potresti fare e la situazione non fornisce alcun contesto aggiuntivo che possa essere importante: ad esempio, forse il luogo in cui stavano giocando ha un ruolo importante nella decisione che prenderanno. Questi sentimenti sono validi e possono portare a una conversazione articolata su quanto sia difficile prendere decisioni senza un contesto completo, soprattutto per una macchina. Per ora, incoraggia gli studenti a scegliere la migliore delle opzioni possibili, pur riconoscendo che la versione realistica di questa scelta può essere molto più complessa.

Discussione: che tipo di infortunio ti porterebbe a fare una scelta diversa?

Chiedi agli studenti di pensare prima individualmente, quindi condividere con un compagno prima di avviare una discussione di gruppo.

Obiettivo della discussione: gli studenti dovrebbero descrivere in che modo situazioni diverse richiedono decisioni diverse. Mentre gli studenti condividono, evidenzia le caratteristiche che stanno usando per prendere queste decisioni, ad esempio se c'è del sangue oppure no o ancora se il loro cugino sta piangendo o meno. Consenti a più studenti di condividere le loro risposte in modo da ascoltare un'ampia varietà di idee. Usa parte di ciò che hai sentito come esempi nelle tue osservazioni per passare alle attività di oggi.

Grazie a tutti per aver condiviso le vostre idee! Ho sentito molte caratteristiche diverse che ti hanno aiutato a prendere una decisione, ma ho anche sentito che alcune persone prendono decisioni diverse anche nella stessa situazione. La stessa cosa può succedere anche con i computer: le decisioni che prende possono essere diverse da quelle che ci aspettiamo, anche in situazioni molto simili. Oggi vedremo come possiamo verificare un modello computerizzato per vedere che tipo di decisioni sta prendendo e assicurarci che siano giuste.

Domanda del giorno: come possiamo valutare i modelli di apprendimento automatico una volta che sono stati addestrati?

Code Studio: chiedi agli studenti di accedere a Code Studio. Il secondo esercizio contiene un'app che useranno per la prima parte di questa lezione.

Mostra agli studenti le informazioni su questa app e leggile ad alta voce. Dimostra come utilizzare l'app inserendo diverse informazioni sulle caratteristiche, quindi premi "Prevedi" e visualizza il risultato. Chiarisci agli studenti il significato delle abbreviazioni razziali:

• BAM: nero/afroamericano
• W: bianco
• A: asiatico
• AIAN: Indiano Americano/ Nativo dell'Alaska
• NHPI: Nativo Hawaiano/Isolano del Pacifico

Una volta che gli studenti vedranno come funziona l'app, passa alla diapositiva successiva con attività specifiche da approfondire

Mostra: cambia le caratteristiche dell'app e verifica cosa succede quando persone diverse entrano in ospedale.

• Trova una persona che verrà ricoverata con «priorità».
• Trova una persona che verrà ricoverata normalmente
• Trova una persona che verrà ricoverata come «ritorna più tardi»

Girando tra i banchi: aggirati nell'aula mentre gli studenti interagiscono con l'app. Chiedi loro quali caratteristiche stanno selezionando per cercare di ottenere la raccomandazione «prioritaria» o la raccomandazione «torna più tardi». Gli studenti noteranno probabilmente che è più probabile che determinate caratteristiche portino a una raccomandazione prioritaria, in particolare: è molto probabile che un paziente con emorragia, fiato corto e dolore alla testa o al torace abbia una raccomandazione prioritaria. Gli studenti possono anche notare che anche alcune informazioni anagrafiche sembrano influire sulla raccomandazione, ma è normale anche se non ne parlano.

Qual è la mia priorità? gli studenti possono provare a utilizzare le proprie informazioni anagrafiche nell'app, ma questo non è esplicitamente lo scopo di questo esercizio. Ricorda agli studenti che vogliamo testarlo in un'ampia varietà di scenari, il che significa testare con un'ampia varietà di persone e non solo con persone che corrispondono alla loro età, sesso e razza.

Condivisione: chiedi ad alcuni studenti di condividere quali caratteristiche hanno portato a raccomandazioni prioritarie e se tale raccomandazione sembra avere senso.

Mostra: l'ospedale desidera verificare il risultato in situazioni molto specifiche. La tabella nella diapositiva mostra quattro diversi gruppi. Ogni colonna rappresenta una persona diversa che il gruppo sottoporrà a verifica.

Assegna gli studenti a gruppi diversi: A, B, C o D. Ogni persona verificherà solo la persona del proprio gruppo. Tutti i membri dello stesso gruppo dovrebbero ottenere lo stesso risultato.

Condividi: concedi agli studenti qualche minuto per trovare i risultati, quindi chiedi a una persona di ogni gruppo di condividere i risultati con la classe. Annota i risultati in un posto ben visibile dove gli studenti possano vederli. Gli studenti devono fornire le seguenti risposte:

• Gruppo A: normale
• Gruppo B: priorità
• Gruppo C: priorità
• Gruppo D: priorità

Mostra: vai alla diapositiva successiva con la discussione 2A e leggi le istruzioni ad alta voce. Chiedi agli studenti di rieseguire l'app su questa nuova persona. Gli studenti dovrebbero modificare solo una o due caratteristiche per generare la nuova priorità, quindi ciò non dovrebbe richiedere molto tempo.

Condivisione: concedi agli studenti qualche minuto per trovare i risultati, quindi chiedi a una persona di ogni gruppo di condividere i risultati con la classe. Traccia una linea tra le risposte precedenti e scrivi quelle nuove accanto ad esse, tuttavia assicurati che entrambe le risposte siano chiaramente visibili per la discussione successiva. Gli studenti dovrebbero scoprire le seguenti risposte:

• Gruppo A: normale --> priorità
• Gruppo B: priorità --> normale
• Gruppo C: priorità --> ritorna più tardi
• Gruppo D: priorità --> ritorna più tardi

Discussione: Tutti i risultati sono cambiati. Questi cambiamenti sembrano sensati? O alcuni sembrano sorprendenti?

Chiedi agli studenti di parlare con un compagno prima di chiedere agli studenti di discutere in gruppo completo. Offri agli studenti lo spazio per condividere le proprie osservazioni e riflettere sulle reciproche risposte e cerca di evitare di convalidare le risposte come «giuste» o «sbagliate».

Obiettivo della discussione: gli studenti possono provare a razionalizzare le modifiche al Gruppo A e al Gruppo B ritenendole sensate dal punto di vista medico. Gli studenti potrebbero avere difficoltà a giustificare le modifiche al Gruppo C e al Gruppo D, poiché nessuna delle informazioni mediche è cambiata, solo le informazioni personali. Incoraggia gli studenti a considerare cosa significa questo nel mondo reale, ad esempio con il Gruppo D: un uomo con questi sintomi può entrare in ospedale ed essere visto come una priorità, ma una donna con gli stessi sintomi verrebbe detto di tornare più tardi.

Esperienza vissuta: gli studenti possono avere forti reazioni a questo suggerimento in quanto evidenzia come viene presa una decisione sulla base di informazioni personali piuttosto che su informazioni oggettive. Potrebbero avere le loro storie ed esperienze in cui hanno visto prendere decisioni diverse in base all'età, al sesso o al tono della pelle di qualcuno. Questa connessione personale è una parte importante della lezione e consentire agli studenti di condividere queste storie può essere un potente ponte verso l'attività successiva.

Per facilitare questa discussione, un buon mantra da tenere a mente è: supponi che ci sia qualcuno nella stanza che è il tuo "punto dati" (o "data point", ossia l'insieme di una o più misurazioni su un singolo membro campione dell'unità di osservazione). A volte una discussione può sfuggire al concentrarsi su dati, numeri e ipotesi senza riconoscere che potrebbero esserci studenti con esperienza diretta in materia di discriminazione medica nella stanza. Considera come vorresti affrontare questo problema e crea uno spazio inclusivo per la discussione nella tua classe.

È un bene che siamo stati incaricati di studiare questa app, perché sembra che abbiamo scoperto alcune tendenze preoccupanti nel modo in cui è stata progettata. Ora abbiamo riscontrato alcune situazioni in cui l'app prende decisioni diverse in base alle tue informazioni personali piuttosto che alle condizioni mediche in cui ti trovi. Per qualcosa di così importante come una visita in ospedale, questo è inaccettabile. Questo è un esempio di come l'apprendimento automatico possa essere distorto

Priorità mediche nel mondo rale: l'esempio della priorità medica si basa su un esempio reale di distorsione algoritmica nel modo in cui le persone sono state raccomandate per il trattamento. Puoi ascoltare la dottoressa Ruha Benjamin spiegare l'esempio della vita reale in questa clip dello spettacolo "Glad You Asked" (trad: Sono contento che tu l'abbia chiesto), dal minuto 15:48 al minuto 17:52: Clicca qui per il video. Invece di dare voce ai dati nella presentazione, puoi decidere di mostrare questo video ai tuoi studenti. Questo video non è destinato a un pubblico di scuola media, quindi potrebbe essere necessario aggiungere un suggerimento di discussione o ulteriori spiegazioni per chiarire la clip.

**Video: ** guarda il video AI: Training Data & Bias

**Glossario delle parole chiave: **

• **Distorsione (o Pregiudizio, Bias): ** quando una decisione favorisce alcuni aspetti e ne riduce le priorità o ne esclude altre

Disporre di un modello distorto è chiaramente un problema ed è un altro motivo per cui è così importante il nostro ruolo di valutatori e verificatori di modelli di apprendimento automatico. Questo è anche un problema che le persone della comunità dell'apprendimento automatico stanno cercando di risolvere. Ascoltiamo una possibile soluzione, poi parleremo di come possiamo usare questa idea per creare i nostri modelli di apprendimento automatico.

Video: chiedi agli studenti di guardare il video della "Scheda modello" nelle diapositive. Questo video fa parte di una presentazione più lunga: la clip nelle diapositive è preimpostata per riprodurre solo la clip pertinente dal minuto 18:33 al minuto 19:26

Schede modello: le schede modello sono state inizialmente proposte come parte del documento accademico Schede modello per la reportistica dei modelli. Una delle coautrici di questo articolo, Deb Raji, è presente in questo video clip che parla di Model Cards.

Dalla pubblicazione di questo documento, sono stati compiuti ulteriori sforzi per concentrarsi sulla responsabilità e sulla documentazione nell'apprendimento automatico. Una buona panoramica di questi sforzi è disponibile nel progetto Informazioni sull'apprendimento automatico , che include esempi reali di "Schede modello" utilizzate nel settore dell'apprendimento automatico.

Distribuisci la guida alle attività Model Cards a ogni studente.

Code Studio: chiedi agli studenti di passare all'esercizio successivo in Code Studio, che mostra l'app "Libri consigliati" di ieri e una scheda modello parzialmente completata.

Fai questo: mostra agli studenti le istruzioni per la prima pagina della guida alle attività. Gli studenti contribuiranno a creare una scheda modello per l'app "Libri consigliati" a partire da ieri

Girando tra i banchi: effettua controllo iniziale con gli studenti mentre compilano la scheda modello. Incoraggiali a considerare come sono stati raccolti i dati e quali caratteristiche sono state utilizzate come base per compilare le sezioni "Usi previsti e limitazioni". Riguardo alle limitazioni, gli studenti potrebbero notare che è necessario raccogliere più dati poiché sono stati intervistati solo 120 studenti, oppure potrebbero notare che sono stati raccolti solo in lezioni di informatica e potrebbero non rappresentare studenti esterni a tali classi.

Mostra: chiedi agli studenti di ritornare sul retro della guida alle attività e di visualizzare le diapositive con la panoramica:

Anche se abbiamo scoperto dei pregiudizi nel nostro modello originale, è ancora necessario aiutare gli infermieri e i professionisti medici del pronto soccorso. Diverse altre aziende hanno creato modelli di priorità medica che possono essere utilizzati per sostituire quello distorto che abbiamo scoperto. Ci hanno anche inviato le schede modello per farci valutare. Guardando queste schede modello, possiamo trovare un modello che consiglieremmo all'ospedale per aiutare a decidere la priorità medica?

Fai questo: chiedi agli studenti di continuare con gli esercizi 3-5 in Code Studio. Ogni esercizio ha una scheda modello che gli studenti possono valutare. Gli studenti dovrebbero progredire attraverso ogni esercizio in modo indipendente, valutando ogni scheda modello e annotando i loro consigli nella guida alle attività.

**Esposizione: ** invece di chiedere agli studenti di esaminare le schede modello in Code Studio, potresti prendere in considerazione la creazione di un'attività in cui ogni scheda modello venga stampata ed esposta in aula. Gli studenti completerebbero comunque la guida alle attività, ma possono scegliere quale modello di scheda esaminare e spostarsi nell'aula mentre lo fanno.

Girando tra i banchi: fai il controllo iniziale con gli studenti mentre esaminano le schede modello. Aiuta gli studenti a comprendere il formato delle schede e come possono essere utilizzate le informazioni. Ogni modello è destinato ad avere un difetto che lo rende difficile da consigliare, ma va bene se non tutti gli studenti notano questi difetti quando leggono la scheda per la prima volta. Invece, gli studenti avranno la possibilità in seguito di discutere le loro scoperte con i compagni e possibilmente cambiare idea.

• Esercizio 3: ER Recommender V1: questo modello è preciso solo al 33%, il che lo rende difficile da consigliare.
• Esercizio 4: Northern Lights ER Priority: questo modello ha caratteristiche che sembrano molto specifiche. Se gli studenti esaminano la sezione Informazioni sui dati, potrebbero notare che il modello è stato addestrato in un ospedale rurale dell'Alaska. Ciò significa che probabilmente non andrà molto bene al di fuori dell'Alaska e in altre aree più diverse.
• Esercizio 5: AI Medical Recommender: questo modello è addestrato solo su 10 righe di dati (o 10 persone in ospedale). Anche se ha un'elevata accuratezza, probabilmente non dispone di dati sufficienti in uno scenario realepre

Condividi: chiedi agli studenti di condividere i loro consigli per ogni modello. Incoraggia gli studenti a parlare tra loro e a fornire diverse giustificazioni sul motivo per cui un modello dovrebbe o non dovrebbe essere raccomandato. Fai sapere agli studenti che c'è un punto in fondo alla guida alle attività per riflettere e che hanno il permesso di cambiare idea in base a ciò che sentono dai loro coetanei.

**Collegamenti al mondo reale: ** queste schede modello di esempio sono esagerate per scopi pedagogici, ma fenomeni simili possono essere visti in questo articolo: Centinaia di strumenti di intelligenza artificiale sono stati creati per catturare il covid. Nessuno di loro ha aiutato. Alcune citazioni pertinenti dall'articolo sono:

• «Molti hanno involontariamente utilizzato un set di dati che conteneva scansioni toraciche di bambini che non avevano il covid come esempi di come apparivano i casi non covid. Ma di conseguenza, le IA hanno imparato a identificare i bambini, non il covid».
• «In altri casi ancora, è stato riscontrato che alcune IA riprendevano il carattere di testo utilizzato da alcuni ospedali per etichettare le scansioni. Di conseguenza, i caratteri provenienti da ospedali con carichi di lavoro più gravi sono diventati predittori del rischio di covid».

Come estensione di questa lezione, puoi scegliere di condividere questo articolo con gli studenti. Tuttavia, l'articolo non è destinato a un pubblico delle scuole medie, quindi potrebbero essere necessarie basi o supporti aggiuntivi per aiutare gli studenti a comprendere e riconnettersi alla lezione di oggi.

Discussione: se potessi offrire una guida a queste aziende che addestrano modelli di apprendimento automatico, che consiglio daresti loro per contribuire a creare modelli di apprendimento automatico utili e imparziali?

Questa richiesta viene fornita nella parte inferiore della guida alle attività che gli studenti usavano in classe. Gli studenti dovrebbero riflettere sui motivi per cui questi modelli non erano adatti agli ospedali e tradurli in consigli. Alcuni suggerimenti potrebbero includere:

• Evita le informazioni demografiche nel tuo modello per evitare pregiudizi
• Assicurati che i dati rappresentino la comunità che utilizzerà il modello
• Assicurati che vengano raccolti dati sufficienti per garantire che siano accurati

Valutazione formativa: la guida alle attività di oggi può essere raccolta come forma di valutazione formativa. La domanda di riflessione può fornire informazioni su come gli studenti comprendono in che modo le schede modello possono essere utili per valutare i modelli.