This paper was originally published in English in the journal “Teaching Philosophy“, in June 2004, with the title of “Argument Maps Improve Critical Thinking“, by prof. Charles R. Twardy.
Debate Italian Society thanks Philosophy Documentation Center for granting the permission for the translation and publication in Italian. We also thank Giuseppe Alessandro Maria Finocchiaro, our junior member, for the translation in Italian. Here is the complete citation and DOI link:
Charles Twardy
“Argument Maps Improve Critical Thinking”
Teaching Philosophy
Volume 27, Issue 2, June 2004, pp.95-116
https://doi.org/10.5840/teachphil200427213
Abstract
La mappatura computerizzata degli argomenti, computer-based argument mapping, potenzia notevolmente il pensiero critico degli studenti, più che triplicando i risultati assoluti ottenuti con altri metodi. Descrivo la mia esperienza da outsider. La mappatura degli argomenti spesso ha mostrato con precisione come gli studenti sbagliassero (ad esempio: confondendo le premesse utili con gli argomenti separati), rendendo loro molto più semplice correggersi.
Sono stato scettico riguardo alle asserzioni su vari metodi di approccio all’insegnamento del pensiero critico, incluse quelle sull’argument mapping provenienti dalla vicina University of Melbourne. Difatti, sicuri nel nostro scetticismo, noi della Monash Philosophy abbiamo accettato la sfida di confrontare i nostri metodi con i loro, basandoci sui risultati pre- e post-test sul California Critical Thinking Skills Test (CCTST), ideato da Peter Facione (1990, 1992). Gli studenti della Monash Philosophy hanno ottenuto risultati leggermente migliori degli altri nel pre-test, alimentando le nostre speranze. Tuttavia, quando i risultati post-test della Melbourne University hanno mostrato miglioramenti delle prestazioni molto più elevati ho ritenuto opportuno dare un’occhiata più da vicino al loro metodo. In breve, penso che il computer-based argument mapping sia la chiave del successo degli studenti di Melbourne e che dovrebbe occupare un posto centrale in qualsiasi corso sul pensiero critico. In effetti, è utile anche a prescindere dalla sua presenza in un corso del genere. Descriverò il metodo, le mie esperienze con esso e i risultati ottenuti.
Introduzione
Essere stati completamente surclassati sui punteggi di miglioramento ci aveva convinto soltanto che qualcosa dall’altra parte stava funzionando. Pensavo che l’approccio fosse buono e che le mappe degli argomenti fossero senza dubbio d’aiuto, ma sospettavo che la maggior parte dei miglioramenti fosse dovuta al founder effect, effetto fondatore: Tim van Gelder, il docente di Melbourne, aveva sviluppato l’approccio al pensiero critico “Reason!”, il software “Reason!Able“((1 Per una panoramica del software e di come utilizzarlo, si veda (van Gelder, 2002), anche disponibile sul sito internet Reason!Able http://www.goreason.com/papers.)) e i materiali del corso usati a Melbourne. Inoltre, era stato l’unico docente sin da quando il metodo fu adottato: era quindi molto probabile che gran parte dei risultati fosse dovuta all’entusiasmo del fondatore del metodo, un effetto molto noto nell’ambito dell’istruzione. Tim voleva anche misurare l’entità dell’effetto fondatore.
Quindi abbiamo sostituito Tim con un assegnista di ricerca relativamente inesperto proveniente da un’altra università: me. Così Tim ha avuto più tempo per sviluppare materiali e dedicarsi alla ricerca, e la Monash una spia per imparare di più sul metodo Reason! e sul perché funzionasse così bene.
La risposta rapida è che, nonostante le mie capacità di insegnamento da principiante gettate per la prima volta in un piano di studi non familiare, i risultati degli studenti nel CCTST registravano ancora miglioramenti del 90% sui risultati precedenti ottenuti da Tim e circa tre volte il risultato lordo tipico di altri tentativi. Gli studenti sono migliorati notevolmente nonostante quella che onestamente devo considerare come una prima metà della materia insegnata poco bene.
Riporterò le mie esperienze con il metodo Reason!, includendo le difficoltà e i fraintendimenti dello studente comune e i vantaggi e gli svantaggi dei materiali del corso e del software Reason!Able. Inizierò con alcuni dati, per dimostrare che c’è veramente una differenza, e proseguirò presentando il metodo nel dettaglio. Tuttavia, devo premettere, introducendolo brevemente, che il metodo Reason! consiste principalmente in una pratica intensiva sul computer-based argument mapping, mappatura computerizzata degli argomenti, in un ambiente altamente organizzato.
Numeri e risultati
Con una soglia di sbarramento al primo turno al 93esimo percentile del punteggio di ingresso per gli studenti di Arte, la Melbourne University è più o meno equivalente a una università privata d’élite negli Stati Uniti d’America. (Non ci sono università private laiche in Australia). Viene ammesso solo il 5-7% più alto. In confronto, la Monash University, ha una soglia di sbarramento al primo round di circa 88 per Arte.
Ho tenuto alcune lezioni di un corso introduttivo al pensiero critico con circa 135 studenti del primo anno e ho gestito uno dei 9 corsi di gruppo, “tutorial” su quell’argomento (detti “sezioni di discussione” negli Stati Uniti). Il mio corso era frequentato da 12 studenti; Tim gestiva due tutorial e i restanti facevano capo a laureati in Filosofia o a studenti con lode. Ho guidato anche un tutorial sulla materia del terzo anno “Storia e Filosofia della Scienza”, per la quale si usavano il software Reason!Able e le mappe degli argomenti per guidare le discussioni. Tutti i corsi si tenevano in aule attrezzate di computer e lavagne interattive.
Durante il corso introduttivo del primo anno abbiamo misurato il miglioramento medio nelle prestazioni sul CCTST. All’inizio del semestre abbiamo dato, casualmente, a metà degli studenti una versione del CCTST e all’altra metà un’altra versione, alla fine del semestre abbiamo dato loro l’altra versione, inizialmente assegnata all’altra metà degli studenti. I “risultati grezzi” sarebbero applicabili solo a questo test, ma noi vogliamo una misurazione comune che sia applicabile a tutti. Sulla misura comune degli effetti standardizzati occorre misurare il miglioramento medio in termini di variabilità nei punteggi e dividerlo per quella variabilità.
La misura usuale della variabilità è la deviazione standard. La deviazione standard è calcolata in modo che circa il 68% dei risultati si trovi entro una deviazione da entrambi i lati del centro della curva a campana. Due deviazioni standard contengono circa il 95% e tre deviazioni standard contengono circa il 99%. Dunque, una campana alta e stretta avrà una piccola deviazione standard, mentre una campana larga e piatta avrà una grande deviazione standard, ma a prescindere dalla larghezza della campana, una deviazione standard conterrà sempre il 68% dei punteggi. [FG1]
Se dividiamo il risultato per la deviazione standard nei punteggi grezzi del test, otteniamo una ampiezza dell’effetto standard detta “d di Cohen” (Cohen, 1988). Misura il miglioramento del numero di deviazioni standard e così dà una misura che tiene conto della variabilità intrinseca.((2 Potremmo usare o la deviazione standard nei nostri punteggi grezzi pre-test o quella citata nel manuale del test CCTST. Donohue et al. (2002) hanno usato entrambe. Le dimensioni degli effetti risultanti presentavano sempre una differenza di 0.07. ))
Il risultato è stato che gli studenti del mio corso del primo anno hanno avuto un miglioramento di circa 0,72 deviazioni standard, leggermente in calo rispetto alla media di Tim di circa 0.8. D’altro canto, una ampiezza dell’effetto di 0,7 si confronta favorevolmente con lo 0,3 caratteristico di altri tentativi, e lo 0,5 in una materia sul pensiero critico alla McMaster University. (van Gelder, 2001; Donohue et al., 2002; Hitchcock, 2003). Maggiori risultati sono mostrati nella Figura 1. Dal momento che gli intervalli di fiducia non si sovrappongono alla linea a 0.34, sappiamo che i traguardi del metodo Reason! sono chiaramente superiori alle aspettative per un intero anno accademico, e questo rappresenta un grande miglioramento.((3 Se l’intervallo di fiducia al 95% non si sovrappone al valore di interesse (0 in un tradizionale test a ipotesi nulla), allora p<.05 relativamente a quel valore. Con riguardo ai risultati di Reason!, la grande distanza fra 0 e l’intervallo di fiducia corrisponde a valori di p di circa .001. Tuttavia, uno studio abbastanza ampio potrebbe avere p< .001 con una piccolissima ampiezza dell’effetto, solo perché l’intervallo di fiducia è breve. Per questi e altri motivi adesso il Publication Manual dell’American Psycological Assosiation raccomanda l’utilizzo di intervalli di fiducia sull’ampiezza dell’effetto piuttosto che sui valori p. )) Le altre materie non stanno, chiaramente, aggiungendo nulla a questo effetto di maturazione di base. Difatti, la materia di Pensiero Critico alla Monash è al livello delle altre, sebbene vi siano state solo 6 settimane di lezione nell’arco delle 12 settimane trascorse.
Per osservare i numeri da un’altra prospettiva, consideriamo i risultati dei test di istruzione non specialistica. Un intero triennio di istruzione universitaria ha una ampiezza d’effetto di circa 0,55 sul CCTST, con circa 0,34 durante il primo anno. (Pascarella e Terenzini, prossima pubblicazione).
Oppure consideriamo l’esame di ammissione universitaria, largamente usato negli USA, SAT, che ha ottenuto una deviazione standard di circa 115 negli ultimi anni. (Educational Statistics, 1997) Pertanto, una ampiezza d’effetto di 0,8 corrisponderebbe a un incremento di 90 punti sul punteggio SAT. Al contrario, le principali (e costose) aziende di preparazione ai test sostengono di offrire un incremento medio fra i 120 e i 140 punti, ma, secondo uno studio del College Board((4 Certo, il College Board è affiliato con ETS, creatore del SAT, e ha interesse nel mostrare che non è così facile esercitarsi per il loro test, tuttavia hanno compiuto un ampio sondaggio (3100 studenti) e ottenuto risultati comparabili con molti studi indipendenti precedenti. )), offrono in realtà un incremento medio di soli 29 punti nella prova orale e 40 in quella di matematica. (Powers e Rock, 1998). E non c’è motivo di credere che le esercitazioni finalizzate al SAT si trasferiscano ad altro di diverso dal SAT (questo perché spesso tali esercitazioni consistono in gran parte in una strategia specifica per il SAT, oltre a qualche ripasso intensivo), mentre ci sono buoni motivi per credere che il pensiero critico basato su Reason! si trasferisca ad altro (forse anche ai punteggi SAT della fase orale, perché in parte si basano sul pensiero logico e l’analisi, similmente a quanto trovato sul CCTST).
Ma chiunque può ottenere grandi risultati insegnando al solo fine di affrontare una prova finale. Tuttavia, una domanda tipo CCTST si presenta così:
Quando Mark è in ritardo per la cena, sia Susan che Andrew mangiano fuori. Quale delle seguenti affermazioni deve essere vera?
1. Mark è in ritardo, Susan mangia fuori, Andrew mangia fuori
2. Mark non è in ritardo, Susan mangia in casa, Andrew mangia in casa
Al contrario, come vedremo di seguito, una domanda di argument mapping è tipicamente composta da uno stralcio di testo e dalla richiesta di produrre e valutare una mappa.
Per fare un confronto, i metodi interattivi di insegnamento della Fisica come quelli di Eric Mazur (Mazur, 1997) ottengono risultati più significativi. Con un sondaggio che ha coinvolto 62 corsi introduttivi alla Fisica (6500 studenti) che utilizzano il pre/post test standard “Force Concepts Inventory”, Richard Hake (Hake, 1998, 1999) ha scoperto che i metodi interattivi di insegnamento hanno prodotto un risultato di 2,18 (!!) deviazioni standard, contro lo 0,88 dei metodi tradizionali.((5 Una meta-analisi meno selettiva di materie scientifiche, mediche e ingegneristiche (Springer, Stanne e Donovan, 1999) riporta effetti minori. Ha rivelato che i piccoli gruppo hanno avuto risultati migliori (0,55 deviazioni standard) dei singoli, che non hanno fatto altrettanto. Ma poi sostiene anche di non avere incluso studi che non utilizzassero metodi a piccoli gruppi, e non riposta un’ampiezza d’effetto per questi metodi. Tuttavia, riporta una ampiezza d’effetto di 0.87 per le materie scientifiche in generale, il che è in linea coi risultati di Hake per i metodi tradizionali, dal momento che ci si potrebbe aspettare che materie vagamente definite usino “piccoli gruppi”, alcuni dei quali non utilizzavano del tutto metodi pre/post test e quindi non erano selezionati accuratamente così come per lo studio di Hake.)) D’altra parte, non insegnano solo una competenza, ma una conoscenza specifica e approfondita, e a lezione capita frequentemente di discutere interrogativi concettuali come quelli che appaiono nel FCI (Force Concepts Inventory).((6 Hake preferisce una misura chiamata “g”, il miglioramento medio normalizzato, che è il miglioramento medio diviso per il miglioramento medio totale possibile. I soggetti del metodo Reason! avevano un g dallo 0,21 allo 0,27 e gli altri soggetti nella Figura 1 avevano un g dallo 0,03 allo 0,13. Hake riportava g di circa 0.5 sul FCI con riguardo ai metodi interattivi di insegnamento della Fisica.))
Limiti dello studio empirico
La sezione precedente mira a dimostrare che il metodo Reason! sia molto più efficace di altri metodi quando si tratta di insegnare il pensiero critico. Ci sono due principali piste di critica: i risultati del CCTST potrebbero non essere la misura giusta, e potrebbero esserci problemi con questo tipo di progettazione e analisi dello studio.
Il CCTST non è perfetto, ma ci sono buone ragioni per pensare che sia importante. Ciò nondimeno, è bene sapere che negli anni in cui erano somministrati altri test, indipendenti valutazioni in saggi scritti hanno favorito similmente l’approccio di Reason!, così come fece il Watson- Glaser Critical Thinking Appraisal, [valutazione del pensiero critico Watson-Glaser] (Donohue et al., 2002). Inoltre, il fatto che gli esercizi svolti durante le lezioni siano così differenti dalle domande del CCTST indica che gli studenti imparano qualcosa di generale e non specifico del test.
Il pre-test/post-test è di gran lunga migliore della mera segnalazione dei risultati post-test, ma manca di gruppi di controllo espliciti. Tutto quello che abbiamo sono comparazioni fra classi che differiscono su materiali, approccio, docente, dimensioni, attitudine e motivazione e qualsiasi altro numero di variabili. La Monash adesso sta tentando uno studio più controllato, ma ci vorranno diversi anni. Tuttavia, possiamo già valutare spiegazioni alternative dei dati esistenti.
Per esempio, potremmo guardare solo alla maturazione. Se avessimo solo dati per le nostre classi, sarebbe abbastanza plausibile. Però, se si trattasse di maturazione, allora dovremmo vedere effetti simili in altri soggetti, ma come ha indicato l’ultima sezione, non lo facciamo. In più, altri studi hanno stimato il miglioramento atteso dovuto alla maturazione, e il nostro è molto al di sopra di questo.
Assegnando in modo casuale le versioni dei test, le controlliamo solo al fine di assegnare una versione più semplice del CCTST per il post-test. Tuttavia, gli studenti dovrebbero fare meglio la seconda volta per il solo motivo della pratica acquisita con quel tipo di test. Questo però non spiega la differenza tra il metodo Reason! e gli altri.
Nel resto dell’articolo discuterò varie caratteristiche del metodo e presenterò una ragione per cui la mappatura efficiente degli argomenti è importante.
Analisi degli argomenti con le mappe
La caratteristica maggiormente distintiva del metodo Reason! è l’uso di mappe di argomenti. L’argument mapping, la mappatura degli argomenti, è stata proposta almeno già da Scriven (1976), ma la revisione delle mappe scritte a mano su carta non è pratica e il metodo non ha mai preso piede. Tuttavia, il software si prende cura del layout, dell’impaginazione, e del ridisegno, rendendo facile il riordino e il ripensamento dell’argomento e l’addizione di nuove considerazioni. Il semestre ruota attorto alla mappatura degli argomenti e consiste in gran parte della loro analisi. Ma quindi, cos’è una mappa degli argomenti?
Mappe di argomenti
Una mappa dell’argomento è una rappresentazione bidimensionale della struttura di un argomento. Di norma, è un diagramma composto di caselle di testo e frecce che assomiglia a un albero. (In effetti, deve essere leggermente più complesso di un albero o fonderebbe argomenti separati con premesse utili).
Le caselle sono affermazioni, disposte in modo che alcune siano ragioni per credere (o non credere) ad altre. A un estremo c’è la conclusione finale, supportata (e contrastata) dalle sue ragioni e dalle sue obiezioni. All’altro estremo ci sono le affermazioni non supportate che vengono prese per basilari. Per esempio, per mappare la parte esplicita dell’argomento, “Socrate è mortale perché Socrate è umano”, disegneremmo:
Chiaramente, questo argomento (entimema) non è valido così com’è: manca la premessa “Tutti gli umani sono mortali”. Per convenzione, quando si mappa l’argomento di qualcun altro, inseriamo fra parentesi qualsiasi affermazione che abbiamo dovuto fornire. Quindi la mappa dell’argomento diventa:
Una ragione è una raccolta di affermazioni che si sostengono a vicenda, piuttosto che una singola affermazione. Per esempio, nella mappa di sopra, sosteniamo che “Socrate è mortale” con le due affermazioni “Tutti gli umani sono mortali” e “Socrate è umano”. Ma le due affermazioni insieme sono una unica ragione. Un’affermazione sostiene l’altra, e insieme conducono alla conclusione.
L’errore più comune che gli studenti commettono è quello di confondere queste ragioni che hanno più premesse con più ragioni separate. Per esempio, potrebbero erroneamente rappresentare l’argomento su Socrate così:
Ma queste non sono ragioni indipendenti. “Socrate è umano” non porta alla conclusione se non col supporto di “Tutti gli umani sono mortali”. Ciò nonostante, disegnandole come indipendenti, affermiamo che anche se una ragione dovesse fallire, ne abbiamo ancora un’altra a sostegno della nostra tesi. In questo caso è falso.
Circolano molte versioni di mappe degli argomenti e non condividono tutte le stesse convenzioni. Comunque, come si è visto, le mappe di Reason! usano la convenzione per cui argomenti separati hanno linee di supporto separate, con frecce separate. Le affermazioni che si sostengono a vicenda, e che quindi costituiscono una unica ragione, cadono sotto una unica freccia.
Di più sull’approccio Reason!
L’approccio Reason! all’insegnamento del pensiero critico non include la logica simbolica, la probabilità formale, il ragionamento casuale o altre specialità tecniche. Gli studenti, al contrario, trascorrono la maggior parte del semestre ad analizzare gli argomenti, e alcuni a produrli. Ammetto che suona privo di fantasia. Dopotutto, sembrerebbe che la logica informale dovrebbe certamente includere qualcosa come il ragionamento probabilistico e l’inferenza causale. Come disciplina, lo fa certamente, e l’inferenza causale è proprio la mia area di competenza, ma come materia del primo anno, non dovrebbe.
La letteratura suggerisce che una schiacciante maggioranza degli studenti di pensiero critico non impara l’analisi degli argomenti di base. Per esempio, com’è (tristemente) noto, Doug Walton ha scritto:
Vorrei poter dire di avere un metodo o una tecnica [per insegnare Introduzione al Pensiero Critico] che si sia rivelata vincente. Ma non lo faccio, e da quanto posso vedere, specialmente guardando all’abbondanza di manuali sul pensiero critico, non credo che altri abbiano risolto questo problema. (?)
Insegnare ulteriori fronzoli non vuol dire che vengano appresi, e ogni addizione del genere porta via tempo che potrebbe essere impiegato per aiutare gli studenti a padroneggiare la loro fondamentale abilità di pensiero critico di analisi degli argomenti. Infatti, la maggior parte della altre capacità del pensiero critico dipendono centralmente dall’analisi degli argomenti: uno studente deve essere capace di identificare affermazioni e linee di ragionamento prima che possa affrontarle criticamente, e successivamente deve essere in grado di valutare le prove e supportare gli argomenti in the wild, nella natura selvaggia.
Come abbiamo già visto, le mappe degli argomenti ci obbligano a tracciare delle distinzioni che normalmente non considereremmo neanche: due affermazioni formano parte di una unica ragione o sono parti di ragioni separate? Anche gli studenti più brillanti si sbagliano, sorprendentemente, spesso.
All’inizio del semestre, l’errore è del tutto previsto: gli studenti devono apprende la convenzione che rami separati dovrebbero rappresentare ragioni piene e indipendenti per arrivare alla conclusione. Tuttavia, sebbene gli studenti migliorino molto in questo, continua a essere un problema. Nel normale ragionamento informale, non tracciamo questa distinzione, anche se è cruciale per comprendere la struttura dell’argomentazione. Fortunatamente, ci sono regole, in gran parte meccaniche, che Neil Thomason ha ideato per controllarla. Sono semplici, di veloce applicazione e incredibilmente utili. Usate correttamente, con una mappa degli argomenti di fronte, aiutano a superare molti errori commessi nel rappresentare la struttura dell’argomento.
Le regole di aiuto del Dott. Neil
Regola del coniglio
“Non puoi concludere qualcosa sui conigli se non hai parlato di conigli”
Dunque:
“Tutti i termini significativi nella conclusione devono apparire almeno una volta in ciascuna ragione”
Questo vale per tutte le ragioni indipendenti separatamente. La ragione non può condurre alla conclusione “Socrate è mortale” se nelle sue premesse non ci siano sia “Socrate” che “mortale”. Dal momento che molti argomenti sono entimemi, ((7 Si veda Grice in (Grice, 1989, passim).)) la Regola del coniglio spinge gli studenti a trovare le premesse nascoste e affermarle esplicitamente.
Per esempio, un editoriale potrebbe sostenere che l’Australia dovrebbe adottare sale per iniezioni sicure (e relativi programmi) per coloro che sono dipendenti dall’eroina perché tali programmi ne riducono le morti. Premesse nascoste plausibili sono che questi programmi non incrementino le morti né comportino altri costi proibitivi, e che l’Australia dovrebbe adottare politiche che riducano le morti complessive senza incorrere in altri costi proibitivi.
Questa regola è semplice, chiara e facile da applicare, e tutti gli studenti lo sanno bene. Eppure, su ogni data mappa che producono, per la prima metà del semestre, è probabile che falliscano nel suo utilizzo, e in una maniera significativa. Di solito, non riescono ad articolare la premessa nascosta facendo la maggior parte del lavoro. (“Tutti gli umani sono mortali”). Tuttavia, qualsiasi dodicenne può vedere se una mappa dell’argomento segue la Regola del coniglio: tutto quello che c’è da fare è cerchiare le parole corrispondenti. Ciò nonostante, brillanti studenti universitari hanno spesso difficoltà, probabilmente perché lasciano che la loro mente completi le premesse e le definizioni mancanti.
Nelle nostre menti eseguiamo così tante inferenze semantiche che è facile lasciarsi sfuggire una violazione della Regola del coniglio, anche se è banalmente facile da vedere nella mappa degli argomenti di qualcun altro o quando ci viene chiesto di osservare nuovamente la nostra.
Certamente, un argomento non è buono per il solo fatto di avere tutti gli elementi importanti nelle sue premesse. Per esempio, si può avere “Socrate è un uomo” e “Tutti gli elefanti sono mortali”. Abbiamo parlato di “Socrate” e “mortale”, ma le premesse non funzionano se messe insieme.
Tenersi per mano
“Non possiamo essere connessi se non ci teniamo per mano”
Dunque:
“Ogni termine significativo in una premessa di una ragione deve apparire, almeno una volta, in un’altra premessa di quella ragione o nella conclusione”.
Le premesse si tengono la mano condividendo termini. Quindi “Socrate è umano” condivide “umano” con “Tutti gli umani sono mortali”.((8 Gli studenti chiederanno se dovremmo richiedere che la seconda premessa sia qualcosa come “Qualsiasi umano è mortale” dal momento che “umani” e “umano” non sono proprio la stessa cosa. Ma anceh all’acme della mia pedanteria (durante le prime 3 settimane del semestre, quando conviene essere più chiaro e rigoroso) non ho insistito su cambiamenti così superficiali.)) Già solo collegare i termini in questo semplice modo previene tante “ragioni” irrilevanti che non riescono a condurre alla conclusione anche se tutti gli “ingredienti” sembrano esserci.
Quando si valutano i compiti assegnati è sufficiente scrivere “RR” per “Rabbit Rule” (Regola del Coniglio) o “HH” per “Holding Hands” (Tenersi per mano), e subito gli studenti risolvono il problema da sé. Dopo un paio di esercizi, molte delle frecce rosse nell’esempio non sarebbero necessarie.
Per esempio, potremmo aver ricevuto la mappa seguente per l’argomentazione sulle sale di iniezione e averla commentata in questa maniera:
Per quanto RR e HH aiutino ad assicurare che ogni ragione sia sufficiente per la sua conclusione, si tratta solo di regole euristiche.
Limiti delle regole di aiuto del Dott. Neil
Le regole di aiuto sono meramente sintattiche e quindi insufficienti a garantire una buona argomentazione. Ad esempio, possiamo soddisfarle tutte nell’esempio di Socrate offrendo una unica ragione “Socrate è mortale”. Si potrebbero aggirare con un principio (suggerito dallo stesso Neil) come “Camminare in circolo non ci porta da nessuna parte”, ma per ciascun tale set di regole si potrebbe costruire un controesempio. Il mio preferito è il seguente, che ho sentito per la prima volta da mia moglie:
Gli errori di ambiguità sono necessariamente errori di semantica, quindi i controlli meccanici non possono trovarli. Dunque, piuttosto che complicare il nostro set di regole, è molto più istruttivo presentare questi esempi a lezione, dopo che gli studenti sono diventati abili nell’applicazione delle regole.
Tali esempi aiutano gli studenti a rendersi conto che le regole sono solo guide rapide e a intuire cosa stanno cercando davvero.
Attenuare le regole del Dott. Neil
Infine, anche se sono abbastanza rigoroso con RR e HH a inizio semestre, ci sono molti casi in cui si possono aggiungere tante premesse banali come “Una lepre è un coniglio” oppure ci si può battere con semplici elementi di grammatica (inglese) come tempi e plurali. Questo va bene per imparare e mettere in pratica l’idea e far notare agli studenti che aspetto hanno e come si percepiscono degli argomenti buoni, serrati e deduttivi. Tuttavia, queste applicazioni così pedanti vanno abbandonate il prima possibile. Più avanti nel semestre (o nelle lezioni del terzo anno), si cerca di affrontare argomenti più impegnativi come inferenze da esperimenti o politiche pubbliche, e un’aderenza troppo rigorosa alle regole sintattiche complica esageratamente e rallenta il processo di mappatura.
A metà semestre si può dire “Bene, da ora in poi, se sei sicuro che sia un argomento banale e il suo significato è chiaro, non preoccuparti troppo di aderire rigorosamente alla Regola del coniglio”. Inevitabilmente gli studenti inizieranno a fare parecchie domande sul dove tracciare la linea. La regola di base è “se non sei sicuro, risolvi il problema”. Ma la mia risposta definitiva è: “Se si fa un errore che la Regola del coniglio avrebbe evitato”, questo sembra abbastanza sensato sia a loro sia a me.
Pratica di qualità
Dal momento che gli studenti devono acquisire una capacità, la struttura del corso Reason! assomiglia maggiormente a un laboratorio o a un corso di matematica piuttosto che a uno tradizionale di filosofia. Come l’apprendimento dell’algebra, il pensiero critico richiede pratica piuttosto che il mero studio o ragionamento. Credo che le lezioni di per sé servano a ben poco.
Di conseguenza, le sessioni di discussione settimanali sono tutorial pratici. L’università di Melbourne ha alcune aule informatiche eccezionalmente belle, così gli studenti possono lavorare in gruppo ai computer e successivamente proiettare le loro mappe di fronte all’intera classe per la discussione. Ogni modulo ha una serie di esercizi pratici con risposte e un assortimento di esercizi da svolgere in casa. Dal momento che ci sono quattro moduli, gli studenti devono consegnare i loro compiti svolti ogni tre settimane. Questi compiti sono in genere composti di 6 domande, ognuna delle quali richiede, nominalmente, dalle 5 alle 10 ore di lavoro,((9 Tim dubita che gli studenti impieghino così tanto tempo. )) senza contare il tempo impiegato sugli esercizi pratici. (Neil richiede una mappa degli argomenti ogni settimana, consegnata all’inizio del tutorial). Ogni modulo ha anche una verifica in classe che si tiene alla lezione finale di quel modulo. L’obiettivo è fornire tanta pratica e molti riscontri.
In particolare, la pratica di qualità è, secondo (van Gelder, 2001), pratica che è:
- Motivata: lo studente dovrebbe deliberatamente esercitarsi per migliorare le proprie abilità
- Guidata: lo studente dovrebbe, in qualche modo, sapere cosa fare al passo successivo
- Supportata: soprattutto all’inizio, ci dovrebbero essere delle strutture in grado di prevenire attività inappropriate
- Graduale: i compiti dovrebbe aumentare gradualmente in complessità
- [Fornire] Riscontri: lo studente dovrebbe essere in grado di comprendere se una particolare attività è stata condotta in maniera corretta o appropriata
Il collo di bottiglia, purtroppo, è il feedback.
L’onere della valutazione è piuttosto elevato, e di conseguenza abbiamo potuto valutare solo due problemi (scelti casualmente)((10 Entro limiti ragionevoli. Nella pratica escludiamo, di solito, uno o due problemi perché troppo difficili o ambigui per la valutazione. Tuttavia, questo non è stato comunicato agli studenti. )) da ogni serie di esercizi. Ho organizzato il programma in modo che gli studenti consegnassero i compiti il venerdì dell’ultima settimana per un modulo e i compiti valutati fossero restituiti entro lunedì a mezzogiorno. Io e tutti i tutor abbiamo tenuto svariate ore di ricevimento il lunedì e il martedì, e la verifica si teneva quel martedì pomeriggio a lezione. Il mercoledì valutavamo quindi le verifiche e il giovedì le discutevamo. Erano intense settimane di valutazione (e di stesura degli esami!), ma almeno fornivamo rapidi riscontri agli studenti. Abbiamo deciso che il feedback rapido fosse molto importante perché, sebbene i materiali online ne forniscano una vasta gamma in un certo senso (specialmente per esercizi pratici), gli studenti, l’anno precedente, avevano lamentato di non averne abbastanza, nel senso che non ricevevano valutazioni sui compiti a casa. Il fatto è che la maggior parte degli studenti non si mette davvero alla prova fin quando non deve consegnare un lavoro per una valutazione.((11 Per un’osservazione davvero interessante, per quanto deprimente, su come insegniamo agli studenti a comportarsi in questo modo, e precisamente su come questo distrugga il loro interesse intrinseco si legga Punished by Rewards (Punito dai premi) di Alfie Kohn, (Kohn, 1993).))
Idealmente gli studenti avrebbero ricevuto un feedback su TUTTI i problemi svolti in casa, e ne avrebbero fatti due a settimana, incrementando gradualmente la difficoltà. Ma l’onere della valutazione stava già raggiungendo i limiti di quanto praticamente e legalmente si poteva richiedere ai tutor. Siamo diventati più veloci col trascorrere del semestre, e molti di noi abbiamo scoperto che correggere su carta era più veloce di correggere i compiti elettronici, ma l’efficienza delle operazioni di valutazione stabilisce il limite reale di quanto gli studenti possano imparare. Credo che se potessimo offrire loro dei resoconti rapidi su compiti valutati ogni settimana, gli studenti infrangerebbero la barriera del miglioramento di 1.0 deviazioni standard. Due a settimana per studente potrebbero non essere possibili senza una sorta di sistema di valutazione automatizzato o senza tutor esperti che valutino problemi che abbiano già affrontato molte volte in passato. Uno per studente potrebbe essere possibile.
Intento dell’autore
L’argument mapping può essere così impegnativo che è molto semplice accollare all’autore un’interpretazione poco caritatevole quando si compilano le premesse nascoste. L’errore usuale è quello di rendere le premesse nascoste troppo forti. Per esempio, quando gli studenti del terzo anno mappavano gli argomenti per il cognitive bias, il pregiudizio cognitivo, spesso scrivevano la premessa utile “Le persone vedono quello che si aspettano”. Infatti, l’autore, a un certo punto, lo aveva detto e la mappatura è andata bene. Il problema è che l’autore non può avere inteso qualcosa di così forte – è la descrizione di una chimera, non un normale pregiudizio cognitivo! Tuttavia, un’affermazione più sfumata come “Le persone interpretano prove ambigue in modo da favorire le proprie posizioni” rende la mappa argomentale più complessa. Ciò nonostante, è cruciale esplicitare queste affermazioni, e farlo in modo da catturare l’intento dell’autore. A lezione ho parlato del Principio di Carità e le conseguenze deleterie dell’ignorarlo, in particolare l’onnipresente tendenza dei dibattiti accademici a finire ad attaccare straw-man, argomentazioni fittizie.
Valutazione degli argomenti
Fino ad adesso ho trattato solo della struttura dell’argomento. Una volta ricostruito un argomento scritto, o sviluppato il proprio, si valuta. Il sistema di valutazione integrato nel software Reason!Able è rudimentale ma serve allo scopo. Non fa quasi nulla al posto nostro ma fornisce suggerimenti utili e domande, e consente di visualizzare la propria valutazione a colori. Una forte argomentazione a sostegno è verde brillante. Le più deboli diventano più pallide. Allo stesso modo, un’argomentazione forte ma opposta è di colore rosso brillante.
Il software richiede agli studenti di notare che la valutazione è un processo ricorsivo e di apprezzare che la ricorsività deve, in pratica, andare a fondo da qualche parte. In Reason!Able, alle ragioni di più basso livello vengono fornite “basi” piuttosto che altre ragioni. Le basi per la convinzione includono: verità necessaria, opinione di esperti, testimonianze oculari, conoscenza comune, esperienza personale e opinione ponderata. Il programma Reason!Able ha delle icone per ogni base, insieme con delle regole per la loro applicazione. Per esempio, secondo le schermate di guida, per essere un’affermazione considerata conoscenza comune deve essere:
- ampiamente creduta nella comunità
- ben fondata – vale a dire che la convinzione della comunità deve avere essa stessa della basi solide
- libera da ogni grave controversia
Allo stesso modo, per essere opinione d’esperti, un’affermazione deve essere:
- il parere di un vero esperto, sincero, degno di fiducia e privi di conflitti di interesse
- all’interno dell’aerea di competenza dell’esperto
- libera da ogni grave controversia tra gli esperti più importanti
Se la mappa degli argomenti è compilata correttamente, allora tutte le co-premesse di una ragione sono necessarie affinché la ragione sia valida. Quindi, se una di queste fallisce, quella ragione non deve dare alcun supporto. Per esempio, supponiamo di giudicare la terza premessa nell’argomentazione sull’eroina (“L’istituzione di sale per l’iniezione sicura non comporterà altri significativi costi sociali”) come priva di fondamenta. Quindi, poiché non ci sono altri argomenti per la conclusione principale, decidiamo che in questa mappa non c’è alcuna buona ragione per credere alla conclusione. In pratica, valuteremmo la terza premessa considerando vari argomenti di supporto e opposti.
Sebbene il software Reason!Able separi le modalità di costruzione e di valutazione, nella pratica la costruzione di una buona argomentazione richiede frequentemente di cambiare modalità, almeno nella nostra testa. Abbastanza spesso si notano delle lacune solo al momento della valutazione.
Mappe, pratica, struttura
Avendo già visto che i risultati di Reason! sono ripetibili, anche con un istruttore alle prime armi, le tre componenti principali del metodo sono la mappatura degli argomenti, la pratica di qualità e l’apprendimento sostenuto e strutturato.
La pratica è chiaramente importante: la mappatura degli argomenti senza la pratica non migliorerebbe molto il pensiero critico. Allo stesso modo, struttura e previsioni chiare miglioreranno qualsiasi materia. Ciò nondimeno, sospetto che la mappatura degli argomenti sia così importante che se una classe che usi i metodi tradizionali per lo sviluppo del pensiero critico compisse la stessa quantità di pratica e usasse la stessa struttura graduale del metodo Reason! non otterrebbe lo stesso livello di miglioramento. Potrei sbagliarmi, ma vedo almeno tre motivi per enfatizzare la mappatura.
Per prima cosa, la mappatura è l’aspetto maggiormente caratterizzante del metodo Reason!. Ci sono molte classi che applicano i metodi tradizionali con livelli di pratica e struttura differenti. Mi aspetto che alcune fra queste – in particolar modo quelle che si basano sulla logica formale – abbiano eguagliato, o quasi, le nostre ore di pratica e i nostri chiari obiettivi graduali. Quindi, anche se importanti in qualsiasi metodo, non credo che siano davvero unici per il metodo Reason!.
Come seconda ragione, l’argument mapping punta precisamente alla struttura dell’argomentazione, e gli studenti hanno davvero bisogno di essere aiutati nell’apprenderla. La prosa non obbliga gli studenti a conoscere la struttura, ma le mappe sì. La mappatura aiuta molti studenti a vedere che c’è una struttura.
Infine, il pensiero critico, come generalmente concepito e misurato dal CCTST, consiste nell’affrontare gli argomenti “in the wild”, nella natura selvaggia. L’argument mapping è una competenza generica che può essere applicata a qualsiasi tipo di argomentazioni, quindi migliorare nella mappatura aiuta con tutti gli argomenti invece che solo con sottotipi specializzati. Similmente, la mappatura degli argomenti è sempre applicata ad argomenti “selvaggi”, quindi gli studenti non devono tradurre avanti e indietro tra sistemi formali e la pratica che hanno acquisito si applica direttamente.
È difficile separare il ruolo della mappatura degli argomenti da quello del software ma, in generale, una semplice aggiunta del computer non tende a migliorare i metodi educativi, rendendo improbabile che sia il software in sé a farlo, quanto, al contrario, la mappatura stessa. Inoltre, il ruolo chiave del software è chiaramente quello di rendere facile o pratico il processo di mappatura. In tal senso, il software non è una componente “extra”, anche se, apparentemente, grandi fogli di carta e post-it costituiscono un decente sostituto.
Difficoltà degli studenti
Se si pensa ancora che un intero semestre sia troppo da spendere per l’analisi degli argomenti, basta prendere un qualsiasi argomento di due paragrafi e provare a mapparlo. Successivamente occorrerà controllare se sono state seguite le regole del coniglio e del tenersi per mano. Siamo sicuri di aver compreso la struttura che intendeva l’autore? Quando saremo sicuri di noi stessi probabilmente avremo già speso 30 minuti o più per produrre la nostra mappa, anche se in un certo senso abbiamo capito bene l’argomento in anticipo. Per qualche ragione, nessuno ci crede finché non ci prova.
Mi ci è voluta più di un’ora per mappare l’argomentazione di Hume contro la connessione necessaria, sebbene la conoscessi e credevo di averla capita abbastanza bene. Ma non mi ero mai chiesto se la sua struttura fosse una catena di ragioni, un insieme di ragioni parallele che lavorano insieme o una via di mezzo: una struttura con una forma simile a quella di un albero. Nel pensiero e nell’ascolto ordinari sostituiamo ogni sorta di inferenze senza notare cosa siano. Durante la mappatura, dobbiamo decidere nello specifico se l’affermazione sia una co-premessa per quella ragione presa in considerazione o parte di una ragione separata.
Per apprezzare davvero questo discorso, si dovrebbe provare adesso. Solo per far un esempio, la Figura 2 è una parte di quell’argomento che, una volta mappato, si rivela per lo più una catena. La selezione di citazioni dal Trattato di Hume ci è pervenuta in parte grazie a M.J. Garcia-Encinas (Garcia-Encinas, 2003 in corso).
Questa mappa mostra una semplice catena di ragioni per una conclusione semplice e chiara: non abbiamo questa impressione. Individua anche le premesse utili che svolgono tutto il lavoro, la più nota è “Tutto ciò che possiamo concepire è possibile”, che collega la discussione alla possibilità logica quando dovremmo probabilmente parlare di possibilità fisica.((12 Garcia-Encinas (citando Kripke) sostiene che possiamo dubitare dell’affermazione di Hume anche in matematica: cosa sono le congetture se non concezioni di possibilità? Eppure, molte, spesso dopo decenni, si sono dimostrate false. Quindi la concepibilità è una guida fallibile alla possibilità, anche nel pensiero puro.))
Anche così un rapido controllo dimostra che questa non segue rigorosamente le regole del coniglio e del tenersi per mano. Penso che sia ragionevole aspettarsi che i lettori identifichino “Non c’è” con “Non esiste”, e analizzino segnaposti come “qualcosa”, “A” e “B”. Ma non userei questa mappa a lezione all’inizio del semestre.
Giocare con gli argomenti
Gli studenti tendevano a giocare con gli argomenti piuttosto che a impegnarsi con essi. Di conseguenza, le loro obiezioni erano spesso degli scenari usa e getta: “Probabilmente questo potrebbe accadere”, senza suggerire il come, il perché e quanto fosse probabile. È un po’ come spiegare i propri risultati di laboratorio invocando “errori di misura” senza analizzare se i plausibili errori di misura avrebbero mai potuto giustificare le discrepanze.
O gli studenti erano solo pigri e davano risposte col minimo sforzo o stavano imparando a giocare a un gioco di Caselle-e-Frecce basato sulle nostre regole, senza pensare a cosa stessero facendo. Questo è avvenuto, in parte, come conseguenza naturale del concentrarsi su argomenti molto semplici all’inizio del semestre. Alla fine del semestre, ho notato molto meno questo fenomeno, in parte perché l’ho specificamente affrontato a lezione e in parte perché stavamo affrontando argomenti più complessi.
Ragioni con più premesse contro ragioni multiple
Ho già menzionato che questo è l’errore più comune durante la mappatura degli argomenti, sia nel mappare argomenti altrui che nella costruzione dei propri.
Tuttavia, voglio ribadire che, sebbene l’errore persista, gli studenti sono migliorati. Col secondo modulo ho scritto all’elenco dei tutor:
“Gli studenti sono ancora insicuri sul quando qualcosa è una ragione separata o quando è una premessa utile. Ma adesso lo so soprattutto perché STANNO FACENDO DOMANDE. Le loro mappe complete non fanno più confusione così spesso. Progressi!”
Ma cosa è precisamente una ragione in una mappa?
In parte questo è stato un mio errore, mi sono immerso direttamente nella mappatura e nella struttura senza fermarmi per chiarire cosa fossero le nostre ragioni. Mentre le mappe presumono che le ragioni siano prove per una conclusione, nella vita reale le ragioni possono essere, altrettanto probabilmente, delle spiegazioni. L’ho notato in maniera molto marcata nel corso del terzo anno (senior) per “Scienze, Vita e Mente” (SLM – Science, Life, and Mind) che usava le mappe degli argomenti ma senza aver impiegato 3 settimane per loro introduzione.
Gli studenti del SLM continuavano a compilare le teorie come ragioni per i fatti che erano utilizzati per supportare la teoria! Per esempio, un capitolo offriva diversi esperimenti per dimostrare che spesso le persone agiscono in maniera abbastanza incoerente con le loro convinzioni dichiarate. In un esperimento, Richard LePierre e due amici cinesi visitarono circa 250 ristoranti e alberghi in giro per gli Stati Uniti d’America meridionali nel 1930, ricevendo un servizio cordiale e persino estremamente amichevole tranne che in uno. Sei mesi dopo, inviò dei sondaggi a ogni stabilimento chiedendo se avrebbero servito clienti cinesi. Quasi tutte le 130 risposte furono negative! L’autore ha fornito i risultati del suo esperimento come ragione della sua teoria sull’incoerenza relativamente speculativa.
Tuttavia, la maggior parte degli studenti in SLM hanno creato delle mappe che indicavano la teoria dell’incoerenza come una ragione per credere ai risultati dell’esperimento. Sebbene questo tipo ragionamento a volte si verifichi, chiaramente questo non era il caso. Questa teoria era stata offerta come spiegazione dei fatti, non come ragione per crederli validi! Crediamo ai fatti grazie ai risultati sperimentali e ai presupposti della rappresentatività e generalità (per non menzionare l’onestà dello sperimentatore).
Gli studenti avevano condiviso la mia diagnosi per cui identificavano le ragioni come spiegazioni, e la maggior parte di loro era riuscito a passare a un’altra o altre due mappe. Penso che le mappe siano state utili a evidenziare una ambiguità reale nel ragionamento degli studenti, che sarebbe stata molto più difficile da comprendere se avessero discusso solamente in prosa. Questo perché in prosa “ragione” assume davvero tutti questi significati.
Mappe scadenti versus pensiero scadente
In entrambe le classi vedevo spesso mappe inspiegabilmente scadenti, supponendo almeno che gli studenti ci passassero del tempo! Continuo a credere che gli studenti non stessero avendo le difficoltà di comprensione dell’argomento che erano indicate dalle loro mappe. Sospetto che se avessi chiesto agli studenti di produrre la mappa di un argomento, e anche di scrivere quale ritenessero essere l’argomento, il loro saggio avrebbe dimostrato una comprensione di gran lunga maggiore. Però, poterebbe non essere il caso. Tim ha compiuto una gran quantità di esercizi in classe con gruppi di tutte le età nei quali era chiesto ai partecipanti di identificare il punto principale e l’argomento in brevi lettere rivolte all’editore (3 frasi!). Ecco qui un esempio della consegna, un’intera lettera indirizzata all’affermazione di un accademico che sosteneva che Shakespeare fosse in realtà italiano.
QUINDI Shakespeare era Italiano perché quasi la metà delle sue opere hanno luogo in Italia. Quasi tutti i romanzi di Isaac Asimov hanno luogo nello spazio – significa forse che fosse un marziano?
Graham Simpson – Cairns, Qld
C’era parecchio dissenso fra gli studenti, anche intorno alla conclusione. La brutta notizia è che questo è ancora un argomento controverso. La buona notizia è che la maggior parte degli studenti era notevolmente migliorata verso metà semestre.
Ci sono due spiegazioni per il miglioramento. Per prima cosa, il loro ragionamento e la loro comprensione stavano di fatto migliorando. Sapevano di dover distinguere la struttura e stavano imparando che non tutto era arbitrario e che ci sono dei modi per capire quali siano le migliori interpretazioni. E stavano imparando che precedentemente avevano interpretato male gli argomenti o non erano riusciti proprio a interpretarli.
In secondo luogo, stavano facendo pratica con l’uso delle mappe. Si faccia attenzione: anche se le mappe possono essere il modo naturale per rappresentare gli argomenti, mappare non è naturale. Mentre la maniera migliore per interpretare “ragione” in una mappa è “prova utile a credere”, questa è di per sé una convenzione che si deve scegliere (o accettare) e imparare ad applicare rigorosamente. Nel momento in cui entrano in contatto con questa materia, questi studenti brillanti hanno già frequentato 12 anni di scuola durante i quali hanno scritto e letto in prosa: sono molto preparati in quello che fanno, qualunque siano i loro limiti. La maggior parte di loro non ha mani visto una mappa degli argomenti prima e deve imparare a leggerla, scriverla, manipolarla e valutarla. Il che richiede pratica.
Ciò nondimeno, lo imparano e quindi migliorano molto a pensare.
Conclusione
In aggiunta ai forti dati empirici a favore dell’approccio all’argument mapping basato su Reason!, ho la forte impressione che gli studenti stessero davvero imparando a comprendere meglio la struttura degli argomenti, sforzandosi a pensare con chiarezza. Molti hanno detto di stare usando mappe per pianificare altri saggi e ritenevano che fosse d’aiuto. Nonostante la mia formazione in filosofia analitica, sento che mappare mi aiuta col mio stesso pensiero.
In sintesi, credo che il metodo Reason! e l’argument mapping in particolare funzionano davvero. La Figura 3 mostra il perché.
Bibliografia
Cohen, J. (1988). Statistical power analysis for the behavioral sciences (Second ed.). Hillsdale, NJ: Lawrence Earlbaum Associates.
Donohue, A., van Gelder, T. J., Cumming, G., & Bissett, M. (2002). Reason! project studies, 1999-2002 (Tech. Rep. No. 2002/1). Department of Philosophy: University of Melbourne.
Educational Statistics, N. C. for. (1997). The condition of education. Government Printing Office. (NCES 97-388, http://nces.ed.gov/pubs/ce)
Facione, P. A. (1990, 1992). California critical thinking skills test. Available from California Academic Press.
Garcia-Encinas, M. (2003 forthcoming). A posteriori necessity in singular causation and the Humean argument. Dialectica, 57.
Grice, H. P. (1989). Studies in the way of words. Cambridge, MA: Harvard University Press.
Hake, R. R. (1998). Interactive-engagement vs traditional methods: A six-thousand-student survey of mechanics test data for introductory physics courses. American Journal of Physics, 66, 64–74. (http://www.physics.indiana.edu/~sdi/ajpv3i.pdf visited 27 Feb. 2003)
Hake, R. R. (1999, June). Analyzing change/gain scores. (An analysis of the data of Hake 1998 in terms of ”effect sizes”. Available at http://www.physics.indiana.edu/~sdi/ AnalyzingChange-Gain.pdf. Originally posted on 13 March 1999 to AERA-D – American Educational Research Associations’s Division D, Measurement and Research Methodology.)
Hitchcock, D. L. (2003, February). The effectiveness of computer-assisted instruction in criti- cal thinking. (Unpublished draft manuscript accepted for a conference in May 2003. Available from http://www.humanities.mcmaster.ca/~hitchckd/effectiveness.pdf, cited with per- mission)
Kohn, A. S. (1993). Punished by rewards. Boston: Houghton-Mifflin.
Mazur, E. (1997). Peer instruction: a user’s manual. Upper Saddle River, NJ: Prentice Hall.
Pascarella, E. T., & Terenzini, P. (forthcoming). How college affects students revisited: Research from the decade of the 1990s. Jossey-Bass.
Powers, D. E., & Rock, D. A. (1998). Effects of coaching on SAT I: Reasoning scores (Report No.
98-6). The College Board.
Scriven, M. (1976). Reasoning. New York: McGraw-Hill.
Springer, L., Stanne, M. E., & Donovan, S. S. (1999). Undergraduates in science, mathematics, engineering, and technology: A meta-analysis. Review of Educational Research, 69 (1), 21–51. (http://www.aera.net/pubs/rer/abs/rer691-3.htm)
van Gelder, T. J. (2001). How to improve critical thinking using educational technology. In
G. Kennedy, M. Keppell, C. McNaught, & T. Petrovic (Eds.), Meeting at the Crossroads. Proceedings of the 18th Annual Conference of the Australian Society for Computers In Learning In Tertiary Education (ASCILITE 2001) (pp. 539–548). Melbourne: Biomedical Multimedia Unit, The University of Melbourne. (http://www.medfac.unimelb.edu.au/ascilite2001/ pdf/papers/vang%eldert.pdf)
van Gelder, T. J. (2002). Argument mapping with Reason!Able. American Philosophical Association Newsletter on Philosophy and Computers.
van Gelder, T. J., & Cumming, G. (forthcoming). Change in critical thinking skills during college: A meta-analysis