Inf20:Werkgroepen/Kwaliteit/Discussie

Opmerkingen vooraf

Dit is een discussienotitie over kwaliteit. De opmerkingen hieronder zijn niet bedoeld als absolute waarheden, maar als punten om over na te denken, om te inspireren tot nieuwe ideeën.

De handigste aanpak voor dit moment is om (ondertekende) opmerkingen per punt toe te voegen. Op een bepaald moment kunnen we een volgende versie maken op basis van deze opmerkingen. Dit kan in sommige gevallen al snel als je in de opmerkingen een alternatieve formulering biedt voor de huidige tekst.

Voel je vrij om ontbrekende punten toe te voegen. Dit is een werkdocument, niet bedoeld om in dit stadium in de etalage te zetten.

Voel je vrij om van een punt te zeggen dat dit niet relevant is, of niet belangrijk genoeg. We hebben weinig middelen - en zullen ons dus echt op de hoofdzaken moeten concentreren. Ook in dit proces kunnen we ons geen verspilling veroorloven.

Het is nodig dat we concreet worden: hoe kunnen we een kwaliteitssysteem opzetten - wat het leren van de leerlingen verbetert, wat het onderwijzen van de docenten verbetert, en wat leidt tot steeds beter onderwijsmateriaal. --Eelco (overleg) 19 okt 2012 06:15 (MST)

Over kwaliteit: minimum-garantie, of leren hoe het beter kan

Er zijn heel veel varianten van het begrip "kwaliteit" in gebruik - zie ook de Wikipedia-artikelen over dit onderwerp (in verschillende talen). Er zijn twee verschillende uitgangspunten:

• een garantie dat een product aan bepaalde minimum-eisen voldoet. Dit is de kwaliteit die vooral bij keurmerken een rol speelt. Dit is in het bijzonder van belang bij risicovolle situaties - vliegveiligheid, voedselveiligheid, veiligheid van elektrische installaties etc.
• kwaliteit als leerproces - om steeds betere producten te maken, met minder verspilling (o.a. tegen lagere kosten, maar verspilling is een veel breder begrip).

Deze tweede benadering impliceert in zekere zin de eerste: verlies van mensenlevens is een belangrijke vorm van "verspilling". Maar het omgekeerde is niet het geval: een garantie voor een minimale kwaliteit impliceert geen leerproces dat gericht is op continue verbetering van de kwaliteit.

Kwaliteit als onderdeel van een leerproces

Een belangrijke vertegenwoordiger van deze tweede benadering is Toyota: het kwaliteitssysteem is gericht op een continu leerproces om steeds betere producten te leveren met minder verspilling. Dergelijke leerprocessen vinden we op meer plaatsen in de industrie. Moore's Law en de verschillende varianten hiervan zijn duidelijke voorbeelden. "Elk exemplaar dat je maakt leert je hoe je een volgend exemplaar beter kunt maken." - en, als je veel exemplaren maakt, gaat zo'n leerproces ook erg snel.

• http://en.wikipedia.org/wiki/Experience_curve
  • zie daaronder ook de verwijzing naar Ebbinghaus(!)

Ook het leren dat bedrijven als Google doen past in deze trend. Een belangrijke component van dit leren is het gebruik van grote hoeveelheden data ("big data") en de analyse daarvan, "analytics". Voor het onderwijs is dit een relevante aanpak. (Enkele van de universitaire cursussen die via het web aangeboden worden maken hiervan gebruik.)

Voor Informatica 2.0 gaan we uit van kwaliteit als leerproces, als integraal onderdeel van alle relevante processen, met een focus op het primaire proces.

• het gaat om elk aspect van het proces - dat is echt anders dan een kwaliteitscontrole op een eindproduct;
• het primaire proces in het onderwijs is het leren van de leerling - niet het onderwijsproces, en zeker niet de organisatie: die zijn ondergeschikt aan het primaire proces.

Wij willen rond Informatica 2.0 een "lerende omgeving" scheppen die gericht is op continue verbetering.

Kwaliteit - in relatie tot doel en intentie

In de context van Informatica 2.0 is kwaliteit gerelateerd aan de doelen van Informatica 2.0, en aan de doelen van het onderwijs in het algemeen. Je moet de kwaliteit van het onderwijs afmeten aan deze doelstelling.

Dit betekent dat je een duidelijke doelstelling nodig hebt.

• zie ook de discussie: http://www.trendmatcher.nl/2012/10/heb-je-dat-allemaal-op-school-geleerd.html?m=1 (naar aanleiding van de stelling: het einddoel van een schoolvak is en blijft een toets.)
• zie ook: http://davidwarlick.com/2cents/?p=1668
  • “The purpose of education is to appropriately prepare our children for their future.”
  • "The purpose of education is to make the world a better place."

Het betekent ook dat je deze doelstelling op één of andere manier meetbaar moet zien te maken. En hier zit een levensgroot gevaar: het risico is dat je alleen bepaalde aspecten van de doelstelling kunt meten, en dat de aspecten die meetbaar zijn als de enige relevante beschouwd worden.

• je moet je daarom ook voortdurend afvragen of je, met het oog op je oorspronkelijke doelstelling, wel de goede aspecten meet - en niet een afgeleid aspect dat een eigen leven gaat leiden.

(Hier is wel een mooie anekdote over, uit de begintijd van de computer. Een computerfabrikant wilde een bepaald model computer versnellen. Hiervoor werd gemeten welke instructies het vaakst uitgevoerd werden; in het volgende model waren die aanzienlijk sneller gemaakt. Het resultaat was dat deze volgende computer aanzienlijk sneller op input stond te wachten - want dat waren de instructies die het meest uitgevoerd werden... )

Reactie (bronnen van kwaliteitseisen en doelstellingen):

In dit verband is een mogelijke vraag:
Wat kunnen we als bronnen van kwaliteitseisen en -wensen aanwijzen?
Denkend over het Informaticaonderwijs kunnen we mogelijk concluderen dat:

- het niet één bron betreft, maar meerdere;
- de bronnen zeer divers zijn;
- een gefixeerde hiërarchie in deze bronnen niet vaststelbaar is;
- de hiërarchie van kwaliteitseisen een veranderende zaak is.

Als bronnen zou men naar voren kunnen aanwijzen: de leerling, de student, de docent, de school, de wetenschap, de vakvereniging, het organisatie- en bedrijfsleven, de maatschappij e.v. Het is wellicht een bruikbare beginopdracht voor protagonisten van het vak Informatica de bronnen van kwaliteit (stakeholders) te identificeren en de verbanden met daaruit voortvloeiende of voorgestelde kwaliteitseisen te bepalen en vast te leggen. Mogelijk is dit bevorderlijk voor de kwaliteit van de kwaliteitseisen (zelf). Ten behoeve van de kwaliteit zou dit telkens opnieuw bijgewerkt worden. Immers in zowel belangen als gevraagde kwaliteiten treden verschuivingen op. Actualisering van de kwaliteitseisen lijkt een bijdrage te leveren aan de kwaliteit van het formuleren van doelstellingen en koers.

Dit roept misschien nog een tweede vraag op:
Wat kunnen en moeten we zien als de bron van doelstellingen?
Kunnen en moeten kwaliteiten afgeleid worden uit doelstellingen of is het juist andersom? Kunnen en moeten we wellicht tot dynamische doelstelling(en) komen op basis van telkens op nieuw (bij)gestelde, veranderende kwaliteitseisen? Is dat niet misschien ook efficiënter en meer bevorderlijk voor de meetbaarheid? Dit plaatst het vak Informatica mogelijk dichter en duidelijker in de context waaruit het voortgekomen is, waarin het nu opereert en zich zal moeten waarmaken.' (GvM)

Aspecten van kwaliteit

Kwaliteit is niet 1-dimensionaal: het gaat om verschillende aspecten. Bovendien is kwaliteit niet voor iedereen hetzelfde: de persoonlijke context speelt ook een (grote) rol. Een schilderij van Rembrandt heeft veel kwaliteit, maar is niet geschikt om in mijn huiskamer op te hangen.

• effectiviteit: in hoeverre wordt het doel, de intentie gehaald?
• efficiëntie: is er geen overmatig gebruik van schaarse middelen? (Eigenlijk vind ik dat "geen verspilling" dit beter uitdrukt - dat zegt eigenlijk: zo efficiënt als we kunnen zijn.)
• robuustheid: wordt het doel nog (ten dele) gehaald als er niet geheel aan de ingangseisen voldaan wordt? Voorkom je dat het dan volstrekt misgaat?

Verminderen van verspilling

Bij de Toyota-interpretatie van kwaliteit speelt het verminderen van verspilling een centrale rol. Dit kan verspilling op allerlei terreinen zijn:

• een (deel)product dat afgekeurd wordt, of waaraan reparatie (rework) nodig is;
• benzineverbruik van een auto - boven wat technisch/economisch haalbaar is;

Aspecten als "weerstand" en "wrijving" - of je die letterlijk of figuurlijk opvat - duiden vaak op verspilling: er wordt energie of materiaal verbruikt dat niet aan het gestelde doel ten goede komt.

In het geval van onderwijs zou je over verspilling kunnen spreken:

• als leerlingen iets leren wat ze niet echt kunnen gebruiken;
• als leerlingen veel tijd in iets steken, maar het gestelde doel niet bereiken (ook niet een afgeleid doel)
  • ook van falen kun je leren - maar dat moet je dan wel willen inzien, je moet dan voorbij de ervaring van "falen" kijken.
• als een leerling niet het niveau haalt wat deze zou kunnen halen - ook al is dat ver voorbij het examenniveau.
• ...wanneer is er sprake van verspilling in de tijd en inzet van een docent?
• als een leerling alle vakken over moet doen - omdat hij voor een beperkt aantal vakken een onvoldoende geboekt heeft.
• als een leerling door het onderwijsmateriaal op het verkeerde been gezet wordt.
• als het enthousiasme van een leerling (of van een docent) gesmoord wordt.

Naar een "lean" aanpak

In veel takken in het bedrijfsleven probeert men een "lean" aanpak te gebruiken. Enkele karakteristieken daarvan zijn:

• leren staat centraal - van de organisatie, en van de medewerkers;
• je leert door veel te experimenteren, en door snel bij te sturen (vandaar het "lean").
• een groot deel van de verantwoordelijkheid ligt op een laag niveau in de organisatie - bij de mensen die bij het primaire proces betrokken zijn
  • in het onderwijs zijn dat zowel de docenten als de leerlingen.

Enkele citaten uit dit verband:

• http://www.leanmanagement.nl/wat-is-lean-management/:
  • Put a smile on the face of a worker. A smile of pride because they accomplished something thought impossible. A smile asking: "What is the next challenge?"
    • Je mag daar, lijkt mij, zowel "leerling" als "docent" invullen voor "worker".
  • Lean management werkt aan een cultuur waarin alle medewerkers continu hun vaardigheden en processen verbeteren.
    • (Hoe kun je verwachten dat leerlingen leren, als hun omgeving niet continu probeert dit voor te doen?)

Experimenteren is noodzakelijk - evolutie is het voorbeeld

De evolutie is een voorbeeld van leerprocessen, op allerlei schalen en in allerlei vormen. Dit werkt doordat er op grote schaal geëxperimenteerd wordt, door middel van bijvoorbeeld genetische variaties.

Ook in technische processen speelt een dergelijke evolutie een belangrijke rol. In de wereld van de websites en de web-apps worden vrijwel dagelijks experimenten met gebruikers gedaan; op grond van de resultaten daarvan worden deze websites en web-apps aangepast tot een volgende generatie.

In ons onderwijs zullen we ook moeten experimenteren, om te zien wat werkt, en wat niet, onder welke omstandigheden, enz. Onderwijs via ICT-middelen biedt daarvoor ruime mogelijkheden. Daarnaast zullen we ook op het niveau van de klas en van de school dingen moeten uitproberen.

• Enerzijds moeten we voorzichtig zijn met experimenten in het onderwijs: de leerlingen moeten daarvan niet de dupe worden. Anderzijds zijn experimenten nodig voor de ontwikkeling van het onderwijs. In sommige gevallen zullen we een vangnet moeten organiseren voor experimenten die een zeker risico voor bepaalde leerlingen inhouden, bijvoorbeeld in de vorm van extra persoonlijke begeleiding.

Kwaliteit is een integraal onderdeel van het proces

We willen het primaire proces steeds beter laten verlopen - door beter materiaal te gebruiken, door docenten beter te scholen, door de omgeving beter aan te passen aan de leerling, enz. Dit betekent dat we een leerproces rond dit primaire proces moeten ontwikkelen.

Een leerling is geen schoefje - en een docent is geen robot

We kunnen veel leren van de kwaliteitsprocessen in de industrie - maar er is één belangrijk verschil met het onderwijs: we hebben te maken met mensen. Een leerling is geen schroefje, en een docent is geen robot. Een bijzondere eigenschap van mensen - en meer in het algemeen van levende wezens - is dat deze uniek zijn. Elk mens is uniek - en dat maakt het bijvoorbeeld erg lastig om statistische analyses op processen en resultaten los te laten, zoals in veel kwaliteitssystemen gebruikelijk.

De Leuvense hoogleraar Berckmans heeft deel onderzoek gedaan naar de "besturing" van dieren, van maden tot paarden en mensen. Bij de beïnvloeding van het gedrag en de ontwikkeling van dieren moeten we volgens hem met de volgende aspecten rekening houden (vrij samengevat)

• elk dier is uniek
• het gedrag van een dier is complex
• het gedrag (c.q. de reactie) van een dier is tijdsafhankelijk - een dier maakt een ontwikkeling door, bijvoorbeeld van larve tot vlieg. In de verschillende stadia van ontwikkeling zal ditzelfde dier verschillend reageren (een larve van een vlieg ontwikkelt zich van licht-mijdend naar licht-zoekend; als je het gedrag daarvan met licht wilt sturen, kun je daar maar beter rekening mee houden.)
• het gedrag (c.q. de reactie) van een dier is dynamisch - een dier heeft een geheugen (zelfs op verschillende niveaus), en verschillende biologische klokken: een reactie op een bepaald moment hangt niet alleen af van de inputs op dat moment, maar ook van de inputs in het verleden.

In het onderwijs moeten we ook met deze eigenschappen rekening houden. In het bijzonder is het unieke karakter van elke leerling (en van elke docent) een belangrijk gegeven. In de maatschappij wordt dit ook steeds belangrijker: in plaats van werkkrachten die uitwisselbaar zijn gaat het steeds meer om mensen die een unieke bijdrage kunnen leveren, in creatieve processen. Het uniforme en herhalende werk leent zich namelijk erg goed voor automatisering.

Als je wilt dat je leerlingen in de toekomst het verschil maken, kan het niet zo zijn dat je ze allemaal hetzelfde onderwijsprogramma laat volgen.

Kwaliteit is een integraal onderdeel van het proces

We willen het primaire proces steeds beter laten verlopen - door beter materiaal te gebruiken, door docenten beter te scholen, door de omgeving beter aan te passen aan de leerling, enz. Dit betekent dat we een leerproces rond dit primaire proces moeten ontwikkelen.

Hoe zetten we een leerproces voor Informatica 2.0 op?

We hebben te maken met allerlei processen die we willen verbeteren, liefst allemaal tegelijk:

• het onderwijsmateriaal;
• het onderwijsproces (met de docent aan het roer);
• het leerproces van de leerling.

Feedback

Feedback speelt een belangrijke rol in elk leerproces. Aan de hand van deze feedback probeer je het proces bij te sturen. Hiervoor moet de feedback wel aan een aantal eisen voldoen:

• je moet op basis van deze feedback weten wat er anders moet. Een cijfer alleen geeft alleen een indicatie van een niveau - het geeft geen enkele richting. Bij het ontwerpen van de feedback moet je al voor ogen hebben hoe de aanpassing eruit kan zien. Aan de hand van de feedback moet een leerling weten wat hij moet doen om een beter resultaat te krijgen.
• feedback moet op tijd komen - het is onderdeel van een proces van bijsturen. Als je op tijd bent, hoef je maar een klein beetje bij te sturen, als je erg laat bent, moet je met veel grovere middelen ingrijpen.
  • je kunt dit ook zien in relatie tot het voorkomen van verspilling: een leerling die te lang op een verkeerd spoor zit verspilt veel tijd en energie (enthousiasme)

Sturen op enthousiasme

Enthousiasme is een enorme drijfveer - door daarop te sturen kun je veel hobbels overwinnen.

Klein beginnen

Het lijkt mij verstandig om zo klein en zo concreet mogelijk te beginnen - bijvoorbeeld bij de meest concrete onderdelen van het huidige programma. (Een eerste inschatting is dat dit SQL is - dit wordt op vrijwel alle scholen behandeld. We zien nog even af van de vraag of dit voor alle leerlingen een verplicht onderdeel zou moeten zijn. Als het voor sommige leerlingen relevant is, moeten we het goed kunnen aanbieden.)

• kunnen we verschillende niveaus van beheersing onderscheiden?
• is er sprake van een opbouw van de onderdelen - in die zin dat je een bepaald onderdeel echt moet beheersen voordat je met een volgend onderdeel aan de slag kunt, omdat dat voortbouwt op die kennis?
  • Als dat zo is, moet je er ook voor zorgen dat leerlingen pas verder kunnen als ze de eerdere stap beheersen.
• kunnen we van elk onderdeel en van elk niveau goed vaststellen of een leerling dit beheerst?
• kunnen we toetsen maken die een leerling kunnen bijsturen - waarbij voor elk fout antwoord duidelijk is waar die leerling aan moet werken?
• is er voldoende oefenmateriaal (dat een leerling ook zelfstandig kan gebruiken)?

...nog verder uit te werken.