Die Konzeption der Evaluation

 

Bevor im Folgenden die drei eingangs bereits skizzierten Erhebungsinstrumente dargestellt werden, wird zunächst ein Überblick über die einzelnen Durchläufe in der Planspielentwicklung gegeben. Dazu ist anzumerken, dass die sukzessive Entwicklung der Spieltage sich in den Erprobungsdurchläufen widerspiegelt: Den drei Spieltagen entsprechen drei Erhebungswellen, in denen zuerst nur die Inselwelt, dann Inselwelt und Lebenswelt und schließlich Inselwelt, Lebenswelt und Wissenswelt in der Praxis erprobt wurden. Da alle drei Erhebungsinstrumente an jedem einzelnen Spielort zum Einsatz kamen, resultierten daraus große Mengen qualitativer und quantitativer Daten. Die folgenden Tabellen stellen die Spieldaten und -orte überblicksweise dar:

1. Erhebungswelle

Datum Ort Staffel
13. 02. 2007 Kopernikus-Haupschule
in Köln-Porz
Inselwelt
24. 03. 2007 Jugendzentrum „Glashütte“
in Köln Porz
Inselwelt

2. Erhebungswelle

Datum Ort Staffel
04. 06. 2007 Gemeinschaftshauptschule
in Alfter-Oedekoven
Inselwelt
05. 06. 2007 Gemeinschaftshauptschule
in Alfter-Oedekoven
Lebenswelt
25. 06. 2007 Jugendtreff „Escherclub“ in
Köln- Bilderstöckchen
Inselwelt
26. 06. 2007 Jugendtreff „Escherclub“ in
Köln- Bilderstöckchen
Lebenswelt
06. 09. 2007 Berufskolleg in Köln-Deutz Inselwelt

3. Erhebungswelle

Datum Ort Staffel
21. 11. 2007 Anne Frank Gesamtschule
in Düren
Inselwelt
22. 11. 2007 Anne Frank Gesamtschule
in Düren
Lebenswelt
23. 11. 2007 Anne Frank Gesamtschule
in Düren
Wissenswelt

Die Vorher-Nachher-Befragung der teilnehmenden Jugendlichen

 

Dieses Instrument dient dazu, Einstellungsveränderungen und Lernprozesse der Jugendlichen über den Verlauf des Planspiels hinweg zu dokumentieren sowie einige Kontextvariablen wie Alter, Geschlecht und familiären Sprachgebrauch zu erheben. Dies geschieht mittels des standardisierten ersten Teils des Fragebogens, dessen Items zum überwiegenden Teil dem BLK-Programm „Demokratie lernen und leben“ entnommen und somit hinreichend validiert sind (vgl. Diedrich/Abs/Klieme 2004); in einem zweiten, offenen Teil, der nur im Anschluss an das Planspiel durchgeführt wird, werden die Jugendlichen dazu aufgefordert, ihr subjektives Erleben der Planspielsequenzen zu verbalisieren bzw. ein inhaltliches Feedback zu geben.   

Der Fragebogen zur Vorher-Nachher-Befragung befindet sich hier.

 

Der erste Teil des Fragebogens gliedert sich in vier thematische Schwerpunkte:

  1. Politisches Wissen
    Hier werden sowohl einige allgemeine Fragen zum (deklarativen) politischen Wissen gestellt, als auch solche, die in konkretem inhaltlichem Zusammenhang mit den einzelnen Planspieltagen stehen.
  2. Politische Kontrollüberzeugungen (internal, sozial-external und fatalistisch)
    Durch diese Fragebatterie soll zugänglich gemacht werden, wie die Jugendlichen ihre Möglichkeiten einschätzen, durch persönliche Aktivität auf ihr politisches Umfeld einwirken zu können.
  3. Integration von Menschen mit Migrationshintergrund
    Diese Fragen beziehen sich auf die Position der Jugendlichen zu einigen migrationsspezifischen Themen.
  4. Politische Aktivität
    Hier wird gefragt, inwiefern die Jugendlichen bereit sind, sich in ihrem näheren Umfeld politisch zu engagieren.

 

Der zweite, offene Teil des Fragebogens fokussiert zum einen individuelles Erleben und Gruppendynamik, andererseits wird aber auch nach konkreten Veränderungsvorschlägen für das Planspiel gefragt.

Die Befragung der mittelbar beteiligten Akteur/-innen

Mittels des standardisierten Fragebogens soll der Ablauf der einzelnen Planspieltage aus der Perspektive der beteiligten professionellen Pädagog/-innen beurteilt werden. Als solche wurden jeweils die Spielleitung, die anwesenden pädagogischen Fachkräfte aus der jeweiligen Einrichtung sowie Studierende, die als Beobachter/-innen anwesend waren, befragt.
In inhaltlicher Hinsicht waren die Befragten gehalten, den globalen Ablauf des Planspiels und die Spielfreude und das Spielverhalten der Jugendlichen auf verschiedenen Skalen einzuschätzen. In Kombination mit der Nachherbefragung der Jugendlichen können so die Perspektiven sämtlicher beteiligter Personengruppen zueinander in Beziehung gesetzt werden. Der Fragebogen hierzu befindet sich hier.

Die systematische Beobachtung

Die Dynamik des Planspiels „Die Beste Aller Welten“ bringt es mit sich, dass der Spielleitung und den pädagogischen Fachkräften vieles verborgen bleibt, was sich innerhalb und zwischen den einzelnen Spielgruppen abspielt. Aus diesem Grund dient die systematische Beobachtung als dritte Säule der Evaluation dazu, detaillierte Einblicke in gruppenin- und externe Interaktionen der Jugendlichen während der verschiedenen Spielphasen zu gewinnen. Damit kann der Ablauf einzelner Sequenzen im Nachgang genau unter die Lupe genommen werden, um Spielmaterialien oder die Konzeption der Sequenzen gegebenenfalls zu modifizieren.
Durchgeführt wurde die systematische Beobachtung von für diese Aufgabe geschulten Studierenden der Universität zu Köln, deren Aufgabe es also war, sich mit einem Beobachtungsbogen an die Fersen der einzelnen Gruppen zu heften, um verbale und nonverbale Kommunikation und Interaktionen der Jugendlichen zu protokollieren. Der dazu benutzte Beobachtungsbogen befindet sich hier. Den einzelnen protokollierten Interaktionen wurden dabei inhaltliche ‚Etiketten’ bzw. Codes zugeordnet, je nachdem, worum es in den Gesprächen ging. Dieses waren die folgenden Kategorien:

  1. Spielverhalten
    Dazu gehören zunächst Rollenübernahme und Spielintensität der Teilnehmenden, aber auch, an welcher Stelle Verständnisschwierigkeiten auftauchen oder die Jugendlichen sich ‚ausklinken’ und Privatgespräche ohne Bezug zum Planspiel führen.
  2. Bildungs- und Erfahrungsbezug
    Hiermit sind Situationen gemeint, in denen die Jugendlichen einen Transfer der Spielsituation auf persönliche Erlebnisse im schulischen oder privaten Kontext vornehmen.
  3. Politikbezug bzw. Entscheidungsverhalten
    „Die Beste Aller Welten“ soll dazu beitragen, dass die Jugendlichen Kompetenzen in den Bereichen Gruppenorganisation und kollektive Entscheidungsfindung entwickeln. Daher wird besonderes Augenmerk auf solche Sequenzen gerichtet, in denen es in inhaltlicher oder formaler Hinsicht darum geht, Entscheidungen herbeizuführen.