Evaluation-Report: Seminarqualität

Kirstin Eckstein

The evaluation of the individual seminars had formative character and it was carried out on the one hand to ensure quality, on the other hand to give continuous feedback to the project-team, to the course directors and the trainers.

In general participants seem to be very satisfied with the courses, with the seminars usually getting top or second-best grades. Only module 3 and module 4 ( to some extent) show slight differences concerning the participants' satisfaction.

The reasons for this may be found in the choice of trainers and the seminar design.

In Austria and Luxembourg all 4 modules were held by the same team of trainers; only occasionally they were supported by external experts.

In Spain and Hungary different trainers had to be employed. This shows that especially with didactic and methodological seminar content the teachers' personality needs to be carefully considered which cannot be easily guaranteed for lots of trainers. Based on the experiences in this project a “train the trainer” courses for experts in teacher-training methodology may be recommended.

Zusammenfassung

Die Evaluation der einzelnen Seminare hatte formativen Charakter und diente einerseits zur Qualitätssicherung andererseits zur laufenden Rückmeldung an das Projektteam, die Kursleitung und die ReferentInnen.

Generell lässt sich eine sehr große Zufriedenheit mit den Seminaren feststellen, die Bewertungen liegen meistens im Idealbereich bzw. maximal 1 Bewertungsstufe darunter. Nur bei Modul 3 und teilweise bei Modul 4 lassen sich in 2 Ländern leichte Abweichungen in der Zufriedenheit der TeilnehmerInnen erkennen.

Gründe dafür lassen sich wohl in der Auswahl der ReferentInnen wie auch der Gestaltung der Seminare finden. In Österreich und Luxemburg wurden alle 4 Module vom selben ReferentInnenteam - bis auf gelegentliche Unterstützung von externen ExpertInnen- abgehalten. In Spanien und Ungarn mussten bei Modul 3 und 4 andere und verschiedene TrainerInnen eingesetzt werden. So zeigt sich, dass gerade bei didaktischen und methodischen Seminarinhalten die Berücksichtigung der Persönlichkeit der LehrerInnen einerseits sehr wichtig ist und andererseits für viele TrainerInnen nicht so ohne weiteres gewährleistet werden kann. Vielleicht kann man aufgrund der Erfahrungen in diesem Projekt so weit gehen und ein „Train the Trainer“ für FortbildungsdidaktikerInnen empfehlen?

A Seminar-Quality

Das Instrument

Das Instrument zur Erhebung der Seminarqualität basiert auf einem seit sieben Semestern bewährten Instrument zur Evaluierung von PI-Seminaren in Salzburg. Es wurde in Kooperation von PI und Universität Salzburg entwickelt.

Es beinhaltet neben generellen Aspekten zum Seminar (Organisation, Arbeitsklima,…), vor allem Beurteilungen zur Gestaltung (aktive Beteiligungsmöglichkeiten, gut strukturiert, lebendig, methodisch-didaktisch), zum Inhalt (Verständlichkeit, inhaltlich gehaltvoll, Berücksichtung theoretischer und praktischer Aspekte) und zur Zielorientiertheit (Ziele bekannt, Ziele erreicht). Auch die Einschätzung der Auswahl, Kompetenz, Flexibilität und Vorbereitung der ReferentInnen wird abgefragt.

Die insgesamt 30 Items werden auf einer fünfstufigen Ratingskala zwischen jeweils zwei Polen bewertet.

In Spanien und Ungarn wurden entsprechende Übersetzungen des deutschen Fragebogens eingesetzt.

Ergebnisse der einzelnen Module (vgl. Grafiken)

Modul 1: Personal and Professional Identity

Durchwegs sehr gute Bewertungen, die nur leicht (max. 0,5 Ratingpunkte) vom Idealwert abweichen, mit Ausnahme von Spanien, die generell etwas kritischer bewerten und teilweise bis zu einem Punkt von Idealwert abweichen.

Nur zwei Items machen hier eine Ausnahme:

•  Nutzen des Inhalts für die Praxis (Schule, Unterricht, Klasse):
dieser erhält bei allen Ländern die schlechteste Wertung, die allerdings immer noch im Bereich zischen sehr hoch und hoch liegt, außer bei Spanien, wo es in die mittlere Kategorie zwischen hoch und niedrig fällt.
Dies lässt sich allerdings leicht aufgrund der persönlichkeitsbildenden Ausrichtung dieses 1. Moduls erklären, was auch durch die wesentlich bessere Bewertung des Nutzens für die persönliche Entwicklung unterstrichen wird.

•  Medieneinsatz in der Veranstaltung :
Hier zeigt sich eine Tendenz zur eher guten als sehr guten Bewertung in allen vier Modulen, die schon aus der früheren Anwendung des Instrumentes bekannt ist. Dies mag einerseits an einem engen Begriff von Medieneinsatz oder aber andererseits an einer Bewertung der Häufigkeit liegen. Für zukünftige Einsätze dieses Items wird eine Neuformulierung angestrebt.

Modul 2: Co-operation an Communication

Etwas mehr Schwankungen bei der Beurteilung der Einzelnen Items auch innerhalb der Länder, allerdings wiederum durchwegs eine sehr gute bis gute Beurteilung, Spanien tendiert auch hier eher zu gut.

Bezüglich des Nutzens für die Praxis zeigt sich auch bei diesem persönlichkeitsbildenden Seminar ähnliche Bewertung wie in Modul 1.

Modul 3: New Ways of Teaching and Learning

Hier teilen sich die teilnehmenden Länder in zwei Gruppen: Luxemburg und Österreich liegen mit nur ganz leichten Abweichungen auf der Ideallinie, Ungarn und Spanien schwanken zwischen guter und mittelmäßiger Beurteilung.

Das Modul 3 hatte eher didaktisch/methodischere Themen zum Inhalt als die Module 1 und 2. Es scheint in Luxemburg und Österreich gelungen zu sein, diese didaktischen Inhalte mit einer weiterhin persönlichkeitsorientierten Herangehensweise zu vermitteln.

Modul 4: Theory and Practice in the Field of Difficult Behaviour

Bei diesem Modul zeigt sich eine ähnliche Tendenz wie bei Modul 3, allerdings liegt Spanien jetzt eher um die gute Bewertung, während Ungarn wieder zwischen guten und mittelmäßigen Bewertungen schwankt. Österreich liegt bei fast allen Items auf der Ideallinie, Luxemburg zeigt leicht Abweichung auf. Der Grund könnte hier, wie bei Modul 3 , der mehr oder weniger persönlichkeitsorientierte Ansatz im Seminardesign sein.

Resumee

Diese Ergebnisse aus der quantitativen Evaluation und die qualitativen Rückmeldungen der Teilnehmer/innen wurden in einem „Leitfaden“ für Seminare zur Burnout-Prävention eingearbeitet.
(siehe: Introduction – Guidelines )

B Graphs