Online Evaluieren – geht das?
Wir haben uns bereits in unserem letzten Blog mit Online versus offline am Beispiel unserer Generalversammlung ausführlich beschäftigt.
Da wir nun endlich wieder beginnen können internationale Reisen zu planen, möchte ich das Thema Distance Working mit Blick auf unsere Projektarbeit beleuchten. Und auch hier anhand eines konkreten Beispiels. Auch für jene, die nicht an Projekten arbeiten ist dies interessant. Es gibt nämlich viele Gemeinsamkeiten zu anderen Audits wie etwa Umweltmanagement, Qualität, Sicherheit etc., die wegen Corona online durchgeführt werden mussten.
In meiner Arbeit für UNIDO, konnte ich im Dezember 2020 eine sogenannte Terminal Evaluation durchführen. Das ist die Beurteilung eines Projekts das bereits abgeschlossen ist. Konkret ging es um die Einführung energieeffizienter Boiler in Vietnam. Vietnam hat die Pandemie bis dato sehr gut überstanden, vor allem weil es sehr strenge Einreisebeschränkungen eingeführt hat.
Virtuelle Reise nach Vietnam
Eine solche Evaluierung wird immer von einem internationalen und einem nationalen Experten durchgeführt. Beide hatten 10 Tage im Land zur Verfügung, um Ablauf und Ergebnisse ausführlich unter die Lupe zu nehmen. Für mich als internationaler Experte war diese ‚Reise‘ leider nur virtuell möglich. Unter diesen Umständen war eine ausgewogene Beurteilung sehr schwierig.
Grundsätzlich haben wir geplant, dass ich an den meisten Termine online teilnehme. Mein Kollege vor Ort führt durch das Gespräch. Er sorgt ausserdem für die ‚Technik‘ und übernimmt – wo notwendig – auch die Übersetzungsarbeit. Man kann sich vorstellen, wie herausfordernd diese Dreifach-Rolle für den vietnamesischen Kollegen ist!
Die Herausforderungen in der Praxis
Nach ein paar Interviews wurde klar, dass
- erstens bei vielen Terminen keine stabile Internetverbindung sichergestellt werden konnte.
- zweitens die Interviewpartner es bevorzugten die Gespräche in der Landessprache (und nicht in Englisch) durchzuführen.
- drittens bringt die virtuelle Anwesenheit eines Auditors nur beschränkten Zusatznutzen. Es ist ja kaum möglich, in diesem Setting eine persönliche Beziehung herzustellen, bzw. den Raum für ein gutes Gespräch zu schaffen. Das ist eine wichtige Funktion, die der internationale Experte normalerweise mitübernimmt.
- Zusätzlich kommen dann noch die Schwierigkeiten mit der Zeitdifferenz dazu.
Wir sind daher dazu übergegangen, dass mein nationaler Kollege die meisten Gespräche vor Ort alleine durchführt. Wir haben gemeinsam im Vorfeld die Fragen / Themenbereich abgestimmt. Nach dem Gespräch haben wir die wesentlichen Aussagen/Ergebnisse besprochen. Zu jedem Treffen mit den verschiedenen Stakeholdern wurde eine kurze Aktennotiz verfasst.
Das evaluierte Projekt hat nicht nur hervorragende Ergebnisse erbracht, sondern war auch sehr gut organisiert und wurde professionell abgewickelt. Über ein erfolgreiches Projekt sprechen alle Beteiligten gerne. Nicht zuletzt deshalb hat die online Evaluierung insgesamt sehr gut geklappt.
Die großen Unterschiede zwischen offline und online Evaluierungen
- Die Zusammenarbeit im Evaluator*innen-Team bekommt eine besondere Bedeutung. Der Kollege / die Kollegin vor Ort hat eine erweiterte Rolle, bzw. zusätzliche Aufgaben. Daher braucht es eigentlich ein gesondertes bzw. erweitertes Anforderungsprofil, nach dem die Evaluator*innen ausgewählt werden sollten.
- Um eine gute Evaluierung durchführen zu können, ist es wesentlich, zwischen Evaluator*innen und den Interviewpartner*innen eine positive und vertrauensvolle Stimmung aufzubauen. Nur so kann man wirklich erfahren was im Projekt passiert ist, was gut war und was nicht so gut gelungen ist.
Dazu sind auch die informellen Gespräche wesentlich. Bei einem Tee, der gemeinsamen Fahrt im Taxi oder beim Smalltalk vor dem eigentlichen Termin erfährt man oft mehr, als nachher im formellen Meeting. - Auch die nonverbale Kommunikation liefert wesentliche Informationen, vor allem wenn man keine gemeinsame Sprache hat. Sie kann zu weiteren Fragen und damit besseren Ergebnissen führen. Das fällt bei dieser Art von Interviews mit nur teilweiser Online Präsenz leider weg. Man müsste diese Meetings in gut ausgerüsteten Konferenzräumen mit professioneller Video- und Audio-Ausrüstung durchführen. In der Praxis ist das meist nicht möglich.
- Falls es keine gemeinsame Sprache gibt (also alle Beteiligten ausreichend gutes Englisch sprechen), braucht der lokale Experte jedenfalls Unterstützung durch eine dritte Person. Alle Aufgaben (siehe oben) alleine zu meistern und dabei inhaltlich gut zu evaluieren, halte ich für unmöglich.
Mein Fazit
Natürlich ist es möglich eine ‚Terminal Evaluation‘ in dieser Form (also teilweise Online) durchzuführen. Es ergeben sich jedoch besondere Herausforderungen und auch unter optimalen Umständen wird sie nicht dieselbe Qualität wie eine Vor-Ort Untersuchung (offline) haben.
Für mich persönlich fällt auch vieles weg, was für mich diese Arbeit so interessant macht. Dazu gehört neben dem Kennenlernen fremder Länder und (Arbeits)Kulturen, eben auch das persönliche Gespräch mit interessanten Menschen und die Möglichkeit, vor Ort den Dingen auf den Grund zu gehen und damit die Ursache für Erfolge oder Misserfolge wirklich zu verstehen. Nur so kann man im Rahmen von (internationalen) Beratungsprojekten Empfehlungen ableiten, die die Projektteams in der weiteren Umsetzung bzw. in Folgeprojekten unterstützen. Ich bin überzeugt, die Beratungsarbeit der Austria Recycling – egal ob in nationalen oder internationalen Projekten – ist von noch besserer Qualität, wenn wir mit Unternehmen/Stakeholdern/Nutznießern in direktem persönlichem Kontakt stehen können. Das gehört zu unserem Stil und ist Teil unseres Erfolgskonzeptes. In diesem Sinne bin ich froh, dass Reisen wohl ab Sommer wieder möglich sind!
Auch noch interessant zu diesem Thema:
Online versus Offline: Analyse am Beispiel unserer Generalversammlung