Summativ evaluering har til formål at udgøre en kontrol, en resultatmåling. Her fælder evaluator en dom.

Formativ evaluering har til formål at støtte en proces og kvalificere den. Her understøtter evaluator et udviklingsperspektiv, et læringsperspektiv.

I nogle tilfælde søger evaluator at indtage et tredje standpunkt ved at kombinere de to: Fra et eksternt (uafhængigt) perspektiv søger evaluator (via interviews, direkte iagttagelser, feedback, midtvejsrapporter etc.) at støtte en intern udvikling, fortolke den og sætte den ind i en sammenhæng.

Der bliver evalueret ganske meget i forhold til vejledning. Et overblik fra 1997 (R.U.E, 1997) fandt 21 evaluerings- og forskningsprojekter. Siden er listen blevet længere med 28 projekter i 2005: Se forskningsoversigten. Denne artikel skelner ikke hårfint mellem ren evaluering og forskning an sich, men søger at forbinde evaluering/forskning og kvalitetsudvikling. Hovedvægten i danske evalueringer ligger på det strukturelle (virker vejledningsstrukturerne? Se fx Etablering af Ungdommens Uddannelsesvejledning) og på indsatsen i bestemte dele af vejledningssystemet (se fx Studie- og erhvervsvejledning på universiteterne, 2005) eller på uddannelses-/arbejdsmarkedseffekten af vejledning (virker indsatsen for bestemte målgrupper? Se fx Uddannelse som proces eller mål).

Megen evaluering bliver i disse år udført for ministerier af private konsulenter, oftest undersøgelser om vejledningsstrukturer og -systemer. I Nordisk sammenhæng er evaluering/forskning om og i vejledning endnu bredere – og omfatter ofte psykologiske og sociologiske tilgange (Plant, 2003).

Men også internationalt har der i de senere år været en voldsom interesse for vejledning, især set fra et organisatorisk, politisk og økonomisk synspunkt. Her har især OECD vedr. Danmark, Verdensbanken og EU (Sultana, 2004) været aktive. Her er malet med den brede pensel – og udstedt en stribe anbefalinger.

I nogle tilfælde er fokus mere snævert på specifikke ordninger – som fx de europæiske arbejdsformidlingers vejledningsindsats (Watts & Sultana, 2005).

Sigtepunktet i langt de fleste af disse evalueringer har været en effektivisering, samordning og differentiering af vejledningsindsatsen, større krav til lederskab og dokumentation (Watts & Sultana, 2004) – og større fokus på særlige vejledningsbehov. Alt sammen temaer, som er velkendte i dansk uddannelses- og erhvervsvejledning – netop på baggrund af disse evalueringer.

Vejledning som medspiller i et politisk ønske om økonomisk vækst løfter sit hoved her. Og – som en sidebemærkning – finder vi fx en direkte kobling mellem evaluering, kvalitetssikring og økonomi inden for det britiske voksenvejledningssystem, IAG (Information, Advice, and Guidance). Her er tale om branding: Alle former for voksenvejledning kommer ind under IAG-paraplyen – med fælles navn.

Pointen er, at for at modtage offentlige midler skal IAGerne underlægge sig et organisations-kvalitetssikringssystem, en fælles standard kaldet Matrix. Her er altså tale om en direkte sammenkædning af evaluering, kvalitetsovervågning og det økonomiske fundament for (voksen)vejledningsaktiviteterne.

Arsenalet af metoder til evaluering af vejledningsindsatsen er righoldigt. Nogle af de mest almindelige omfatter spørgeskemaer. De er så dejligt nemme at tælle sammen: en kvantitativ tilgang. Idealet er den objektive forskning. Den suppleres dog ofte med andre forskningstyper (se fx et aktuelt eksempel i Pless & Katznelson, 2005).

Mange evalueringer bevæger sig således i et mere kvalitativt spor – hvor grundmaterialet kommer til veje i form af logbøger, dagbogsnotater, observationer, interviews, fokusgrupper (se fx et aktuelt eksempel i Plant, 2005a). Der kan være tale om intern selvevaluering eller evaluering med en ekstern evaluator.

Blandt de mere grundige evalueringsformer - som kan være særlig relevante for vejledning - er den intensive brug af video (se fx Lovén, 1995), hvor de vejledte bliver udspurgt om deres forventninger til vejledning; vejledningssamtalen optages; vejleder og vejledt genser og kommenterer videooptagelsen i en gensidig refleksion. Her er evaluator ganske meget på banen – og det kan påvirke fokus og resultat på godt og mindre godt. Den neutrale holdeplads findes ikke.

Måske er det nemmere at evaluere kvalitet i vejledning via beskrivelser og bedømmelser af vejledernes kompetencer: Hvad skal vejlederen kunne?

De canadiske Standards and Guidelines for Career Development Practitioners går i samme retning og er koblet til en Code of Ethics. Specielt er vejlederne i det fransk-talende Québec velorganiserede på dette punkt (Turcotte, 2004).

I Tyskland har den tyske vejlederorganisation, DVB (2001) et kartotek over registrerede vejledere, ligesom The Institute of Career Guidance, England, har et Register of Guidance Practitioners. IAEVG, den internationale vejledningsorganisation, har udarbejdet International Competencies for Educational and Vocational Guidance Practitioners med den ambition at beskrive både generelle og specifikke vejlederkompetencer på tværs af nationer og kulturer. Og vejlederuddannelserne i USA bliver evalueret af CACREP (Council for Accreditation of Counseling and Related Educational Programs), som gennem indberetninger og inspektion på stedet bl.a. holder øje med, om vejlederuddannerne selv er veluddannede, gode undervisere, opdaterede og har en ph.d.-grad (CACREP, 1996).

En robust tilgang til at evaluere vejledning er Input-Proces-Output-modellen (Hawthorn, 1995). Eurocounsel (et aktionsforskningsprojekt om vejledning og arbejdsløshed) raffinerede modellen til: Adgang-Proces-Udbytte (Watt, 1998). Modellen er enkel, men løser ikke det grundlæggende problem, at det er nemt at tælle antallet af vejledte (input), men vanskeligt at sætte udbyttet (output) på talform via en cost/benefit beregning (Killeen et al., 1992).

Om vejledning kan betale sig, hører ellers til et af de yndede temaer i evaluering af vejledning (se fx Bysshe m.fl., 2002). Det er en vanskelig disciplin, fordi der er så mange uregerlige faktorer at tage hensyn til – og fordi det vanskeligt kan lade sig gøre at etablere en kontrolgruppe, som ikke får vejledning af den ene eller anden art. I givet fald skulle man slukke både for mor og far, kammerater, tv og internet, afskaffe erhvervspraktik, fritidsjob og arbejdsprøvning – og låse bøger og aviser inde. Mere frugtbart er Savickas (2004) oplistning af sikre økonomiske udbytter af vejledning, bl.a. i form af større jobtilfredshed, større produktivitet, mindre udskiftning af personale, bedre overgange mellem uddannelse og arbejde. Altsammen set i forhold til økonomiske parametre. Og det er ikke noget, vi tror. Det er noget, vi véd.

Andre tilgange, fx ISO-systemer, er ofte komplicerede og bureaukratiske (Højdal, 1995). En mellemvej i denne sammenhæng er at arbejde med selvevaluering, årsplaner, målgrupper, milepæle og kvalitetscirkler (Undervisningsministeriet, 2004a; 2004b).

I vejledningens barndom (fra 1880'erne) var det nemt at evaluere vejledning og sætte tal på: Effekten af de psykotekniske prøver kunne måles og blev det (Plant, 1996). Senere blev det vanskeligere. Vejledning blev humanistisk, lyttende: Hvordan skulle man kunne måle empati?

Undervisningsministeriet (1992) forsøgte at opstille en række indikatorer (bl.a. klientcentreret, let adgang, uddannede vejledere, præcis information, etc.). Denne tilgang blev fulgt op af generelle kvalitetsretningslinjer (R.U.E., 1998; 1999). Andre synsvinkler har været foreslået: vejledningens vidensregnskab eller kompetenceregnskab eller grøn vejledning (Plant, 1993; 1994; 1999; 2001a; 2001b; 2004).

Men i dette komplicerede felt kan det være frugtbart at træde et skridt tilbage og spørge:

• Fremmer kvalitetssystemer faktisk kvaliteten i vejledning?
• Bliver vejledning faktisk bedre af at blive målt, vejet og milepælet?
• Eller det modsatte?

Det er dette meta-perspektiv som "Quality Guidelines and Criteria in Guidance" (CEDEFOP, 2004) behandlede. Det viste sig, at der var nogle (ikke mange) delsystemer. Men ingen, som dækkede vejledning på tværs af sektorer og i det livslange perspektiv. Og de fleste tilgange var kraftigt topstyrede: Det kneb med (med)ejerskabet på gulvet, i vejledningens praksis.

Det mere drilske spørgsmål – om evalueringer og kvalitetssikringssystemer faktisk sikrer kvaliteten i vejledning – er blevet stillet af internationale forskere i forbindelse med et projekt om META-kriterier for kvalitet i vejledning (CEDEFOP, 2004). Sagen er at det oftest helt ureflekteret er en indlysende sandhed: Men hvem sikrer kvaliteten af kvalitetssikringssystemerne?

Men evaluering kan også indeholde et aspekt af legitimering: at bevise, at alt er OK. I modsætning til at ville bruge evaluering som et udviklingsinstrument. En fire-felts tabel kan illustrere dette:

Nogle evalueringer kan således få karakter af legitimerende følgeforskning i forhold til bestemte vejledningspolitiske initiativer: Virker fx opdeling af vejledning efter forskellige vejledningsbehov? (se fx Buland & Havn, 2003).

Valg af evalueringsposition spiller ind i denne sammenhæng. Her kan skelnes mellem 4 forskellige typer forskning med hver deres hensigt og position (Launsø & Rieper, 1995):

• den beskrivende: søger at finde facts uden at tolke (for) meget på dem
• den forklarende: går efter at finde nye perspektiver og tolke dem
• den forstående: er på jagt efter årsagerne og sammenhænge bagved
• den handlingsrettede: vil gerne have, at der sker forandringer på baggrund af evalueringen.

Den sidste position er tæt på aktionsforskning, som har til hensigt at ændre de undersøgte forhold – og hvor forskeren/evaluatoren er en aktiv del af denne forandringsproces (se fx Watt, 1998).

Men hvad er det, vejledning kan og skal – og derfor bør evalueres i forhold til? Der er 3 hovedretninger inden for vejledningsmål (Plant, 2005a). Nemlig at vejledning søger:

• at løse problemer, som allerede er opstået, fx uddannelsesfrafald, social marginalisering, arbejdsløshed etc. (se fx Jensen, 2005)
• at forhindre problemer i at opstå ved at gå mere præventivt til værks, bl.a. ved systematisk at opsøge potentielt udsatte unge, vejlede på arbejdspladser under omstrukturering (se fx www.gla.ac.uk/wg)
• at lære folk at leve med deres problemer og få det bedste ud af det – også selv om det måske bliver på kanten af det formelle system (se fx Watt, 1998).

Af disse 3 strategier er 1) den mest almindelige (og til at evaluere i form af målinger af vejledningseffekter: vanskeligt, men dog gørligt). 2) er den proaktive og politisk korrekte (og ganske vanskelig at evaluere: Hvad ville der være sket, hvis vejledning ikke havde sat ind i tide?). 3) er den upåagtede og kontroversielle (og stort set umulig at evaluere: Hvordan finder man frem til vejledningsindsatsen på det sorte arbejdsmarked? Den findes, men den er netop skjult i uformelle netværk).

Der er rigtig megen fokus på evaluering og kvalitetsudvikling – og koblingen mellem de to – i de fleste lande, som har et avanceret vejledningssystem (Plant, 2001; 2004; 2005b). Og det er karakteristisk, at der som i Danmark sker to ting på én gang. Nemlig at kvalitetsudvikling bliver til kvalitetsstyring i en dobbeltbevægelse: Der sker både en centralisering og en decentralisering. En centralisering i form af centrale kvalitetskriterier og en decentralisering i form af en større lokal/regional indflydelse på den praktiske tilrettelægning og gennemførelse af vejledningsaktiviteter inden for denne ramme (UVM, 2005). Og en tilhørende selvevaluering: UU'er og Studievalg bliver henholdsvis bedt om og pålagt at rapportere om deres virke inden for centralt fastlagte kriterier (UVM 2004a; 2004b). Derefter ligger det lige for at foretage en tværgående sammenligning: en bench-marking. En fælles målestok.

Buland, T. & Havn, V. (2003). De første skritt er tatt; veien videre venter? Sluttrapport fra evalueringen av prosjektet "Delt rådgivningstjeneste". Trondheim: SINTEF

Bysshe, S., Hughes, D., & Bowes, L. (2002) The Economic Benefits of Guidance: A Review of Current Evidence. CeGS Occasional Paper. Derby: Centre for Guidance Studies, University of Derby

CACREP (1996). Accreditation Standards and Procedures Manual, 1994. Revised Edition, 1996. Alexandria, VA: Council for Accreditation of Counseling and Related Educational Programs

CEDEFOP (2004). Quality Guidelines and Criteria in Guidance. Thessaloniki: CEDEFOP

Dahler-Larsen, P. (1998). Den rituelle reflektion : om evaluering i organisationer. Odense : Odense Universitetsforlag

EU-Kommissionen (2004). Resolution om livslang vejledning.

Hawthorn, R. (1995). First Steps. A Quality Standards Framework for Guidance across all Sectors. London: RSA

Højdal, L. (1995). Quality management in a Danish Technical College (in) Bartholomeus, Y. og andre: The Quest for Quality - Towards Joint European Quality Norms. Leuwaarden: LDC.

Jensen, U.H. (2005). Unge uden uddannelse – hvem er de og hvordan kan de vejledes? (i) Plant, P. (2005). Red. Vejbred – en antologi om vejledning. København: DPU's Forlag

Killeen, J., White, M. & Watts, A.G. (1992). The economic value of careers guidance. London: Policy Studies Institute

Launsø, L. & Rieper, O. (1995). Forskning om og med mennesker: forskningstyper og forskningsmetoder i samfundsforskningen. København: Nyt Nordisk Forlag

Lovén, A. (1995). Vejledning i nærbillede. En analyse af den individuelle vejlednings forudsætninger, vilkår og indhold. København: Rådet for Uddannelses- og Erhvervsvejledning

Plant, P. (1993). Bølger (i) Daghøjskolen 1/1993. København: Foreningen af Daghøjskoler i Danmark

Plant, P. (1994). Vejledningens etiske regnskab (i) R.U.E.-Revue, 4/1994. København: Rådet for Uddannelses- og Erhvervsvejledning

Plant, P. (1996), Fodfæste. Dansk uddannelses- og erhvervsvejledning, 1886-1996. København: Rådet for Uddannelses- og Erhvervsvejledning.

Plant, P. (1999): Økologisk læring: Fri Ungdomsuddannelse (in) Myrthu-Nielsen, L. & Bramming, B.: Økologi er på alles læber. Højberg: Hovedland

Plant, P. (2001a). Quality in Career Guidance. Paris: OECD. Online:www.oecd.org/dataoecd/35/47/2698228.pdf

Plant, P. (2001b). Livsbred vejledning (i) R.U.E.-Revue 2/2001. København: Rådet for Uddannelses- og Erhvervsvejledning

Plant, P. m.fl. (2003). Research in Educational and Vocational Guidance in the Nordic Countries: Current Trends (in) International Journal for Educational and Vocational Guidance, 2003, Vol 3, No. 2, pp. 101-122. Dordrecht: Kluwer

Plant, P. (2004). Quality in Career Guidance: Issues and Methods (in) International Journal for Educational and Vocational Guidance, Vol 4, Nos. 2-3, 2004, pp. 141-157. Dordrecht: Kluwer

Plant, P. (2005a). Vejledningsfronten - en evaluering. Odense: Korsløkke Ungdomsskole/ Fyns Amt

Plant, P. (2005b). Internationalt: Kvalitet i uddannelses- og erhvervsvejledning (i) Via Vejledning 2/2005.

Pless, M. & Katznelson, N. (2005). Niende klasse og hvad så? Midtvejsrapport. København: Center for Ungdomsforskning.

R.U.E (1997). Danske forskningsprojekter om uddannelses- og erhvervsvejledning.

R.U.E. (1998). Oplæg til drøftelse af fremtidens vejledningsindsats. København: Rådet for Uddannelses- og Erhvervsvejledning

R.U.E. (1999). R.U.E.s vejledningspolitik. København: Rådet for Uddannelses- og Erhvervsvejledning

Savickas, M. (2004). Career Development and Guidance: What We Know For Sure (in) IAEVG Newsletter 48/2004, pp. 3-4. Copenhagen: IAEVG. Se http://www.crccanada.org/crc/files/newlet48en.doc

Sultana, R. (2004) Guidance policies in the knowledge society. Trends, challenges and responses across Europe. Thessaloniki: CEDEFOP

Turcotte, M. (2004). Etik a la Quebec: Profession regulerer (i) Via Vejledning 1/2004. København: Undervisningsministeriet

Undervisningsministeriet (2004a). Kvalitetssikring, udvikling og måling af vejledningsindsatsen. En håndbog for Ungdommens Uddannelsesvejledning.
København: Rambøll Management/UVM. Se Kvalitetssikring, udvikling og måling af vejledningsindsatsen.

Undervisningsministeriet (2004b). Kvalitetssikring, udvikling og måling af vejledningsindsatsen. En håndbog for Studievalg centre. 
København: Rambøll Management/UVM. Se Kvalitetssikring, udvikling og måling af vejledningsindsatsen.

Undervisningsministeriet (2005). National Guidance Fora: The Danish Case. København: UVM (rapport)

Watt, G. (1998). Supporting Employability: Guides to Good Practice in Employment Counselling and Guidance. Luxembourg: Official Publications of the European Commission

Watts, A.G. & Sultana, R. (2004). Career Guidance Policies in 37 countries: Contrasts and common trends (in) International Journal for Educational and Vocational Guidance, Vol 4, Nos. 2-3, 2004, pp. 105-122. Dordrecht: Kluwer

Watts, A.G. & Sultana, R. (2005). Career guidance in Europe's public employment services: trends and challenges. Bruxelles Europa-Kommissionen, DG Employment, Social Affairs And Equal Opportunities, oktober 2005. Se Career guidance in Europe's public employment services: trends and challenges.

Danske forskningsprojekter om uddannelses- og erhvervsvejledning (1997)

Studie- og erhvervsvejledning på universiteterne (2005)

Resolution om livslang vejledning (2004)

Niende klasse og hvad så? (2005)

Kvalitetssikring, udvikling og måling af vejledningsindsatsen for UU (2004)

Kvalitetssikring, udvikling og måling af vejledningsindsatsen for Studievalgscentre (2004)