Reputatiepijlers Nationale Wetenschapsagenda Universiteiten

Er wordt gezocht naar een alternatief waarin ook andere aspecten dan aantallen publicaties en citaties een rol spelen, methoden waarin bijvoorbeeld ook de relevantie van het onderzoek wordt meegenomen als factor. De vraag is hoe de maatschappelijke waarde van onderzoek meetbaar gemaakt kan worden. Hoe verkrijg je inzicht in de reputatie van de universiteit op maatschappelijke onderzoeksthema’s?

In dit whitepaper gaan we op zoek naar een manier waarop je kunt meten in welke mate een universiteit geassocieerd wordt met een specifiek onderzoeksthema. Dit geeft antwoord op de vraag in hoeverre dit onderzoek bijdraagt aan de reputatie van die universiteit en daarmee dus de maatschappelijke waarde van dit onderzoek.

We gebruiken de 25 routes van de Nationale Wetenschapsagenda als middel om de maatschappelijke waarde van onderzoek meetbaar te maken.

De maatschappelijke waarde van de wetenschappelijk gedreven onderzoekscyclus is door J. Bensing en W. Oortwijn omschreven. In deze cyclus hebben criteria voor de beoordeling van de maatschappelijke waarde te maken met:

• de responsiviteit van de onderzoekers op de maatschappelijke vraagstukken waarvoor kennis wordt gevraagd.
• de relevantie van de onderzoeksresultaten in relatie tot het oorspronkelijke maatschappelijke probleem.
• de impact van het onderzoek op de praktijk en/of het beleid.

Op elk van deze drie gebieden kunnen concrete kwaliteitscriteria worden ontwikkeld, waarbij onder andere rekening wordt gehouden met citaties in overheidsdocumenten of landelijke media.

Een sterke reputatie van een universiteit of instituut op het gebied van maatschappelijke waarde van het onderzoek heeft een positieve invloed op het aantrekken van studenten, toptalent, samenwerkingsverbanden met andere instituten, het aangaan van publiek private samenwerkingen, het verkrijgen van nieuwe subsidies, etc.

In opdracht van de ministeries Onderwijs, Cultuur & Wetenschappen en Economische Zaken is aan een kenniscoalitie gevraagd initiatief te nemen voor de ontwikkeling voor de Nationale Wetenschapsagenda. In 2015 is de wetenschapsagenda gepresenteerd.

Het doel van de Nationale Wetenschapsagenda is wetenschappelijk onderzoek optimaal te benutten om relevante en uitdagende maatschappelijke en economische vraagstukken op te lossen. Door samen te werken aan oplossingen voor complexe vraagstukken, vanuit diverse invalshoeken en disciplines, kunnen wetenschappers een waardevolle bijdrage leveren om welzijn en welvaart te bevorderen.

Het Nederlandse volk heeft in het voorjaar van 2015 kunnen bijdragen aan het tot stand komen van de nationale wetenschapsagenda door vragen te stellen. Vragen waar het wetenschappelijk onderzoek antwoord op zou moeten kunnen geven. De insteek van het NWO (Nederlandse Organisatie voor Wetenschappelijk Onderzoek) is dat Nationale Wetenschapsagenda de afzonderlijke onderzoeksagenda’s in Nederland verbindt.

Dit heeft 25 onderzoeksthema’s, zogenaamde routes, opgeleverd waarlangs het Nederlandse onderzoek wordt gemeten.

Twee van de partners in de kenniscoalitie, NWO en KNAW, zijn de belangrijkste financiers van wetenschap in Nederland. Meer dan 5.600 onderzoeksprojecten aan universiteiten en bij instituten worden door NWO gefinancierd. De andere partners in de coalitie financieren onderzoek door dat in eigen instituten uit te voeren.

Aangezien de partners in de kenniscoalitie verantwoordelijk zijn voor het verdelen van onderzoeksgelden aan Nederlands onderzoek zijn de 25 routes van de Nationale Wetenschapsagenda dus belangrijk geworden.

“De ambitie moet zijn om alle universiteiten en andere partijen rond de Nederlandse wetenschap met elkaar te verbinden in het belang van wetenschap en maatschappij. Als dat lukt, zal dat van Nederland een coherenter en sterker wetenschapsland maken.”

Doordat de eerste geldstroom (directe financiering vanuit de overheid) van universiteiten steeds verder onder druk komt te staan, wordt onderzoeksfinanciering door NWO (tweede geldstroom) en projectgebonden financiering door bedrijfsleven en/ of overheid (derde geldstroom) steeds belangrijker.

De onderzoeksmiddelen in de tweede geldstroom worden veelal op basis van competitie, door eerdergenoemde financiers van wetenschap, verdeeld onder onderzoekers en onderzoeksinstellingen. Er bestaan inmiddels vele soorten programma’s en beurzen voor allerlei soorten wetenschap en wetenschappers, zoals de vernieuwingsimpulsen Veni-, Vidi- en Vici-beurzen of de beurzen voor aanstormend talent.

In competities wordt op basis van criteria de onderzoeksfinanciering toegekend. De Nationale Wetenschapsagenda kent haar eigen financieringsrondes. In het regeerakkoord is een additionele structurele investering aangekondigd voor fundamenteel en toegepast onderzoek. Een deel van deze extra middelen is bestemd voor de Nationale Wetenschapsagenda: in 2018 is 70 miljoen euro extra beschikbaar, oplopend tot 108 miljoen in 2019 en jaarlijks 130 miljoen vanaf 2020.

Onderzoeksvoorstellen die aanspraak willen maken op dit extra geld moeten passen binnen een of meerdere routes van de Nationale Wetenschapsagenda. Het is voor universiteiten dus van belang om hun hun maatschappelijke waarde, hun reputatie op de routes aan te kunnen tonen.

We hebben gekeken naar een veelgebruikte methode om reputatie te meten, de RepTrak methode van het Reputation Institute. RepTrak gaat uit van 23 kenmerken in zeven dimensies die ook wel reputatiepijlers worden genoemd. De pijlers geven een indruk van de associatie van jouw organisatie ten opzichte van uiteenlopende onderwerpen door jouw stakeholders.

Voor het meten van de maatschappelijke waarde van onderzoek willen we de associaties door jouw stakeholders op specifieke onderzoeksthema’s meten. Om deze vertaling te maken gebruiken we de opzet van RepTrak, maar we gebruiken vervolgens de 25 routes van de Nationale Wetenschapsagenda (NWA) in plaats van de zeven dimensies en werken de routes op trefwoorden uit. Dat levert dus 25 sets trefwoorden op die de routes definiëren. We noemen die de NWA reputatiepijlers.

We gebruiken de Media Monitor om te meten hoe de universiteiten van Nederland scoren op de door ons gedefinieerde NWA reputatiepijlers door zoekopdrachten waarmee we alles over en van een universiteit ophalen matchen aan zoekopdrachten waarmee we alles van en over een NWA reputatiepijler.

We zijn er daarbij van uitgegaan dat, zodra er geschreven wordt over onderzoek bij een universiteit of over een individuele hoogleraar of promovendus, de naam van die universiteit altijd genoemd wordt. Alleen de artikelen en berichten waarin de naam van een universiteit genoemd wordt, worden meegenomen in de resultaten.

De zoekopdracht van een route is een verzameling van trefwoorden die samen het onderwerp van een van de routes representeren. Uiteraard hebben we van alle universiteiten en routes ook de Engelstalige varianten opgenomen, veel van het Nederlandse onderzoek wordt immers in de Engelse taal uitgevoerd en gepubliceerd.

Om de zoekresultaten te beperken op berichten die over onderzoek gaan, combineren we elk van de NWA reputatiepijlers met een set trefwoorden die het onderwerp “onderzoek” inperkt. Met de Media Monitor matchen we één of meerdere universiteiten aan één of meerdere NWA reputatiepijlers.

We werken de NWA reputatiepijler uit voor de blauwe route van de Nationale Wetenschapsagenda. De route “blauwe route – water als weg naar innovatieve en duurzame groei” wordt gekenmerkt door de volgende trefwoorden en combinaties van trefwoorden:

Minimaal een van de woorden: water oceaan rivier zee delta aquatisch terrestrisch atmosferisch mariene ecologie vaarweg haven zeespiegelstijging

In combinatie met minimaal een van de volgende woorden: leven voedsel voeding eten afval transport vervoer energie grondstof circulair circulariteit duurzaam “CO2 neutraal” klimaatverandering ruimtegebruik verantwoord welzijn welvaart technologie productie woonruimte wonen werkruimte werken stedelijk bron

Uiteraard gebruiken we naast de Nederlandse termen ook de Engelse varianten.

Brands: 4 technische universiteiten
Dit topic matchen we aan de vier technische universiteiten in Nederland:

• Technische Universiteit Eindhoven
• Technische Universiteit Delft
• University of Twente
• Wageningen University & Research

Data visualisatie
We hebben voor dit voorbeeld data opgehaald van 1 januari 2018 t/m 30 juni 2018. De data wordt gevisualiseerd in een aantal categorieën waar we vervolgens filters op toe kunnen passen.

Volumes
Voor wat betreft het volume levert dat een relatieve grafiek op die er als volgt uitziet voor zowel redactionele bronnen als voor social bronnen:

Wageningen University & Research genereert rond 60% van het berichtenvolume op NWA reputatiepijler 1 binnen de vier technische universiteiten in het eerste half jaar van 2018. Ook zien we dat de berichtgeving rondom Universiteit Twente zich meer concentreert op traditionele media dan op social media.

Bereik
De data laat voor wat betreft het bereik (ofwel de impact) het volgende zien:

Hieruit kunnen we concluderen dat de Universiteit Twente voor NWA reputatiepijler 1 een veel groter bereik heeft op traditionele media en dat de verhouding volume en impact ook veel gunstiger is dan die van de Wageningen University & Research. Op social is het bereik van de WUR dan weer veel gunstiger dan die van Universiteit Twente.

De Technische Universiteit Eindhoven blijft, ten opzicht van de andere technische universiteiten, op dit onderwerp achter. Zowel in volume als in bereik, op traditionele en ook op social media.

Mediawaarde
De mediawaarde is een waarde in euro’s voor de kosten die een bericht op een betaald platform zou hebben gekost, als je het in had moeten kopen. Het gaat niet om een bedrag dat je ergens uit had kunnen geven om het bereik te genereren, het is een indicatie van de echte waarde van berichtgeving. Voor het meten van reputatie van universiteiten is de mediawaarde een handige eenheid omdat een publicatie in/op een bepaald medium een waarde representeert die gerelateerd is aan de maatschappelijke impact die een bericht of een onderwerp genereert.

De formule achter mediawaarde is media value = reach x editorial value x CPM rate / 1000.

We kunnen nu de mediawaarde van de vier universiteiten op de NWA reputatiepijler 1 uitzetten ten opzichte van het totaal binnen de Nederlandse universiteiten. Dat levert de volgende inzichten op:

Hieruit kunnen we concluderen dat Wageningen University & Research de trend van de mediawaarde dicteert binnen het Nederlandse onderzoek. Ook zien we in deze grafiek dat de TU/e het minste mediawaarde genereert op NWA reputatiepijler 1.

Conclusie
De volumes, het bereik en de mediawaarde van onderzoek binnen een universiteit is een maatstaf (maar niet de enige) voor de maatschappelijke waarde van het onderzoek. Het zou ook zo moeten zijn dat het percentage mediawaarde dat jouw universiteit scoort volgens deze methode een relatie moeten vertonen met het percentage van de subsidiegelden die jouw universiteit ophaalt op reputatiepijler 1 ten opzichte van het geheel van universiteiten.

In dit voorbeeld zou het dus zo moeten zijn dat Wageningen University & Research ongeveer 60% van de subsidiegelden die binnen NWA route 1 verdeeld worden toegekend krijgt. Als dat percentage wezenlijk afwijkt, is dat een reden om je strategie aan te passen.

We hebben de tiende route van de Nationale Wetenschapsagenda, levend verleden, uitgewerkt in een topic in de Media Monitor. Als we dit topic matchen aan alle universiteiten en we kijken naar de volumes en bereik op alle media in het eerste half jaar van 2018 zien we het volgende beeld: (zie afbeeldingen hieronder).

Een van de conclusies die we hieruit kunnen trekken is dat de Vrije Universiteit Amsterdam weliswaar het grootste volume en bereik genereert op NWA reputatiepijler 10 maar dat de Universiteit Leiden en de Universiteit Maastricht relatief meer bereik genereren als je kijkt naar de geproduceerde volumes.

Uit de mediawaardes van de top drie (geen afbeeldingen van toegevoegd) blijkt dat de Universiteit Maastricht in deze periode 25,5 miljoen aan mediawaarde heeft gecreëerd. De Vrije Universiteit Amsterdam blijft daar met 10,7 miljoen ver achter, gevolgd door de Universiteit Leiden met 4,9 miljoen.

Het is voor universiteiten belangrijk om niet alleen de wetenschappelijke waarde van het onderzoek, maar ook de maatschappelijke waarde te kunnen meten. Met de komst van de Nationale Wetenschapsagenda is die maatschappelijke waarde alleen nog maar meer relevant geworden, omdat het hier juist gaat om maatschappelijke thema’s. Daarom is het als universiteit van belang om te weten hoe jij scoort op de verschillende routes van de Nationale Wetenschapsagenda. Door dit te meten en te blijven monitoren kun je de inspanningen vanuit de universiteit relateren aan een veranderende reputatie op een specifiek onderzoeksthema.

De Media Monitor stelt je in staat om deze reputatie zichtbaar en communiceerbaar te maken naar de onderzoekers in je universiteit.

Natuurlijk kunnen we alle andere denkbare matches maken tussen de NWA reputatiepijlers en de universiteiten. We kunnen de mogelijkheden uitbreiden naar hogescholen en we kunnen meer onderwerpen toevoegen. Ook kunnen we offline data (artikelen in kranten, berichten op radio of televisie) toevoegen als bron om zo een nog completer beeld te krijgen van de reputatie van een universiteit op een specifiek onderzoeksthema.

Daarnaast kan er verder ingezoomd worden. Dan kunnen vragen beantwoord worden als: Welke onderzoeksgroep binnen mijn universiteit genereert impact op NWA reputatiepijler X? Dat kun je vervolgens relateren aan andere groepen binnen de universiteit, ten opzichte van andere onderzoeksgroepen of ten opzichte van andere universiteiten.

Ook kun je aan de hand van sentimenten en volumes kijken welke onderwerpen van andere universiteiten goed scoren op de NWA reputatiepijlers en daarmee welke onderwerpen leven in de maatschappij. Daar kun je je strategie op aanpassen door bijvoorbeeld een andere focus aan te brengen binnen bestaand onderzoek of door te kijken welke onderwerpen binnen het onderzoek beter scoren dan andere onderwerpen.

Je kunt de rapportages in de Media Monitor zelfs zo inregelen dat de mediawaarde van onderzoeksgroepen (en hoogleraren) volgens de NWA reputatiepijlers periodiek bepaald worden. Een waardevol instrument om maatschappelijke waarde van je onderzoek te meten.

Wil je meer weten of een dergelijk rapport ook voor jouw organisatie laten opstellen? Neem contact met ons op.

Noscura
Noscura ontwerpt online communicatie: luisteren – interactie – contentcreatie waarbij online monitoring, actieve en reactie webcare en relevante content elkaar versterken.

Wij helpen kennisintensieve organisaties en non-profit instellingen om vanuit het hart te communiceren, zodat je een diepere connectie kunt maken met al je betrokkenen. Dit doen we door te analyseren, communicatie te ontwerpen, te implementeren en te evalueren en samen met je onder andere te werken aan:

• actieve online ambassadeurs
• webcare met (eigen) studenten
• integrale klantenservice
• online en social media strategie
• redactiestatuut
• acceptatie social media binnen jouw instelling
• de kunst van het inhaken op nieuws voor contentcreatie
• En veel meer

Spotler Engage
Sinds de oprichting in 2011 helpt Spotler Engage organisaties met een succesvolle inzet van media monitoring en online klantcontact. Met gebruiksvriendelijke softwareoplossingen en een team van experts ondersteunen wij organisaties met online- en offline media monitoring, webcare, chatbots en actiegerichte inzichten uit data.

Het is onze missie om de beste data gedreven all-in-one oplossingen en excellente service te bieden op het gebied van reputatiemanagement, customer engagement en AI.

Ons team van experts helpt meer dan 1000 klanten wereldwijd met een optimale inzet van producten als Media Monitor, Engage, Bots en Insights.