Verktøykasse for kvalitetsmåling

Denne bloggen handler om måling av redaksjonell kvalitet. Her kan du blant annet lese om verktøykassen for kvalitetsmåling som er utviklet av forsker og fagmedarbeider Ragnhild Kr. Olsen ved Institutt for Journalistikk.
Verktøykassen er et tilbud til redaksjoner som ønsker å jobbe målrettet med utvikling av den redaksjonelle kvaliteten. Den inneholder et sett standardiserte metoder for å måle og evaluere kvalitet på sentrale redaksjonelle områder.
Kvalitetsmåling har nytte både for redaksjoner som har klart definerte kvalitetsmål for den redaksjonelle virksomheten og for de som leter etter målene. Ved å systematisere informasjon om det redaksjonelle produktet, om journalistenes arbeid og redaksjonen som arbeidsplass, gir kvalitetsmålingen svar på om redaksjonen har nådd sine mål eller hvilke mål det er hensiktsmessig å sette seg.
Målingene gir også dokumentasjon på kvaliteten som kan legges frem for eiere, lesere og andre interessentgrupper som et redaksjonelt regnskap

Monday, October 22, 2007

Måling ga resultater i ØB

  • Viktig indremedisin for redaksjonelle medarbeidere
  • Skaper bevisstgjøring om hele produktet, ikke bare egne stoffområder og saker
  • Ledelsen har fått et godt verktøy for å sjekke at redaksjonelle mål blir nådd

Slik oppsummerer redaktør Siri Zachariassen effektene av kvalitetsmålingen i Østlandets Blad. Måling av redaksjonell kvalitet var et av temaene på programmet under Redaktørforeningens høstmøte i Stavanger forrige uke.

Østlandets Blad var en av to pilotredaksjoner i IJs kvalitetsmålingsprosjekt for to år siden. Etter testmålingene i redaksjonen, som viste tildels nedslående resultater på områder som presisjon og geografisk stoffspredning, har avisen gått videre med målearbeidet. Og fått til en betydelig kvalitetsforbedring, ifølge redaktøren.

- Sytti prosent av alle manus som ble undersøkt i pilotprosjektet hadde en eller annen type feil. Det var en situasjon vi måtte gjøre noe med, fortalte redaktøren til kollegene på høstmøtet. Avisen satte seg som mål å halvere antallet feil, innførte Tansa og opplevde en betydelig bevisstgjøring blant journalistene i forhold til rettskriving. En ny måling seks måneder etter den første, viste en klar forbedring, ifølge Zachariassen. Andelen manus med feil gikk ned til under tretti prosent.

Tilsvarende tok avisen fatt i den store andelen ikke-lokale saker som kvalitetsmålingen avslørte. Notisspalten med "Norge-rundt-saker" ble fjernet og det ble lagt vekt på å øke dekningen av underrepresenterte kommuner. Synliggjøring av lokalstoffet ble også prioritert med bilde-bylines og forbedret presentasjonsjournalistikk. Dessuten blir lokalprofilen nøye overvåket: - Vi engasjerte en person som nå teller saker fordelt på kommune hver dag gjennom året, fortalte Siri Zachariassen på høstmøtet.

Hun mener bevisstgjøringen om kvalitet innenfor områdene presisjon og geografisk miks har ført til kvalitetsforbedring også på andre områder - blant annet kildebredde. Hun konkluderer med at avisen nå ser klare tegn i lesermarkedet på den kvalitetsoffensiven som er igangsatt:

Færre klager fra leserne
Etterspør stadig mer lokalt stoff
Lesertallene peker oppover igjen
Omdømme til ØB er blitt bedre

Thursday, June 7, 2007

Gratis+ kvalitet = suksess

Tittelen i dagens bloggpost slår ikke fast fakta. Det er derimot danske David Trads suksessoppskrift for Nyhedsavisen, gratisblekka som for alvor sparket i gang gratisaviskrigen i deijlige Danmark i fjor høst. Med islandske mediemoguler i ryggen og oppskriften ovenfor på innerlomma, har han startet den første fulldistribuerte gratisavisen - og skapt bølger i mediekretser langt utenfor DK.

Men kan gratisaviser egentlig levere redaksjonell kvalitet?

Ja!
Ja!
...og neppe. I hvert fall ikke i det lange løp.

Slik kan man kort oppsummere konklusjonene om gratisaviser og kvalitet under WEF-konferansens siste dag i går. Forsikringene om at kvalitet kan leveres like godt av gratisaviser som betalaviser kom fra Trads og kollega Ben Rogmans fra nederlandske Dagblad de Pers. Skepsisen ble uttrykt av Politiken-redaktør Tøger Seidenfaden. Han tviler på forretningsmodellen bak de fulldistribuerte gratisavisene og levnet dem ikke mye håp i det lange løp - verken når det gjelder redaksjonell kvalitet eller økonomisk levedyktighet. Ikke minst vil kampen mot nettnyheter gjøre gratisavisenes livsvilkår mildt sagt magre, ifølge Seidenfaden og fortalte at Politikens motsvar til gratisavisens utfordring var å satse nettopp på nettet som nyhetskanal. Og rendyrke innholdsmessig dybde, analyse og ikke minst tiltalende presentasjon i papirutgaven.

- Trads sier at Nyhedsavisen skal være ute før nettet står opp. Det er jo, med respekt å melde, helt latterlig. Nettet går som kjent aldri til sengs, poengterte Seidenfaden i en diskusjon med nerve og temperatur.

- Det er fortsatt slik at folk ikke begynner å bruke nettet for fullt med en gang de står opp. De leser fortsatt helst en avis om morgenen. Det skal vi benytte oss av, repliserte Trads og beskrev miksen som Nyhedsavisen vil friste morgenleserne med slik:

1/3 fra The World of Power, dvs politikk, næringsliv osv. Med andre ord tradisjonelle nyhetskilder.
1/3 fra The World of Facination, dvs det sensasjonelle og ekstreme, f. eks nyheten om en slange som spiser en geit, ifølge Trads (!)
1/3 fra The Word of Yourself, dvs de nære ting som angår leserne personlig og som de kjenner seg igjen.

- Også skal vi være underholdende og legge mer vekt på gode og nære nyheter. Tradisjonelle aviser er altfor opptatt av å fortelle leserne om alt som er feil og dårlig. Det blir for deprimerende, mente Trads og signaliserte dermed at hans oppfatning av redaksjonell kvalitet nok ligger et godt stykke fra kollegaen i Politiken. Seidenfaden var tydelig skeptisk til en slik styring i retning av underholdning og lurte på om en slik nedprioritering av dårlige nyheter egentlig er forenelig med de grunnleggende kvalitetskravene til journalistikken.

Wednesday, June 6, 2007

Etikk takk - ogsaa i brukergenerert innhold

Web 2.0 og brukergenerert innhold er buzzword numero uno i en mediebransje paa jakt etter retning - og kanskje nytt fotfeste. Men interaktivitet med publikum kan bety at man som redaktoer driver et aapent kloakksystem. I hvertdfall i foelge Frits van Exter, tidligere redaktoer i avisen Trouw i Nederland. Han var en av flere bidragsytere i dagens debatt under temaet "Balancing ethics, transparency and independence in the newsroom" paa WEF-konferansen i Cape Town.

I et lett provoserende innlegg, helte eks-redaktoeren litt kaldt vann i aarene paa et konferansepublikum som over flere dager, har har faatt evangeliet om brukergenert innhold servert i ulike innpakninger fra podiet. Budskapet fra van Exter var klart: Visst kan grensene for journalistikk utvides paa nettet, men man kan ikke gi slipp paa sine grunnleggende etiske standarder bare fordi man gaar "online". Det er redaksjonen og redaktoerenes ansvar aa sette grenser og bevare standarder - enten de leverer innhold paa papir, nett eller gjennom andre kanaler. Hent fram igjen formaalsparagrafen fra skrivebordsskuffen og tenk gjennom hvilke konsekvenser innholdet i den har for mediethusets etiske standard - paa alle platformer, var van Exters raad. Til hjelp i arbeidet med aa opprettholde etiske standarder i interaksjon med brukerne paa nett foreslo han foelgende grep:
  • Registrering - kontroller hvor anonyme bidragasyterne paa nettet faar vaere gjennom forhaandsregistrering.
  • Moderering - du risikerer aa bli anklaget for a bedrive sensur av den frie ytring, men samtidig sikrer du at diskusjonen paa nettet har et innhold og en profil som brukerne dine er kjent med og som stemmer overens med mediehusets oevrige standard.
  • Kommuniser - vaer tydelig paa hvilke etiske standarderer som gjelder for nettstedet og mediehuset foroevrig - og hold deg til dem!
  • Deleger - bruk publikum som en ressurs til aa overvaake og sikre kvaliteten paa nettsidene dine. Oppfordre dem til aa melde i fra dersom uoensket innhold kommer gjennom den oevergie kvalitetskontrollen.

Tuesday, June 5, 2007

Kvalitet i den konvergente redaksjonen

Redaksjonell kvalitet har en utvidet betydning i det flermedial mediehuset sammenlignet med det monomediale avishuset. Eller sagt på en annen måte: Konvergens bringer nye perspektiver inn i vurderingen av kvalitet - både i det redaksjonelle produktet, i det journalistiske håndverket og ikke minst i den redaksjonelle organiseringen. Dagens første foredragsrekke på World Editors Forum i Cape Town ga flere eksempler på nettopp det.

Under temaet "Integrated newsroom: what print does best and what online does best" fortalte blant andre Jonathan Landman, redaktør i New York Times og William Lewis, redaktør i The Daily Telegraph om sine erfaringer med å skape rammer for samarbeid på tvers av kanaler i respektive mediehus. Lewis fortalte hvordan han reiste verden rundt for å hente inspirasjon til organisering av Telegraphs nye integrerte redaksjon i sentrale London som sto ferdig i fjor høst.

Nettopp slike rammer eller vilkår slår meg som helt sentrale når man skal vurdere kvalitet i den integrerte eller konvergente redaksjonen der nyhetsproduksjonen foregår på tvers av både kanaler og journalistiske kompetanseområder. I hvilken grad man har klart å skape organisatoriske rammevilkår for samarbeid, kommunikasjon og koordinering på tvers av plattformer må være en sentral kvalitetsindikator. Det gjelder alt fra praktisk logistikk og arbeidsrutiner til lesermessige utfordringer knyttet til å stimulere innovasjonsvilje og bygge ny fellesredaksjonell identitet.

Den amerikanske medieforskeren Gracie Lawson-Borders har identifisert syv slike rammevilkår eller forutsetninger for konvergens. Hun kaller dem The seven observations of convergence. Disse er:

ŸHengivenhet
ŸKulturendring
ŸLønn/status ŸKommunikasjon ŸSamarbeid ŸKonkurranseforståelse ŸPublikumsorientering

Observasjonene stemmer godt overens med de erfaringene Lewis, Landman og andre delte med tilhørerne under dagens konferanse: Kravet til hengivenhet i gjennomføringen av en overordnet flermedial strategi - fra toppledelsen og nedover i organisasjonen. Kulturendringen som må finne sted i form at et identitetsskifte fra monomediale til flermediale medarbeidere. Likeverd for alle kanaler og nedbygging av statusskiller mellom journalister som jobber på ulike plattformer det være seg nett, papir, radio eller tv. Et felles språk som letter kommunikasjonen i redaksjonen og en praktisk organisering som legger til rette for samarbeid f. eks gjennom samlokalisering, felles planlegging og møtestruktur osv. Dessuten på et mer overordnet nivå: En klar forståelse av hvordan publikumsutviklingen og konkurransesituasjonen motiverer en integrert og enhetlig flermedial redaksjonell virksomhet.

Mer om dette temaet på bloggen utover sommeren.

Monday, June 4, 2007

Kvalitet i sentrum på World Editors Forum:

"Because of the possibility to interact with readers online, it has been said that "news is no longer a lecture. It's a conversation" (Dan Gilmore). How do you view the effects of this phenomenon on quality journalism".

Spørsmålet er hentet fra World Editor Forums første Newsroom Barometer som ble presentert på redaktørenes verdenskonferanse i Cape Town Sør-Afrika i dag. Svarene på dette og andre spørsmål fra surveyen tegner et optimistisk bilde av redaktørenes syn på fremtiden:

Joda, svarer 74% av de 435 redaksjonelle topplederne som har deltatt i surveyen, interaksjon med leserne kommer til å ha en positiv effekt på kvaliteten i journalistikken. Tilsvarende svarer 79% av redaktørene at "online/news media journalism is a welcome addition in their community". Et flertall av redaktørene (37%) ville også prioritert å gi sine journalister opplæring i nye medier som en første steg for å sikre redaksjonell kvalitet. 23% vill rekruttert flere reportere i stedet.

Er svarene representative for redaktører generelt - og er det grunn for den optimismen undersøkelsen synes å avdekke? Kanskje vil den pågående WEF-konferansen gi noen svar på nettopp det. Med tittelen "Quality Journalism in the Digital Age" burde WEF-konferansen være rett arena for å finne ut mer om kvalitetsjournalistikkens vilkår og utvikling.

Jeg følger konferansen i Cape Town og skal blogge smakebiter fra seminarene i løpet av de to- tre nærmeste dagene. Ikke minst det som dreier seg om evaluering av kvalitet:-).

Sunday, March 18, 2007

Kvalitet og kroner på to måter

Lær publikum å kvalitetsvurdere media. Det vil lære dem bevissthet om sviktende kvalitet og få dem til å tenke over om de virkelig vil ha det mediene gir dem. Når leserne og seerne ser at det produktet de får er for dårlig og slutter å kjøpe, rammer det bunnlinja i medieorganisasjonene. Det er det eneste språket medieeierne forstår.
Budskaper kommer fra John McManus, ildsjel bak prosjektet Grade the News i USA. McManus var blant innlederne under symposiet om medier og kvalitet i Kalmar i Sverige som var mål for vårens STUP-reise om redaksjonell kvalitetsutvikling.
Grade the News er et interessant initiativ i lys av den kommersialisering av medieinnhold vi er vitne til i USA. Prosjektets nettside www.gradethenews.org inneholder et konkret opplegg for å gi nyheter karakter på en rekke områder som vesentlighet, kjønnsbalanse, etnisk mangfold og kildebredde.
McManus resonnement om at kvalitetssvikt må gi økonomiske konsekvenser for å vekke medieeiere med kortsiktig perspektiv på inntjening, minner om argumentasjonen til en annen amerikaner ved navn Phil Meyer. I sin bok The Vanishing Newspaper lanserer Meyer teorien om at medienes kvalitet henger positivt sammen med deres suksess i leser- og annonsemarkedet. Meyers målsetting er å vise at investeringer i kvalitet lønner seg fordi kvalitet gir mediet troverdighet som igjen bidrar til samfunnsmessig innflytelse. Denne innflytelsen er ifølge Meyer attraktiv for annonsørene fordi den smitter over på produktene deres. Meyer hevder med andre ord at annonsørene ønsker produktene sine assosiert med medier med høy troverdighet.
Det er mildt sagt en vanskelig teori å føre bevis for. Meyer skal ha honnør for sine gode forsøk og kommer et godt stykke på vei. Men empirien han benytter er for begrenset til at han kan slå i bordet med noe som medieeierne virkelig vil lytte til. Konklusjonen er snarere at her må mer forskning til. (En ikke uvanlig konklusjon i forskningens verden). Boka er uansett leseverdig og anbefales til de som synes det er forfriskende at noen erklærer krig mot blårussen i redaksjonen – med blårussens egen logikk som våpen. Money talks…

Sunday, March 4, 2007

Journalistisk kvalitet og ny mediehverdag

Quality Journalism in the Digital Age er tittel på årets internasjonale redaktørforum (World Editors Forum) som arrangeres i Cape Town, Sør-Afrika fra tredje til sjette juni. Konferanseprogrammet inneholder flere faglig spennende elementer for den som er interessert i medieutvikling og redaksjonell kvalitet. Jeg er spesielt nysgjerrig på det første internasjonale Newsroom Barometer som skal legges frem på konferansen.
I konferanseprogrammet kan man lese at barometeret er basert på en internasjonal survey blant redaksjonelle ledere og fokuserer på redaksjonelle strategier, flermediale integrasjonsprosesser og journalistikkens fremtid. Barometeret er et resultat av et samarbeid mellom Zogby International, World Editors Forum og Reuters. Spørsmålet som er overskrift for denne delen av programmet er i seg selv interessant: "How to Define Editorial Quality in the Digital Age".

Monday, February 19, 2007

Et regnskap for leserne

Det er årsregnskapenes tid. Fjoråret telles opp. Inntekter og kostnader vurderes. Ble resultatene slik vi ønsket? Trillet det flere penger inn, enn det rant ut? Endte marginene på vår side? Det dreier seg om kroner og øre. Også for de mange redaktørene som skal avlegge sitt årsregnskap. Men gode resultater i redaksjonen handler om mer enn økonomi. Det handler først og fremst om journalistikk. God journalistikk. Derfor argumenterte Sven Egil Omdal for noen år siden for et dobbelt bokholderi for redaktører: Et for styre og aksjonærer. Og et for leserne.
I et slikt regnskap for leserne evalueres og dokumenteres den journalistiske produksjonen fra året som gikk. Hvordan var for eksempel mangfoldet i stoffvalg og kildebruk? Kom flere kvinner til orde i fjor enn året før? Og ungdommen, var de mer synlige i spaltene enn de har vært tidligere? Hvor stor var andelen maktkritiske saker med fokus på den lille manns interesser? IJs verktøykasse for kvalitetsmåling inneholder et opplegg for målinger av redaksjonell profil som kan brukes for å lage et redaksjonelt leserregnskap. Gjennom en systematisk gjennomgang av et representativt utvalg artikler og utgaver gir målingen et tverrsnitt av redaksjonens produksjon gjennom året.
Det dreier seg om et årsregnskap på journalistikkens premisser. Med et slikt årsregnskap på innerlomma – eller på minnepinnen - på vei inn i styrerommet, kan redaktøren snakke økonomenes språk om sitt fag. Han kan dokumentere resultater og synliggjøre behov for investeringer i harde tall og fakta. Og kanskje skape ”styreromsinteresse” for det faget hun representerer som en ekstra bonus. Sjefredaktør og ansvarlig utgiver Torbjörn Bergmark i svenske Västerbottens Kuriren, trakk frem nettopp det poenget da jeg intervjuet ham i forbindelse med kvalitetsmålingsprosjektet ved IJ. Den nordsvenske avisen gjennomfører jevnlige kvalitetsmålinger som både legges frem for styret og brukes aktivt i det redaksjonelle utviklingsarbeidet. Med sine jevnlige presentasjoner av publisistiske nøkkeltall i VK-styret, opplever sjefredaktøren en økt interesse for det redaksjonelle arbeidet.
Et leserregnskap eller samfunnsregnskap som det også kalles, inviterer også leserne til en diskusjon om redaksjonen utfører sitt samfunnsoppdrag så godt som den burde. Eller om eiernes avkastningskrav er en trussel mot kvaliteten på journalistikken, slik Omdal skrev i sin kommentar. En slik invitasjon til leserdialog er er på mange måter et tidsriktig signal fra redaksjonen når det nå snakkes stadig oftere om å trekke publikum inn i det redaksjonelle arbeidet.
Det begynner å bli lenge siden Omdals kommentar, men temaet er minst like aktuelt. Akkurat nå – i årsregnskapenes tid av året.

Tuesday, February 13, 2007

Kan kildene evaluere redaksjonell kvalitet?

Kan man bruke kildetilfredshet som mål på redaksjonell kvalitet? Spørsmålet er høyst relevant når man skal i gang med en kvalitetsevaluering i redaksjonen. Etterrettelighet i den journalistiske arbeidsprosessen er et grunnleggende ideal i pressen. Det gjelder ikke minst i forholdet til kildene. Derfor er det naturlig å trekke inn kildeaspektet for å måle og evaluere kvalitet i journalistisk metode.
Erfaringer fra arbeidet med prosjektet Måling av redaksjonell kvalitet og andre undersøkelser viser at det kan være både viktig og verdifullt å spørre kildene om kvalitet i journalistenes arbeid. Det gir en mulighet til å fange opp kvalitetssvikt som ellers ikke ville blitt oppdaget. Faktafeil er en slik type kvalitetssvikt. I CFJEs undersøkelse av dagspressens kilder i Danmark går det frem at drøyt 15 prosent av et representativt utvalg intervjuede kilder har oppdaget konkrete feil i artikkelen der de uttaler seg. Og da snakker vi ikke om subjektivt opplevde feil, men om rene objektive fakta som f. eks navn, alder og tittel til den som blir intervjuet.
IJs verktøykasse for kvalitetsmåling inneholder et undersøkelsesopplegg for å kartlegge denne typen kvalitetssvikt i norske redaksjoner. Opplegget er testet ut i Sarpsborg Arbeiderblad. Selv om vi der gjennomførte for få kildeintervjuer til å kunne trekke statistisk holdbare konklusjoner om feilnivået, tydet informasjonen vi fikk på at de danske resultatene verken er enestående eller unormalt høye. Det ville overraske meg om man fant helt andre og mer positive resultater i en større norsk undersøkelse av dette kvalitetsområdet.
Og kanskje er det nettopp det vi burde gjøre; en større kartlegging av intervjuobjektenes tilfredshet med kvalitetsnivået i reporternes arbeid? Vi burde neppe nøye oss med bare objektive feil. For har ikke også kildenes opplevelse av subjektive feil interesse for oss som pressefolk? Ikke slik å forstå at vi skal styre mot tilfredse kilder i ett og alt. Det ville være et journalistfaglig håpløst utgangspunkt. Men på den annen side - skal vi leve godt med at en stor andel av våre kilder opplever at deres sitater er feil gjengitt eller satt i en sammenheng som fordreier innholdet, eller at viktig informasjon er utelatt?

Tuesday, February 6, 2007

Første kurs i kvalitetsmåling

Hvordan står det til med stoffmiksen og kildebredden? Er den geografiske spredningen i tråd med redaksjonens målsetting? Og er antallet feil i spaltene så ille som leserne vil ha det til? Dette er noen av spørsmålene de syv deltagerne på IJs første kvalitetsmålingskurs jobber med etter den andre av to kurssamlinger om måling og evaluering i redaksjonen. Gruppen har vært "prøvekaniner" for et undervisningsopplegg basert på IJs verktøykasse for kvalitetsmåling.
Som kursleder var jeg spent på hvordan dette ville fungere. Ville det bli for innfløkt, for tidkrevende, for fjernt fra det som ellers fyller den redaksjonelle hverdagen? Og hvordan ville hjemmeoppgaven mellom den første og andre kurssamlingen slå ut? Kort sagt - hvordan ville det gå å ta verktøykassen for kvalitetsmåling fra utviklingsstadiet til det som vel må kalles "operativ fase".
Etter å ha sett hvordan kursdeltagerne har jobbet med måleverktøyene, og hørt diskusjonene og erfaringsutvekslingen knyttet til målrettet kvalitetsarbeid i redaksjonen, er jeg trygg på verdien av måling. Visst er det en investering - både å lære og gjennomføre, men utbyttet er også stort. Med et måleopplegg på plass, med konkrete måleresultater og håndfaste fakta, har redaksjonen et styringsverktøy for utviklings- og kvalitetssikringsarbeidet som redaksjonen kan samles om. Et utgangspunkt for å sette seg realistiske kvalitetsmål og føre diskusjoner om kvalitet ut fra harde fakta i stedet for synsing.
Det blir spennende å følge kursdeltagerne videre med respektive måleprosjekter. Kanskje dukker de opp på denne bloggen også. Bloggen er forøvrig ment som et informasjonssted for kvalitetsmåling og -utvikling, med ressurser og innspill knyttet til dette redaksjonelle området. Velkommen hit.