Försök med AI-assistent på Esbo stads intranät gav ny förståelse för informationssökning och utnyttjande av generativ AI

I försöket deltog tjugo testpersoner från olika enheter i staden: kommunikationen, projekt- och programbyrån, personalenheten och ekonomitjänsterna. 

Försöket koordinerades av experter från teamet för experimentell utveckling vid enheten för digital utveckling och informationsledning i samarbete med dataadministrationen.

Som partner för genomförandet fungerade Twoday Oy, som är avtalspart i publiceringssystemet för stadens intranät.

”Försöket gav en utmärkt möjlighet att i praktiken se vad generativ AI kräver för att lyckas – både när det gäller data och verksamhetssätt. Vi fick också värdefull information om hur det lönar sig att definiera lösningar och hur stor inverkan kvaliteten på källinformationen har. En AI-assistent är inte bara ett verktyg, utan när vi använder den förändras också våra sätt att göra saker. Det handlar inte bara om teknik”, säger utvecklingschef Valia Wistuba som ledde försöket.

Försöket genomfördes i en separat, skyddad Azure-miljö där testanvändarna kunde testa assistenterna vid handledda tillfällen. Till den skräddarsydda GPT-assistenten fogades ett begränsat antal (28 st.) anvisningar och dokument från Essi, medan MS Copilot och den existerande sökfunktionen i stadens intranät var beroende av datainnehållet i produktionsmiljön. Med hjälp av den separata testmiljön var det möjligt att bedöma skillnaderna i funktionalitet, kvalitet och kostnader. ”GPT fungerade bra under försöket. Uppföljningen av kostnaderna var värdefull för Esbo och hjälpte oss att förstå vilka olika element som orsakar extra kostnader”, säger IT-utvecklingschef Marko Piippo.

• AI effektiviserar arbetet – om datan är av hög kvalitet
  Enligt användarna gjorde GPT-assistenten informationssökningen, innehållsproduktionen och skapandet av vardagliga anvisningar snabbare om källdatan var tydlig och aktuell. I komplicerade situationer behövdes dock preciseringar och bättre källhänvisningar. Det var möjligt att göra sökningar genom att ställa frågor, och då behövdes det färre exakta sökord.
• En skräddarsydd assistent ökar förtroendet för att använda AI
  GPT upplevdes vara den enklaste lösningen, i synnerhet i uppgifter som krävde klara och koncisa svar. Försöket ökade förståelsen för orsakerna till att AI-assistenten hallucinerar och hur detta kan minskas genom definitioner.
• Förståelsen för kostnadsstrukturen för AI-assistenter ökade
  Kostnadsuppföljningen visade att kostnaderna under användningstiden var måttliga och att det finns möjligheter till optimering.
• Den existerande sökningen på intranätet fungerar vid exakt sökning – men stöder inte en dialogbaserad sökning
  Sökmotorn erbjöd långa listor med länkar som kan ta tid att gå igenom. Användningen av intranätet kräver ofta kännedom om dess struktur och om korrekta termer. Sökningen stöder inte användaren med att skapa nytt innehåll och behandlar varje sökning separat.

• Källdata avgör hur väl det lyckas
  Splittrade anvisningar, bildbaserat innehåll och varierande format försämrade kvaliteten på svaren som gavs av AI. Ett tydligt, maskinläsbart innehåll är en förutsättning för tillförlitliga svar.
• Datamängden har en direkt inverkan på kostnader och kvalitet
  Försökets begränsade datamängd underlättade kostnadsuppföljningen, men väckte en fråga om hur lösningen kan anpassas till hela intranätets omfattning.
• Användarna behöver stöd och övning
  Formulering av rätt frågor, utvärdering av källor och förståelse för hur AI fungerar visade sig vara viktiga faktorer.
• AI förändrar arbetssätten, inte bara tekniken
  Den dialogbaserade sökningen och den automatiska sammanfattningen av information förändrar roller, processer och arbetstagarens sätt att söka information.

Resultaten av försöket delas i Esbo stads organisation under presentationer och i olika nätverk. Lärdomarna stöder utvärderingen av framtida AI-lösningar, utvecklingen av innehållsproduktionen samt definitionen och ibruktagandet av AI-assistenter.

”Trots att den testade lösningen inte förs vidare till produktion ökade försöket Esbo stads beredskap att utnyttja generativ AI på ett säkert, kostnadseffektivt och användarorienterat sätt”, konstaterar försökets ägare, kommunikationsdirektör Johanna Pajakoski.

---

Försöket är en del av Esbo stads program Den digitala agendan 3.0, vars syfte är att främja digitaliseringen av stadens tjänster, utnyttjandet av ny teknik, e-tjänster och ibruktagandet av nya verksamhetssätt.

Mer information:
Den digitala agendan