twoday AI Agent er et ferdig produkt, egnet for selskaper som ønsker å umiddelbart implementere generativ AI i sin virksomhet og raskt skape forretningsverdi. Vanlige brukstilfeller inkluderer å forbedre kundeservice, automatisere interne prosesser og lette databehandling og bruk.
I et nylig gjennomført prosjekt brukte eksperter fra en stor organisasjon et bredt spekter av realistiske og komplekse kundesupportspørsmål for å teste både en fritt tilgjengelig AI-applikasjon og twoday AI Agent, som bruker en innebygd Retrieval Augmented Generation (RAG)-rammeverk. I undersøkelsen ble det evaluert om de kunne levere de AI-genererte svarene direkte til kunden.
twoday AI Agent presterte betydelig bedre i testen enn den sammenlignede AI-applikasjonen, nemlig gratisversjonen av ChatGPT. I denne bloggen skal vi diskutere hvor mye bedre twoday AI Agent presterte, og hvorfor.
Bruken av twoday AI Agent i et stort kundesenter
Bruken av twoday AI Agent ble evaluert i et prosjekt med et kundesenter med hundrevis av ansatte som håndterer over to millioner samtaler og en halv million chatmeldinger årlig.
Når store mengder data håndteres, er det viktig at AI-løsningen er av høy kvalitet og gir pålitelige svar, siden selv en liten feilprosent kan ha betydelig innvirkning på både virksomheten, personalet og kundene. Derfor fulgte prosjektet prinsippene for ansvarlig AI og ble nøye overvåket under implementeringen.
Den betydelige påvirkningen av RAG-rammeverket
Prosjektet kombinerte twodays teknologi og ekspertise med kunnskapen hos kundesenteret. I utviklingen ble Retrieval Augmented Generation (RAG)-rammeverket brukt, noe som innebærer at språkmodellen ikke bare gir korrekte svar på spørsmål, men også svarer på en beriket måte ved hjelp av såkalt "prompt engineering".
En betydelig fordel med twoday AI Agent er at alle nødvendige funksjoner er innebygd i produktet, noe som gjør konfigurasjon og tilpasning enkel og rask. Dette betyr at produktet er klart til bruk umiddelbart, og metoder som RAG kan brukes direkte uten det omfattende utviklingsarbeidet som vanligvis kreves.
I tester ble AI Agentens ytelse sammenlignet med gratisversjonen av ChatGPT, som ikke bruker RAG-rammeverket. All informasjon som trengs for å svare på kundespørsmålene er tilgjengelig på internett, og er derfor også tilgjengelig for ChatGPTs språkmodeller. Testresultatene viser at AI-applikasjonen som bruker RAG-rammeverket klart overgår de sammenlignede applikasjonene ved å tilby mer nyttige og høyere kvalitets svar.
Prosjektet besto av flere tester der medarbeidere fra kundesenteret stilte realistiske kundespørsmål til de forskjellige AI-applikasjonene, og ga deretter tilbakemeldinger som ble brukt til analyse og forbedring. Ytelsen ble evaluert etter kriteriene nøyaktighet og brukervennlighet, hvor medarbeiderne fra kundesenteret vurderte de forskjellige AI-applikasjonenes svartid og kvalitet på en skala fra 1 til 4, der 4 betydde at det genererte svaret kunne brukes direkte til å svare på kundens spørsmål.
Resultatene
twoday AI Agent presterte betydelig bedre i testen enn den sammenlignede AI-applikasjonen. Brukere sammenlignet svar fra begge agentene med de samme retningslinjene og spørsmålene. Ifølge ekspertenes vurdering var de fleste av AI-agentens svar egnet til å presenteres direkte for sluttkundene.
"twoday AI Agents evne til raskt å lokalisere bransjespesifikk informasjon fra treningsdataen resulterte i at den presterte betydelig bedre i undersøkelsen enn den sammenlignede AI-applikasjonen, altså gratisversjonen av ChatGPT."
Tony Shepherd, senior konsulent i twodays Data & Analytics-team
Når man sammenlignet hvilken av AI-applikasjonene som resulterte i flest genererte svar mellom 3 og 4 på den 1-4-gradige kvalitetsskalaen, viste det seg at svarene fra twoday AI Agent oppnådde et resultat på 83 %, mens ChatGPT, som ikke bruker RAG-rammeverket, kun oppnådde 36 %.
Under testen ble også de planlagte forbedringstiltakene for twoday AI Agent evaluert, som for eksempel tillegg av flere språkmodeller for informasjonssøk og mer effektiv bruk av tilbakemeldinger fra brukerne. Det ble vurdert at twoday AI Agent potensielt kunne oppnå et resultat på 95 % på kvalitetsskalaen.
Medarbeiderne fra kundesenteret vurderte svarene fra twoday AI Agent og gratisversjonen av ChatGPT på en kvalitetsskala fra 1 til 4, hvor 4 betydde at svaret kunne brukes direkte til å svare på kundens spørsmål.
AI tilfører en ny dimensjon til kundeservice
twoday AI Agent tilbød ikke bare høy kvalitet i støtten til kundesenteret, men overgikk også ytelsen betydelig sammenlignet med den andre AI-applikasjonen, som ikke brukte RAG-rammeverket. Prosjektet sørget for at AI-løsningen var optimalisert, og at brukerne kontinuerlig kunne overvåke og forbedre den.
"twoday AI Agent tilbyr ikke bare tilpasset og sikker service til våre bedriftskunder, men viser også tydelig hvordan potensialet til AI kan utnyttes enda mer. Ved å bruke RAG-rammeverket og kombinere flere ulike språkmodeller, har vi klart å utvikle en løsning som oppfyller alle de høye kravene som finnes når det gjelder nøyaktighet og pålitelighet innen kundeservice.
Prosjektresultatene viser tydelig at twoday AI Agent kan tilby utmerket support og presterer betydelig bedre ved komplekse kundespørsmål enn andre tilgjengelige løsninger."
Janne Sipilä, Director of Business Development i twodays Data & Analytics-team
Gi kundene dine overlegen service med automatiserte prosesser og AI
Skap mer personlige interaksjoner, få hjelp med rask og effektiv informasjonsbehandling, og gi kundene dine overlegen service. Med twoday AI Agent kan du enkelt få hjelp til å svare på kundespørsmål i alle dine kanaler, enten det er på sosiale medier, chat eller e-post.
- Raskere og enklere kundekommunikasjon døgnet rundt, hele året.
- Korrekte og presise svar på kundespørsmål, uten forsinkelser.
- Tilpasset til ditt selskaps merkevare, språk og tonalitet.
Les mer om twoday AI Agent her.
