Hybrid AI – Hvordan gi maskinlæring en stemme

Når vi hører om AI i dag handler temaet nesten alltid om Generativ AI, spesielt generative språkmodeller. Imidlertid, som Gartner uttrykker det; "AI dreier seg ikke bare om GenAI." Etter et par år med tilvenning til ulike chatbot- og copilot-lignende brukstilfeller, mener vi at den neste fasen hvor AI vil ha en reell innvirkning på næringslivet og industrien er Hybrid AI. En kombinasjon av generativ og ikke-generativ AI.

Oppsummering: Hva har skjedd så langt?

La oss starte med en oppsummering. I starten av 2023 var vi vitne til at en virkelig endrende teknologi dukket opp. ChatGPT kom og endelig, etter år med skepsis og misforståelser rundt AI, kunne folk virkelig få en følelse av hva teknologien kunne gjøre. Hvis du er som meg, testet du ut ChatGPT og tenkte, "Wow, den kan faktisk snakke!"

Chatboter begynte å svare på spørsmål akkurat som et menneske ville gjort. Men vi la raskt merke til problemene med de generative modellene bak verktøy som GPT. Virkelige, verdifulle spørsmål er ikke bare morsom trivia; de ser mer ut som dette…

Disse spørsmålene krever intern kunnskap om selskapets operasjoner, forretninger, produkter, kunder, interne retningslinjer og mer. For slike spørsmål svarer GPT enten med "Jeg vet ikke" eller den fabrikkerer et svar.

Den uheldige sannheten er at chatboter basert på GenAI svarte på spørsmål på samme måte som en menneske som ikke jobber i ditt selskap.

Introduksjon av semantisk søk

Heldigvis har vi et annet triks i ermet: Semantisk Søk. Dette gjør det mulig for en chat-løsning å søke gjennom store mengder intern dokumentasjon for å finne de mest relevante bitene av informasjon som kan brukes i svaret på et spørsmål. Generativ AI kan deretter utdype denne informasjonen, for godt eller vondt, takket være dens imponerende evne til å etterligne menneskelig språk, hovedsakelig basert på tekst fra internett. Gjennom sin utdyping vil GenAI alltid gjøre svaret mer fordøyelig og handlingsorientert.

Semantisk Søk er "Hentingen" (Retrieval) delen av RAG, Retrieval Augmented Generation. Det er ikke Generativ AI, men det er fortsatt AI fordi en god semantisk søkemodell er språkbevisst. Den har blitt trent på menneskelig språk, så den forstår konteksten i et spørsmål. For eksempel, hvis du ber en semantisk søkemodell om å finne den mest relevante teksten for spørsmålet "Hvilke celler er tildelt førstegangsforbrytere?", vil den returnere med tekst fra retningslinjer for plassering i et fengsel og hoppe over all dokumentasjon du har om battericeller eller kreftceller.

Bruken av ikke-generativ AI for semantisk søk har sine røtter i Natural Language Processing (NLP) og Natural Language Understanding (NLU). Og selv om chatteopplevelsen i RAG får oss til å tenke på det som “Generativ AI,” er det trolig den ikke-generative “R”-delen i “RAG” som gir den største verdien.

Så, spoiler alert: alle som bruker RAG i dag, bruker allerede Hybrid AI.

Men RAG tår et toppunkt.

Nå begynner folk å legge merke til et større problem med chatboter. De mest verdifulle spørsmålene ser faktisk ut som dette…

Det er her RAG faller til kort, ettersom det ikke finnes noe nyttig som kan “Hentes”:

• Et salgsteam for kontorrekvisita har ikke et magisk dokument som forteller dem om John Smith sannsynligvis vil kjøpe en ny LCD-skjerm.
• En kontroller for tilkoblede enheter i et gruveselskap har ikke et magisk dokument som forteller dem hvilken komponent som trenger å byttes ut i en boreenhet.

Maskinlæring og prediktiv innsikt

Heldigvis har vi et annet triks i erme: Maskinlæring.

Husker du ML? Det har fantes i mange år, men har aldri fått den samme banebrytende oppmerksomheten som GPT. Kanskje ML til og med fikk et dårlig rykte for å konsumere mye PoC-tid med relativt liten påvirkning. En del av grunnen kan være at de rå resultatene fra maskinlæring er sannsynligheter. Hva er sannsynligheten for at noen vil kjøpe et produkt? Hva er sannsynligheten for at noen tilhører denne kategorien? Det har vist seg vanskelig å bruke en maskin som bare spytter ut sannsynligheter — med andre ord, ML snakket ikke...

Så, la oss oppsummere Maskinlæring. Det er en modell som lærer av tidligere data for å forutsi og forklare nåtid og fremtid.

For et typisk forretningsbrukstilfelle av ML, kan vi trene en prediktiv modell på salgsdata fra tilbud som har blitt akseptert og avvist tidligere. Deretter, for et nytt tilbud, vil modellen forutsi om det blir akseptert eller avvist. Det fungerer fordi beslutningen om å akseptere/avvise påvirkes av alle detaljene vi har om prospektet, produktet, prisen, markedet—til og med tidspunktet på året, hvem vet.

Som en ekstra bonus, kommer ML-prediksjoner med en indikasjon på hvorfor utfallet sannsynligvis vil være på en eller annen måte. I prospekteringseksemplet ovenfor kan modellen forutsi at et tilbud vil bli akseptert, samtidig som den avslører at det, for dette spesifikke tilfellet, er den geografiske plasseringen til prospektet eller betalingsplanen for produktet som mest påvirker deres beslutning om å kjøpe. Slike innsikter er verdifull ammunisjon for salgsprofesjonelle når de diskuterer med prospektet.

For et typisk industrielt brukstilfelle kan vi trene en prediktiv modell på sensordata fra maskiner som har kjørt bra og de som har feilet det siste året. Denne modellen kan deretter gjenkjenne tidlige tegn på feil og knytte dem til spesifikke maskinkomponenter — selve grunnlaget for prediktivt vedlikehold.

Prediksjoner der fakta ikke er tilgjengelige

Hvordan Prediktive modeller erstatter semantisk søk

Prediktive modeller som disse kan erstatte semantisk søk i Retrieval Augmented Generation (RAG), og skape noe vi kan kalle PAG: Prediction Augmented Generation.

En PAG-løsning fungerer på mye samme måte som RAG, men den søker ikke etter svaret på et spørsmål i et magisk internt dokument som kan forutsi fremtiden. I stedet utnytter den prediktive modeller.

PAG-arkitekturen komplimenterer ML med GenAI, og bruker GenAI både som oversetter og kommunikator.

Som oversetter vil GenAI:

• Først oversette det menneskelige spørsmålet til input for en prediktiv modell.
• Deretter oversette modellens output (sannsynligheter og årsaker) til et meningsfullt, menneskelig svar.

Som kommunikator vil GenAI deretter utdype den informasjonen — nøyaktig eller ikke — og dra nytte av sin imponerende evne til å etterligne menneskelige svar, hovedsakelig basert på tekst fra internett.

Bruken av ikke-generativ AI for prediksjoner setter “P” i “PAG” og gir mest verdi, mens chatteopplevelsen sørger for at, i motsetning til mange ML-modeller i fortiden, vil fordelene bli realisert av mennesker som bare ønsker å ha noen å snakke med.

Som med RAG, er resultatet et eksempel på Hybrid AI, som kombinerer GenAI med ikke-generativ AI—men i motsetning til RAG, gir løsningen nyttige råd selv i fravær av harde fakta.

Hybrid AI kombinerer ikke-generativ AI (NonGen AI) med generativ AI (GenAI). Et eksempel på PAG:

To eksempler på brukstilfeller av Prediction Augmented Generation (PAG)

Det finnes mange typer brukstilfeller for PAG som drar nytte av skyløsninger som både forbruker og server modellprediksjoner.

1. Batch-prosesser som forbruker prediksjoner:
En gruppe brukstilfeller forbruker prediksjoner i batch-prosesser som fyller et selskaps datalager. For eksempel kan et prospekteringsmodell være trent på data fra tusenvis av tidligere tilbud. Hvert tilbud kan ha involvert 100 fakta som ble brukt til å trene modellen, inkludert informasjon om produkter, priser, kunder, prospekter osv. På slutten av hver arbeidsdag er ny data tilgjengelig om disse eller nye kunder og prospekter, og den prediktive modellen brukes til å “vurdere” alle prospektene i dagens batch basert på hvor sannsynlig det er at de vil kjøpe bestemte produkter. Disse vurderingene blir lagret i en database sammen med andre detaljer om prospektet, klare til å hjelpe salgsstaben neste dag.

2. Prediksjoner på forespørsel:
En annen gruppe brukstilfeller får prediksjoner fra modellen “på forespørsel”. For dette lager vi et API som serverer modellen, og som enhver applikasjon kan bruke ved å gi detaljene modellen trenger for å gjøre en prediksjon. For eksempel kan den samme prospekteringsmodellen som nevnt tidligere brukes på forespørsel når et nytt prospekt dukker opp. Først samles de samme 100 faktaene inn for det nye prospektet (tilgjengelig i salgsdatabasen), og disse blir matet inn i modell-APIet. En enkelt score—som indikerer hvor sannsynlig det er at prospektet vil kjøpe et bestemt produkt—returneres av APIet for bruk av applikasjonen.

Eksempel på en PAG-sak med anonymiserte kundedata: Prospector Agent

La oss se hvordan dette ser ut fra perspektivet til en selger som har PAG aktivert i en AI-assistent. I de følgende tre eksemplene bruker AI-agenten batch-scoring og utfører følgende trinn:

• Tar det naturlige språkspørsmålet fra brukeren.
• Gjenkjenner ut fra konteksten at brukeren søker informasjon om ferdig vurderte prospekter.
• Oversetter det naturlige språkspørsmålet til krav for modellens inndata: antall ønskede prospekter og at de skal rangeres etter prioritet.
• Henter de beste prospektene fra databasen, der prospektene ble vurdert forrige natt.
• Henter kontaktinformasjon for disse prospektene, med forståelse for at formålet er å hjelpe selgere med prospekteringsoppgaver.
• Strukturerer den resulterende informasjonen i et brukervennlig format og leverer den sammen med menneskelignende råd.
  
  

Chatboten har blitt et prediktivt støtteverktøy som gir brukeren all nødvendig informasjon i samme chattevindu. Det kan også brukes til å hente fakta om kunder og produkter, ved å bruke RAG og PAG om hverandre.

Fordelene med å bruke GenAI til å tolke ML-utdata blir enda tydeligere når vi introduserer et ML-triks kalt «forklarbarhet». Dette innebærer at modellen gir begrunnelser for en prediksjon basert på påvirkningen av visse datapunkter. Den beste måten å illustrere dette på er gjennom en ny demonstrasjon, denne gangen ved bruk av prediksjoner på forespørsel.

I de neste tre eksemplene gjenkjenner AI-agenten at brukeren har et nytt prospekt og ønsker modellscoring, deretter:

• Bekrefter interaktivt hvilken spesifikk bedrift som vurderes som prospekt – slik at nødvendige detaljer kan hentes.
• Henter prospektdetaljene og sender dem til modellens API, som returnerer en score for sannsynligheten for å vinne salget, samt hvilket datapunkt som hadde størst innflytelse på prediksjonen.
• Oversetter scoren og det innflytelsesrike datapunktet til menneskelignende råd for brukeren.

Det siste trinnet demonstrerer den ekte synergi mellom prediktiv modellering og generativ AI: scoren alene har begrenset nytte for brukeren. Historien har vist at tall kan være vanskelige å tolke og stole på når de brukes til beslutningsstøtte. Med PAG mottar brukeren menneskelignende råd med begrunnelser, ikke bare et tall. Til syvende og sist spares tid ved å unngå svake leads, og sjansen øker for at gunstige tilbud gis til fornøyde nye kunder.

Det forrige eksempelet viste hybrid AI med strukturerte, operative data fra forretningsapplikasjoner. Dette representerer en stor kategori av operative bruksområder, der beslutningsstøtte gis innen salg, kundeservice og CRM.

Men maskinlæringsmodeller utmerker seg også med ustrukturerte data, for eksempel fysiske målinger og sanntidsovervåking av maskiner. Dette åpner døren for en annen kategori bruksområder, nemlig prediktivt vedlikehold i industrier der utstyr og sensorer genererer tidsseriedata.

Det neste eksempelet representerer denne typen bruksområder, ved å bruke data fra sensorer i bærbare enheter. Dataene ble samlet inn i en forskningsstudie av ansatte som opplevde stress under skiftarbeid.

Eksempel på brukstilfelle med IoT-data: Varsling om ansattstress

Bildet ovenfor illustrerer treningen av en stressprediksjonsmodell, som bruker både fysiske målinger fra en bærbar enhet og tekstdata fra en skriftlig undersøkelse.

De fysiske målingene inkluderer hjertefrekvens, svette og bevegelsessignaler, samlet gjennom et helt arbeidsskift. Undersøkelsesteksten består av en kort beskrivelse av skiftet, skrevet av den ansatte, samt en egenvurdering av stressnivået.

Ved å kombinere disse dataene trenes maskinlæringsmodellen slik at den kan forutsi stressnivåer etter fremtidige arbeidsskift. Når en ansatt gir en kort oppsummering av skiftet, og de tilsvarende fysiske signalene fra den bærbare enheten er samlet inn, kan modellen bruke denne informasjonen til å forutsi stressnivået.

I den følgende demonstrasjonen bruker AI-agenten vurdering på forespørsel og utfører følgende trinn:

• Henter skiftoppsummeringen i naturlig språk fra brukeren.
• Henter den samme brukerens fysiske data fra skylagring (ved å kjenne brukerens ID).
• Gir den kombinerte inputen til ML-modellens API.
• Mottar en score som indikerer sannsynligheten for at medarbeideren er stresset.
• Oversetter scoren til meningsfull, skreddersydd rådgivning.

Kombinering av prediktive modeller med GenAI

Det siste trinnet demonstrerer kraften i å kombinere prediktive modeller med GenAI: Råd om hva man bør gjøre, tilpasset stressnivået forutsagt av modellen, berikes med "kunnskapen" som modeller som GPT har hentet fra store mengder internettekst.

Likevel bør råd om helse og sikkerhet behandles med forsiktighet, og i de fleste tilfeller vil vi velge å ytterligere berike Agentens råd med interne retningslinjer om tilgjengelig hjelp eller prosedyrer som skal følges i henhold til arbeidsgiveren. Dette bringer oss tilbake til vår gamle venn, Semantisk Søk, i en sømløs pipeline av Prediksjon, Gjenfinning og Generering (PGG?).

The Employee Stress Agent representerer den bredere familien av "prediktivt vedlikehold"-brukstilfeller, der mer verdi forventes å komme fra industriell bruk av PGG med tilkoblede enheter, for eksempel i gruve- eller produksjonsindustrien. I denne sammenhengen kan behovet for intervensjon identifiseres av en løsning som overvåker IoT-data på to måter:

1. Anomalideteksjonsmodell: når et visst signal viser uventet atferd som rettferdiggjør en inspeksjon.
2. Maskinlæringsmodell: når den komplekse kombinasjonen av flere, samvirkende signaler ligner på omstendigheter som tidligere har ført til feil – noe som kun kan avdekkes av en modell som har lært fra historiske data.

I begge tilfeller drar prediktivt vedlikehold nytte av Hybrid AI på følgende måte:

• Modellen gir en prediksjon (sannsynlighet) for et problem sammen med indikatorer på hvorfor et problem er sannsynlig, for eksempel hvilke spesifikke signaler som har størst innvirkning på prediksjonen eller hvilke historiske feil som ble innledet av lignende atferd.
• Prediksjonen, sammen med årsakene til å anbefale intervensjon, kan brukes i et endelig Semantisk Søk gjennom teknisk dokumentasjon for å gi råd om hvilke maskinkomponenter som bør inspiseres og gi detaljer om deres standard vedlikeholdskrav, livssyklus osv.

PAG og demonstrasjonene her er et stort skritt mot å realisere den neste revolusjonen innen AI, slik Gartner forutså. De antydet ankomsten av Hybrid AI denne sommeren med følgende uttalelser:

"Overdreven fokus på GenAI kan føre til at man ignorerer det bredere settet av alternative og mer etablerte AI-teknikker, som passer bedre for flertallet av potensielle AI-brukstilfeller."

"Organisasjoner som utvikler evnen til å kombinere de riktige AI-teknikkene, er unikt posisjonert til å bygge AI-systemer med bedre nøyaktighet, transparens og ytelse, samtidig som de reduserer kostnader og behovet for data."

Leinar Ramos, Gartner Senior Director Analyst

For å oppsummere, utløste ankomsten av ChatGPT fornyet interesse for AI som et kraftig verktøy i digitaliseringen av virksomheter og industri fordi—"Wow, den snakker!"

Men siden introduksjonen og suksessen med RAG-løsninger har det blitt klart at rollen til Generativ AI er å oppsummere, berike og kombinere resultatene fra NonGen AI, og gjøre disse resultatene handlingsbare med større tillit og spesifikke anbefalinger.

I denne bloggen har vi utvidet denne hybride filosofien for å vise fordelene med å kombinere GenAI med prediktive modeller fra maskinlæring. Den resulterende Hybrid AI-rammeverket, som vi kaller Prediction Augmented Generation (PAG), har vist seg å ha fordeler for operasjonelle brukstilfeller (f.eks. salg) så vel som IoT-brukstilfeller (vist for personlig helse og, ved utvidelse, prediktivt vedlikehold av maskiner).

Om forfatteren

Tony Shepherd har en doktorgrad i datavitenskap fra University College London, med sin avhandling fokusert på maskinlæring. Han jobber som Senior Consultant i twodays Data & Analytics-team.