Generatiivinen tekoäly perustuu laajoihin kielimalleihin. Markkinoilla on tällä hetkellä tarjolla useita eri kielimalleja ja niistä viriteltyjä palveluita. Maailmanlaajuisesti eniten huomiota ovat saaneet mm. OpenAI:n kielimalli, Google Gemma ja Metan LLaMA. Oikean mallin valitseminen riippuu lopullisesta käyttötapauksesta: esimerkiksi kysymysten vastaamiseen tai tiedon järjestämiseen soveltuu eri mallit. Tämä on todella tärkeää pitää mielessä GenAI -ratkaisua suunniteltaessa.
Oli kysessä mikä tahansa kielimalli, sen pitää saada toimimaan organisaation IT-arkkitehtuurissa. Esittelemme referenssiarkkitehtuurimallimme ja siinä huomioitavat asiat, joita voit hyödyntää omassa työssäsi.
Verkkosivusto, jolle Gen AI ratkaisu luodaan
Gen AI ratkaisuja voidaan hyödyntää verkkosivuilla tai eri viestintäkanavissa (teams, slack, facebook). Upotuspaikka riippuu siitä missä ratkaisun hyödyt maksimoidaan. Jos ratkaisua toteutetaan verkkosovelluksena, tulee verkkosovellus suunnitella asiakkaan tarpeiden, kontekstin ja luotettavuuden mukaan, ja sen olisi tarjottava saumaton ja mukaansatempaava käyttökokemus. Front-endissä on myös otettava huomioon generatiivisten tekoälyratkaisujen tiedonhallinta, kontekstitietoisuus ja "human in the loop" -näkökohdat.
Gen AI back-end
Gen AI -ratkaisun back-endissä tarvitaan chatbot engine, joka käyttää generatiivisia tekoälymalleja vuorovaikutteisten ja yksilöllisten asiakaskokemusten luomiseen. Chatbot engine voi käyttää erilaisia generatiivisia malleja, kuten OpenAI:n GPT:tä, Metan LLaMA:aa tai Googlen Gemma, riippuen käyttötilanteesta, luotettavuudesta ja datankäytön käytännöistä. Chatbot engine voi käyttää myös muita tekoälymalleja, kuten puheentunnistusta, tekstin tiivistämistä tai sisällön tuottamista, keskustelun tehostamiseksi. Kielimallin vastauksia olisi testattava ja arvioitava erilaisissa skenaarioissa ja käyttötapauksissa, ja sitä olisi seurattava ja parannettava ajan myötä.
Referenssiarkkitehtuurisamme hyödynnetään Retrival augmented generation (RAG) patternia, missä vektorisoidaan sekä tietovarasto, että käyttäjän kysymys. Tämä mahdollistaa nopean ja tarkan tekstihaun. RAG mallin lisäksi voimme hyödyntää agentti mallia. Agenttien ydinajatuksena on käyttää kielimallia valitaksesi toimintosarja. Ketjuissa toimintosarja on koodattu (koodissa). Agenteissa kielimallia käytetään päättelymoottorina määrittämään, mitkä toimet on suoritettava ja missä järjestyksessä. Tällä tavalla voimme halutessamme käyttää käyttäjän kysymys, monen eri kielimalliinstanssin läpi, jolla on eri ohjeistukset. Näitä yhdistelemällä, varmistamme että me saamme käyttäjälle parhaimman vastauksen.
Liiketoimintajärjestelmät
Yksi referenssiarkkitehtuurin elementeistä on integrointi yrityksen taustajärjestelmiin, kuten ERP-, CRM- ja CMS-järjestelmiin sekä muihin operatiivisiin järjestelmiin ja data-analyysiratkaisuihin. Nämä järjestelmät tarjoavat verkkoportaalille asiaankuuluvia tietoja ja toimintoja, kuten asiakastietoja, tuotetietoja, sisällönhallintaa ja palautteen analysointia. Integraatio taustajärjestelmien kanssa räätälöidään aina tarpeiden ja kontekstin mukaan, ja sen on oltava turvallinen, luotettava ja skaalautuva.
Parhaimmillaan generatiivinen tekoälyratkaisu voi esimerkiksi tehdä pitkälle vietyjä tuotesuosituksia tai intuitiivisesti auttaa asiakasta hänen ostohistoriansa perusteella.
IT-infra
Tekoälyratkaisuiden ympärillä puhutaan, aiheestakin, paljon niiden turvallisuudesta ja eettisyydestä. Tästä syystä organisaation IT-infran ja taustajärjestelmien rooli nousee hyvinkin ajankohtaiseksi.
Referenssiarkkitehtuurissa otetaan huomioon myös infrastruktuuri, tietoturva ja generatiivisten tekoälyratkaisujen ydinkomponentit. Infrastruktuuri sisältää pilvialustan, verkkopalvelimen, tietokannan ja konttipalvelun, jotka isännöivät ja pyörittävät verkkoportaalia ja generatiivisia tekoälymalleja. Tietoturvaan kuuluvat identiteetin ja käyttöoikeuksien hallinta, salaus ja salauksen purku, palomuuri ja verkkoturvallisuus sekä vaatimustenmukaisuus- ja hallintakäytännöt, jotka suojaavat tietoja ja malleja luvattomalta käytöltä ja väärinkäytöltä.
Tässä huomioidaan myös palvelun syksilyys eli kohdistuuko palvelulle tavallista enemmän tai vähemmän kuormaa esimerkiksi johonkin aikaan vuorokaudesta tai vuodesta esim. Jouluna.
Seuranta ja kehitystyökalut
Viimeisenä osana referenssiarkkitehtuuriamme esittelemme kehitystyökaluja ja -käytäntöjä, jotka ovat osa Loihteen generatiivisen tekoälyn referenssiarkkitehtuuria. Tyypillisesti kehitämme palveluita, joissa monitorointi on aina mietitty käyttötapausten perusteella. Ensimmäisenä tulee tietenkin se, että palvelu on käytettävissä. Voi olla tarpeen monitoroida myös miten palvelua käytetään ja tietoturvanäkökulmasta on tärkeä tietää kuka käyttää mitäkin dataa ja kenellä on pääsy mihinkin
Moderniin monitorointi- ja kehitystyökalupakkiin kuuluvat myös ketterät kehitysmallit ja julkaisut sekä automaatiotestaus. Enää ei tarvitse odotella kuukausia uutta julkaisua. Lisäksi ylläpidämme ja dokumentoimme sen mitä on koodattu.
Toivomme, että tästä kokonaisuudesta oli apua työssäsi. Olemme toteuttaneet tähän arkkitehtuuriin perustuvat generatiivisen chatbotin AinoAid -palveluun. Kerromme mielellämme lisää siitä ja muista toteutuksistamme.
Haluatko tietää lisää?
Ota yhteyttä niin keskustellaan 👇
