AI-gateway
AI-gateway on yksi palvelu yrityksen sovellusten ja sen käyttämien tekoälymallien palveluntarjoajien välissä. Jokainen pyyntö kulkee sen kautta, joten käyttöoikeudet, reititys, tietosäännöt, budjetit ja lokit valvotaan yhdessä paikassa.
Miksi sillä on merkitystä yrityksille
Ilman gatewayta jokainen tiimi avaa omat tilinsä palveluntarjoajille, eikä IT:llä ole yhtä paikkaa, josta näkee, kuka käyttää mitäkin mallia, minne tiedot menevät ja mitä se maksaa.
Gateway tekee näistä kysymyksistä asetuksia: yksi sopimus, yksi avainjoukko, yksi loki ja samat säännöt jokaiselle työkalulle, joka kutsuu mallia.
Esimerkki
Yritys, jossa on 200 kehittäjää, yhdistää Claude Coden, sisäisen chatbotin ja asiakirjaputken samaan gatewayn päätepisteeseen. Tietoturvatiimi asettaa säännön, jonka mukaan jokainen pyyntö palvellaan Euroopassa, ja talousosasto näkee kustannukset henkilöittäin ja sovelluksittain.
Mitä tämä tarkoittaa yritykselle, joka käyttää tekoälyrajapintoja
Jos kehittäjänne kutsuvat mallien rajapintoja suoraan, jokaisella sovelluksella on omat palveluntarjoaja-avaimensa, eikä kukaan osaa sanoa kysymättä jokaiselta tiimiltä, mitä tietoja meni millekin palveluntarjoajalle viime kuussa. Kun gateway asetetaan sovellusten eteen, kuhunkin sovellukseen vaihdetaan yksi perus-URL ja yksi avain; sen jälkeen käyttöoikeudet, reititys, lokitus ja kulukatot määritetään yhdessä paikassa. Esimerkiksi 50 hengen ohjelmistoyritys siirtää kolme sisäistä työkalua erillisistä palveluntarjoaja-avaimista yhteen gateway-päätepisteeseen ja voi sen jälkeen poistaa lähtevän työntekijän käyttöoikeudet yhdellä muutoksella sen sijaan, että vaihtaisi avaimia kolmella palveluntarjoajalla.
Missä käsite on määritelty: Mikään laki tai standardi ei määrittele termiä; toimittajat kuvaavat sen omassa dokumentaatiossaan. Microsoft kuvaa esimerkiksi Azure API Managementin AI gateway -ominaisuudet (englanniksi) joukoksi ominaisuuksia, joilla tekoälymalleja, agentteja ja työkaluja suojataan, skaalataan, valvotaan ja hallitaan, mukaan lukien token-rajat, kuormantasaus ja lokitus.
Näin Standard Compute hoitaa sen
Yksi rajapinta antaa käyttöönne sekä kärkimallit että avoimet mallit, ja jokainen vaihe menee edullisimmalle mallille, joka siitä suoriutuu, ja edullisimmalle palveluntarjoajalle, joka on riittävän nopea palvelemaan sen.
Asettakaa Eurooppa-rajaus yritykselle, tiimille tai yksittäiselle avaimelle, niin jokaista pyyntöä, myös uusintayrityksiä ja varareittejä, palvelevat vain hyväksytyt eurooppalaiset inferenssipäätepisteet. Jos mikään eurooppalainen päätepiste ei voi palvella pyyntöä, se hylätään ennen kuin kehotettanne lähetetään.
Yritysten usein kysymät kysymykset
- Mitä eroa on AI-gatewaylla ja API-gatewaylla?
- API-gateway reitittää ja suojaa mitä tahansa HTTP-rajapintaa. AI-gateway lisää kontrollit, joilla on merkitystä vain mallikutsuissa: tokeneihin perustuvat nopeusrajoitukset ja kiintiöt, reitityksen mallien ja palveluntarjoajien välillä sekä pyyntökohtaiset lokit mallista, tokeneista ja kustannuksesta. Microsoft rakensi Azure API Managementin AI gatewayn olemassa olevan API-gatewaynsa laajennukseksi, ei erilliseksi tuotteeksi.
- Näkeekö AI-gateway kehotteemme, ja tarvitaanko sen kanssa tietojenkäsittelysopimus?
- Kyllä, jokainen pyyntö kulkee sen kautta, joten gateway käsittelee kehotteiden sisällön matkalla mallille. Jos kehotteissa on henkilötietoja, gateway toimii yleensä tietosuoja-asetuksen tarkoittamana henkilötietojen käsittelijänä. Arvioikaa se kuten muutkin tietojanne käsittelevät toimittajat: missä se toimii, tallentaako tai lokittaako se kehotteita ja kattaako tietojenkäsittelysopimus (DPA) sen.
- Miten AI-gateway hinnoitellaan?
- Hinnoittelumallit vaihtelevat. Osa gatewayista lisää maksun palveluntarjoajien token-hintojen päälle, osa veloittaa pyynnöittäin tai käyttäjäkohtaisesti, ja osa myy paketin, johon mallien käyttö sisältyy. Vertailkaa kokonaiskustannusta todellisella liikenteellänne mallien tokenit mukaan lukien, älkää pelkkää gateway-maksua.