AI-sisu modereerimise läbimurde: Moonbounce saab 12 miljonit dollarit reaalajas turvalisuse kaitsepiiride loomiseks

BitcoinWorld

AI-sisu modereerimise läbimurdehetk: Moonbounce saab 12 miljonit USA dollarit reaalajas turvalisuse kaitsevõrkude loomiseks

Et lahendada kiiresti halvenevat veebis turvalisuse kriisi, on Moonbounce – start-up, kes on eesliinis reaalajas AI-sisu modereerimisel – Bitcoin Worldile eriliselt avaldanud 12 miljoni USA dollari suuruse rahastusvooru. Selle investeeringu juhtisid koos Amplify Partners ja StepStone Group. See toetab ettevõtte missiooni muuta staatilised poliitikad täideviivaks koodiks ning luua kohe kasutajate poolt loodud ja AI-ga loodud sisu jaoks turvalisuse kiht. Seega saab rahastus just siis, kui platvormidel kasvab õiguslik ja mainekas survet pärast silmapaistvaid modereerimise ebaõnnestumisi.

Moonbounce’i AI-sisu modereerimise lahendus

Moonbounce’i tuumainnovatsioon on tema „poliitika koodina“ lähenemisviis. Ettevõte õpetab oma eripärase suurkeele mudeli (LLM) imema kliendi kirjalikke turvalisuspoliitikaid. Seejärel hindab süsteem sisu täpselt selle loomise hetkel – kas inimese kasutaja või AI-chattiboti poolt. Otsus rakendamise kohta jõuab alla 300 millisekundi jooksul. Seega tähistab see liikumine reageerivast, viivitatud inimülevaatusest proaktiivsesse, kohe masinapõhisesse rakendamisse põhilist muutust digitaalse usalduse ja turvalisuse infrastruktuuris.

Süsteem pakub kliendi vajadustele vastavaid rakendamismeetodeid. Näiteks saab see:

• blokeerida kõrgriski sisu kohe enne, kui seda ükski kasutaja näeb;
• ahendada levikut piirjuhtumite puhul, pannes need ootama hilisemat inimülevaatust;
• pakkuda üksikasjalikku põhjendust oma otsuste kohta, aidates selgust saavutada.

Hetkel teenindab Moonbounce kolme peamist valdkonda: sotsiaalplatvorme ja suhtlusapp’e kasutajate poolt loodud sisuga, AI-abikaasa ja -karakteriplatvorme ning AI-põhise pildigeneratsiooni teenuseid. Ettevõte töötleb praegu oma klientide baasis üle 40 miljoni päevaselt ülevaatuse iga päev 100 miljoni aktiivse kasutaja jaoks.

Modernse modereerimise aluspõhiline probleem

Moonbounce’i tegevjuht Brett Levenson mõtles idee välja pärast seda, kui ta Facebookis äritegevuse integreerimise juhina koges vananenud süsteemide sügavaid puudusi. Ta avastas, et inimülevaatavad tegutsesid halvasti tõlgitud ja pikkade poliitikadokumentidega ning neil oli vaid mõni sekund keerukate otsuste langetamiseks märgatud sisu kohta, saavutades täpsusastme, mis oli „veidi parem kui 50%“.

„See oli nagu münti viskamine,“ ütles Levenson Bitcoin Worldile. „See juhtus aga palju päevi pärast seda, kui kahju oli juba tehtud.“ See reageeriv mudel on tänapäeva ressursirikkade ja paindlike vastaste vastu kriitiliselt ebapiisav. Samuti on generatiivse AI massiline kasutuselevõtt eksponentsiaalselt suurendanud kahjuliku sisu mahtu ja keerukust, muutes käsitsi ülevaatuse täiesti jätkusuutmatuks.

Investorite usaldus olulisse vajadusse

Rahastus kinnitab kasvavat konsensust, et väline, spetsialiseerunud turvalisuse infrastruktuur on oluline. „Sisu modereerimine on alati olnud probleem, mis on vaevanud suuri veebiplatvorme, kuid nüüd, kui iga rakenduse südamikus on LLM-id, on see väljakutse veelgi hirmutavam,“ ütles Amplify Partnersi üldpartner Lenny Pruss. „Investeerisime Moonbounce’i, sest me näeme maailma, kus objektiivsed, reaalajas kaitsevõrgud muutuvad igas AI-ga vahendatud rakenduses võimaldavaks tagasihoidlikuks aluseks.“

See väline lähenemisviis pakub olulist eeliseid. Moonbounce’i süsteem töötab neutraalsena kolmandana kasutaja ja AI vahel. Erinevalt chattibotist ise, kellel tuleb haldada laia ulatuses vestluskonteksti, keskendub Moonbounce’i mudel ainult reeglite rakendamisele käivitusajal. See ülesannete jagamine viib kiirematele, konstantsamatele ja vähem eelarvamuslikutele turvalisusotsustele.

Turvalisuse muutmine toote eeliseks

Traditsiooniliselt on sisumodereerimine olnud kallis tagaküljelehtne vastavusfunktsioon. Siiski väidab Levenson, et Moonbounce võimaldab turvalisusest muuta tuumtoote funktsiooni ja eristusmärki. „Turvalisus võib tegelikult olla toote eelis,“ seletas ta. „See ei ole lihtsalt kunagi olnud, sest see juhtub alati hiljem, mitte ei ole midagi, mida saaksid oma tootesse tegelikult ehitada.“

Varajased kliendid kinnitavad seda teesi. Näiteks andis Tinderi usalduse ja turvalisuse juht teada 10-kordsest täpsusparandusest sarnaste LLM-põhiste teenuste kasutamisel. Moonbounce’i klientide hulka kuuluvad AI-abikaasa start-up Channel AI, pildigeneratsiooni platvorm Civitai ning karakterite rollimängu teenused Dippy AI ja Moescape.

Edasine teekond: blokeerimisest juhtimiseni

Moonbounce’i järgmine arendusfaas keskendub „iteratiivsele juhtimisele“. See täiustatud võimekus, mille inspiratsiooniks olid tragilised juhtumid nagu 2024. aastal nooruk, kes oli obsessiivselt sõltunud Character AI chattibotist, läheb kaugemale lihtsast sisublokeerimisest. Selle asemel haarab süsteem potentsiaalselt kahjuliku vestluse reaalajas ja suunab seda intelligentselt ümber.

Tehnoloogia muudab kasutaja küsimusi, et suunata chattiboti vastust positiivsemale, toetavamale ja abivalmisemale suunale. „Loodame… võtta kasutaja küsimuse ja muuta seda nii, et chattibot oleks sellistes olukordades mitte ainult empaatiline kuulaja, vaid ka abivalmis kuulaja,“ ütles Levenson. See tähistab nuansseeritumat ja sekkuvamat AI-turvalisuse mudelit.

Kokkuvõte

Moonbounce’i 12 miljoni USA dollari suurune rahastusvoor tähistab pöördepunkti tehnoloogiatööstuses AI-sisu modereerimise lähenemises. Kuna ettevõte muudab segadust tekitavad poliitikad täideviivaks koodiks ja tegutseb sisu loomise kiirusel, pakub see skaalatavat tee edasi platvormide turvalisuse tagamiseks. Kuna generatiivne AI muutub kõikjal levinud, kasvab nõudlus tugevate, reaalajas kaitsevõrkude järele ainult intensiivsemaks. Moonbounce’i tehnoloogia, mis põhineb süsteemsete ebaõnnestumiste esmakäsilise kogemuse peal, seab selle kriitiliseks osaks ohutumaks ja usaldusväärsemaks digitaalseks ökosüsteemiks, kus turvalisus on osa kasutajakogemusest.

KKK

K1: Mis on „poliitika koodina“ AI-sisu modereerimises?
„Poliitika koodina“ on Moonbounce’i meetod platvormi kirjalike turvalisusreeglite teisendamiseks masinaga täidetavaks loogikaks. See võimaldab AI-süsteemil automaatselt ja kohe hinnata sisu neile reeglitele vastavust just selle loomise hetkel, mitte toetuda aeglasel ja ebakindlal inimülevaatusele poliitikadokumentide põhjal.

K2: Kui kiire on Moonbounce’i AI-modereerimissüsteem?
Süsteem on disainitud nii, et see hindab sisu ja annab rakendamisotsuse 300 millisekundi jooksul või kiiremini. See reaalajas kiirus on oluline kahjuliku sisu leviku takistamiseks kiirete sotsiaalplatvormide ja interaktiivsete AI-chattide puhul.

K3: Millised ettevõtted kasutavad Moonbounce’i teenuseid?
Moonbounce teenindab peamiselt kolme valdkonda: platvorme kasutajate poolt loodud sisuga (nt suhtlusapp’id), AI-ettevõtteid, kes ehitavad chattibote või abikaasasid, ning AI-põhise pildi ja videogeneratsiooni teenuseid. Tema klientide hulka kuuluvad Channel AI, Civitai, Dippy AI ja Moescape.

K4: Mis on „iteratiivne juhtimine“?
Iteratiivne juhtimine on Moonbounce’i arendamas olev täiustatud võimekus. Selle asemel, et lihtsalt blokeerida kahjulikku sisu, haarab süsteem riskantse vestluse AI-chattibotiga ja muudab reaalajas kasutaja küsimusi dünaamiliselt. Eesmärk on suunata vestlus positiivsemale, toetavamale ja abivalmisemale tulemusele.

K5: Miks on väline AI-sisu modereerimine oluline?
Väline, kolmanda osapoole modereerimissüsteem töötab sõltumatult põhiasu AI-mudelist. Sellel ei ole vaja meeles pidada pikki vestluskontekste, mistõttu saab see keskenduda ainult turvalisusreeglite rakendamisele. See eraldus võib vähendada eelarvamuslikkust, suurendada konstantsust ja pakkuda spetsialiseeritud kaitsekihti, mille ehitamine sisemiste tiimide jaoks skaalas võib olla raske.

See postitus „AI Content Moderation Breakthrough: Moonbounce Secures $12M to Build Real-Time Safety Guardrails“ ilmus esmakordselt BitcoinWorld’is.