JUHTUMIUURING

AI-jõudluse parandamine: ettevõtte Optimational keeleandmete annoteerimise lahendused ettevõttele Bitext

Meist

Tehisintellekti (AI) kiiresti arenevas maailmas on tõhusate mudelite treenimiseks hädavajalikud kvaliteetselt annoteeritud andmed. Ettevõtetele mõeldud küsimuste ja vastuste süsteemide arendamise liider Bitext otsis usaldusväärset partnerit, kes pakuks AI-mudelite täiustamiseks täpset keeleandmete annoteerimist. Koostöö ettevõttega Optimational parandas märkimisväärselt Bitext AI-lahenduste jõudlust. Lugege juhtumiuuringust, millist mõju see koostöö avaldas.

Väljakutse: keerukad andmete annoteerimise nõuded

Bitext puutus andmete annoteerimise ja märgendamise (DAL) projektides kokku ainulaadsete väljakutsetega:

Mittestandardsed annotatsioonid: projektid nõudsid spetsiifilisi annotatsioone, mis ulatusid kaugemale tavapärastest kategooriatest, nagu nimeüksuste tuvastamine (NER) ja sentimendianalüüs.
Muutuvad spetsifikatsioonid: annotatsioonijuhised muutusid vahetulemuste põhjal sageli, mistõttu pidi annoteerimisprotsess olema paindlik ja kohandatav.

Selliste keerukate ülesannete lahendamiseks ja kvaliteetsete annotatsioonide saamiseks pöördus Bitext ettevõtte Optimational poole.

Lahendus

Optimational pakkus Bitext projektide erivajadustele kohandatud keeleandmete annoteerimise ja märgendamise lahendusi.

Kohandatud annoteerimisteenused: ettevõtte Optimational meeskond tegi täpseid annotatsioone alates kasutajasisendite parafraseerimisest (väga spetsiifiliste ja keerukate keelejuhiste järgi) kuni päringute ja tekstilõikude paaride märgendamiseni selle põhjal, kui hästi ja asjakohaselt tekstilõigud päringutele vastasid.
Paindlikud ja kohandatavad protsessid: meeskond kohanes muutuvate annotatsiooninõuetega ning rakendas vajaduse korral muudatusi ka juba märgendatud andmetele.
Probleemide ennetav tuvastamine: ettevõtte Optimational meeskond oskas võimalikke probleemimustreid varakult märgata. Tänu sellele sai Bitext koos lõppkliendiga annotatsiooninõudeid täpsustada ja parandada lõplike AI-mudelite jõudlust.
Agiilne metoodika: kasutusele võeti agiilne, iteratiivne ja järkjärguline tööviis. See võimaldas teha iga päev väiksemaid tarneid, saada kiiresti tagasisidet ja lahendust pidevalt täiustada. Selle tulemusel paranes tarnete kvaliteet ning vähenesid vead ja viivitused.
Meeskonna skaleeritav laiendamine: projekti jooksul suurendati meeskonda pidevalt, et saavutada soovitud mahud ja säilitada tõhus töövoog. Projekti muutuvate vajadustega kohanemine tagas tähtaegadest kinnipidamise.
Paindlik töö eri ajavööndites: keelemeeskonnad olid valmis töötama ka nädalavahetustel ning meeskond kohandas oma töökorraldust eri ajavööndites (Aasia, USA jne) tegutsevate projektijuhtidega suhtlemiseks.

Protsess samm-sammult

Optimational ja Bitext tegid koostööd kindla protsessi järgi, et tagada
kvaliteetne ja tõhus andmete annoteerimine:

Projekti tutvustus

Bitext andis iga projekti jaoks üksikasjalikud annotatsioonijuhised ja eesmärgid.

Annoteerimine

Optimational meeskond viis annotatsioonid läbi, järgides täpselt kindlaksmääratud juhiseid.

Vaheülevaatused

Korrapärased ülevaatused ja tagasisidesessioonid võimaldasid annoteerimisprotsessi kohandada ja täiustada.

Lõpptarne

Annoteeritud andmed tarniti õigel ajal ning need vastasid ettevõtte Bitext kehtestatud täpsuslävenditele ja kvaliteedistandarditele.

Tulemused

AI-mudelite jõudluse märkimisväärne paranemine

Suurem täpsus: annotatsioonid saavutasid vähemalt 90% täpsuse, kui neid võrreldi koos lõppkliendiga määratletud etalonandmestikega.
Parem jõudlus: annoteeritud andmetega treenitud AI-mudelite jõudlus paranes kuni 15%.
Skaleeritavus ja tõhusus: Optimational suutis hallata suuri ja lühikese tähtajaga projekte, mis võimaldas ettevõttel Bitext oma human-in-the-loop (HITL) protsesse tõhusalt skaleerida.
AI-mudelite inimlikumaks muutmine: ettevõtte Optimational meeskonnal oli oluline roll AI-mudelite inimlikumaks muutmisel. Meeskond tagas, et annoteeritud andmed kajastaksid inimliku arusaama nüansse ja konteksti, muutes suhtluse AI-ga loomulikumaks ja tõhusamaks.

Positiivne mõju tegevusele

„Koostöö ettevõttega Optimational on parandanud meie suutlikkust hallata suuremaid ja lühema tähtajaga projekte, säilitades samal ajal senise kvaliteeditaseme. Nende tagasiside on aidanud meil täiustada ka annoteerimiseelseid protsesse, tänu millele oleme saanud oma HITL-protsesse veelgi laiendada.“

Bitext

Bitext tõi esile ettevõttega Optimational tehtud koostöö mitu eelist:

Kvaliteetne teenus: täpsete ja asjakohaste annotatsioonide järjepidev tarnimine.
Kiire suhtlus: õigeaegne teabevahetus ja kiire reageerimine probleemidele.
Paindlik töökorraldus: võime kohaneda muutuvate töövoogude ja protsessidega.

Jätkuv koostöö ja tulevikuväljavaated

Bitext kavatseb teha ettevõttega Optimational koostööd ka tulevastes AI-mudelite treenimise projektides, kasutades keerukate annotatsioonide jaoks selle keelealaseid teadmisi ja valdkonnaeksperte. Koostöö positiivsed tulemused kinnitavad, et Optimational on väärtuslik partner AI-tehnoloogiate arendamisel.

„Jätkake samas vaimus!“