Технология Pixel 11 смартфонларидаги Gboard ва Live Transcribe хизматларига интеграциялашган.
Илгари сунъий интеллект технологиялари асосан оғзаки нутқни аниқлашга қаратилган эди. Бироқ, бутун дунё бўйлаб тахминан 70 миллион кар ва эшитиш қобилияти заиф одамлар фойдаланадиган 200 дан ортиқ имо-ишора тиллари бундай технологиялар томонидан сезиларли даражада етарлича қўллаб-қувватланмайди.
SL2T ёрдамида фойдаланувчилар имо-ишоралар ёрдамида матнни "ёзиш", Интернетда маълумот қидириш, хабарлар ва ҳужжатлар ёзиш, шунингдек, Gemini сунъий интеллект ёрдамчисига сўровлар юборишлари мумкин. Live Transcribe хизмати суҳбатдошга матн ёзиш ўрнига имо-ишоралар билан жавоб бериш имкониятини беради.
Ҳозирча технология фақат Америка имо-ишора тилини (ASL)қўллаб-қувватлайди ва уни инглиз тилига таржима қилади. Google келажакда тиллар ва қурилмалар рўйхатини аста-секин кенгайтиришни режалаштирмоқда.
Имо-ишора тилларининг ўзига хос грамматикалари мавжуд ва қўл имо-ишораларидан ташқари, юз ифодалари, бош ва тана ҳаракатлари ҳам уларда муҳим рол ўйнайди. Шунинг учун уларнинг автоматик таржимаси индивидуал имо-ишораларни таниб олишдан анча мураккаброқ.
SL2T модели 50 дан ортиқ имо-ишора тилларини қамраб олган 100 минг соатдан ортиқ видео маълумотлар асосида ўргатилган. Иш пайтида тизим видеонинг ўзини эмас, балки инсон танасидаги асосий нуқталарнинг координаталарини таҳлил қилади. Бунинг ёрдамида серверга фақат ҳаракат ҳақидаги маълумотлар юборилади, асл видео эмас.
Модель имо-ишоралар кетма-кетлигини оралиқ имо-ишора белгиларидан, яъни глоссалардан фойдаланмасдан тўғридан-тўғри матнга ўзгартиради. Ишлаб чиқувчиларнинг сўзларига кўра, FLEURS-ASL тестида тизим BLEURT шкаласи бўйича 70 балл тўплаган.
Бироқ, технология ҳали ҳам бир қатор чекловларга эга. Тизим ноёб имо-ишораларни, тез таъсир қилувчи бармоқ алифболарини ва баъзи мураккаб тузилмаларни таниб олишда хатоларга йўл қўйиши мумкин. Қўшимча контекстсиз ҳаракат қачон содир бўлганлигини аниқлаш ҳам қийин.
Лойиҳани ишлаб чиқишда эшитиш қобилиятидан маҳрум одамлар жамоаси вакиллари ҳам иштирок этишди. Лойиҳа ғояси муаллифи Google ходими Сэм Сепа бўлиб, у ҳам эшитиш қобилиятига эга эмас. Жамоа вакиллари маълумотларни тўплаш ва моделни синовдан ўтказишда иштирок этишди, деб хабар берди Kazinform.
