){kind=link}
Изследователи Apple разработиха система с изкуствен интелект, наречена ReALM (Reference Resolution as Language Modeling), която има за цел радикално да подобри начина, по който гласовите асистенти разбират и отговарят на команди.
В научна статия Apple описва нова рамка за това как големите езикови модели решават проблема с референтната резолюция, което включва дешифриране на двусмислени препратки към екранни обекти, както и разбиране на разговорен и фонов контекст. В резултат на това ReALM може да доведе до по-интуитивно и естествено взаимодействие с устройствата.
Разпознаването на препратки е важна част от разбирането на естествения език, позволявайки на потребителите да използват местоимения и други непреки препратки в разговор без объркване. За дигиталните асистенти тази способност исторически е била значително предизвикателство, ограничено от необходимостта да се интерпретират широк набор от вербални сигнали и визуална информация. Системата ReALM от Apple има за цел да реши този проблем, като превърне сложния процес на разпознаване на референции в задача за чисто езиково моделиране. По този начин тя може да разбере препратките към визуалните елементи, показани на екрана, и да интегрира това разбиране в разговорния поток.
ReALM реконструира визуалната структура на екрана, използвайки текстови представяния. Това включва анализиране на екранни обекти и подреждането им, за да се създаде текстов формат, който отразява съдържанието и структурата на екрана. Изследователи Apple установи, че тази стратегия, съчетана със специална настройка на езикови модели за проблеми с разделителната способност на бенчмарка, значително превъзхожда традиционните методи, включително GPT-4 възможностите на OpenAI.
ReALM може да позволи на потребителите да взаимодействат много по-ефективно с дигиталните асистенти въз основа на това, което в момента се показва на екрана, без да са необходими точни, подробни инструкции. Това може да направи гласовите асистенти много по-полезни в различни ситуации, като например да помагат на шофьорите да навигират в информационно-развлекателните системи по време на шофиране или да подпомагат потребители с увреждания чрез предоставяне на по-лесни и по-точни средства за индиректно взаимодействие.
Apple вече е публикувал няколко научни статии в областта на ИИ. Миналия месец компанията представи нов метод за изучаване на големи езикови модели, който безпроблемно интегрира както текстова, така и визуална информация. Очаква се, че Apple ще представи редица AI функции на конференцията WWDC през юни.
Прочетете също: