Phi модел на изкуствен интелект от Microsoft - малък, евтин и не страда от "халюцинации". Това казват за новия езиков модел, на който се предрича голямо бъдеще.
GPT е абсолютно страхотен, но в същото време е ужасно скъп и не може да бъде идеален за всеки. Поради тези и много други причини Microsoft експериментира с много по-малки AI модели. Говори се, че Phi-3-mini дори засрамва работата на инженерите на OpenAI.
Също интересно: Транзистори на бъдещето: Очаква ни нова ера на чипове
ChatGPT не е панацея
ChatGPT е изобретение, което се финансира, курира и подобрява Microsoft. Всъщност не принадлежи Microsoft, и компанията OpenAI, която Microsoft не притежава (тя е водещият, макар и не най-големият инвеститор). Езиковият модел на GPT даде Microsoft огромно предимство пред останалите големи технологични корпорации, които сега бързат да наваксат. Има обаче огромен брой проблеми с GPT, много от които все още не могат да бъдат решени.
На първо място, това е много ресурсоемък езиков модел. Уеб ориентиран Microsoft Copilot или ChatGPT на OpenAI генерират много високи оперативни разходи за Microsoft. Това е функция не само на GPT, но и на всички основни езикови модели. В допълнение, GPT, подобно на своите конкуренти, е склонен към „халюцинации“, тоест може да генерира отговори на запитвания, които съдържат невярна или подвеждаща информация. Колкото повече данни поглъща такъв модел, толкова повече се стреми да генерира подобно съдържание. Следователно халюцинациите и неверните твърдения не са мит, изсмукан от дигитален пръст. Потребителите често отбелязват, че големите езикови модели често правят грешки, дават неточни данни и оперират с несъществуващи факти.
И двата проблема са много сериозни, поради което OpenAI, Microsoft, Meta, Google и други работят върху разработването не само на технологията Large Language Model, но и на Small Language Model, който на практика може да доведе до много по-добри резултати.
Помощникът на дигиталния счетоводител не трябва да знае много за квантовата физика. Тя може да бъде много по-малка и по-малко сложна (и следователно по-евтина) и чрез обучение само върху данните, необходими за нейната цел, теоретично трябва да халюцинира по-малко. Въпреки че това е по-лесно да се каже, отколкото да се направи. Технологията GenAI все още е диво ИТ начинание. И въпреки че работата напредва с безпрецедентни темпове, все още е трудно да се направят практически пробиви по фундаментални въпроси. Но компанията Microsoft наскоро обяви такъв пробив. Говорим за малък езиков модел Microsoft Фи.
Също интересно: Как Тайван, Китай и САЩ се борят за технологично господство: голямата война за чипове
Какво се знае за Microsoft Phi
На първо място, трябва да се отбележи, че експериментът е проведен без участието на компанията OpenAI. Тоест това е разработката на инженерите Microsoft.
Модели Microsoft Phi е серия от малки езикови модели (SLM), които постигат изключителни резултати в различни тестове. Първият модел, Phi-1, имаше 1,3 милиарда параметри и постигна най-добрите резултати при кодиране на Python сред съществуващите SLM.
След това разработчиците се фокусираха върху разбирането на езика и мисленето, създавайки модела Phi-1.5, който също имаше 1,3 милиарда параметри и показа производителност, сравнима с модели с пет пъти повече параметри.
Phi-2 е модел с 2,7 милиарда параметъра, който демонстрира изключителни възможности за разсъждение и разбиране на езика, работейки на нивото на най-добрите базови модели с 13 милиарда параметъра. Phi-2 се отличава от другите модели поради своите иновации в мащабирането на модела и обучението за управление на данни.
Предлага се в каталога на моделите на Azure AI Studio, който улеснява изследванията и разработките в областта на езиковите модели. Phi-2 беше изстрелян през декември 2023 г. Разработчиците уверяват, че работи толкова добре, колкото Mistral или llama 2 от Meta. И Phi-3 работи дори по-добре от предишната версия.
Въпреки това, моделът Phi-3, който току-що беше обявен, е напълно нов по качество. Поне това може да се прецени от изнесената информация Microsoft. Според компанията, според показателите на всички известни бенчмаркове, Phi-3 се представя по-добре от всеки друг модел с подобен размер, включително езиков анализ, работа по програмиране или работа по математика.
Phi-3-mini, най-малката версия на този модел, току-що стана достъпна за всички заинтересовани страни. Тоест наличен е от 23 април. Phi-3-mini има 3,8 милиарда параметри и според измерванията Microsoft, два пъти по-ефективен от всеки друг модел със същия размер. Може да се намери в каталога с AI модели на облачната услуга Microsoft Azure, платформата за модел на машинно обучение Hugging Face и Ollama, рамка за изпълнение на модели на локална машина.
Както той твърди Microsoft, Phi-3-mini не изисква мощни чипове Nvidia. Моделът може да работи на обикновени компютърни чипове. Или се побира дори на телефон, който не е свързан с интернет.
По-малката мощност също означава, че моделите няма да бъдат толкова точни. Phi-3 няма да е подходящ за лекари или данъчни счетоводители, но ще помогне при по-прости задачи. Например за насочване на реклами или обобщаване на рецензии в интернет.
Тъй като по-малките модели изискват по-малко обработка, те ще бъдат по-евтини за използване от частни компании. Тоест в Microsoft ще има повече клиенти, които биха искали да включат AI в работата си, но го смятат за твърде скъпо. Все още обаче не е ясно колко ще струват те.
Все още не е известно кога ще се появят малките и средните модели. Но последният ще бъде по-мощен и по-скъп. Въпреки че вече е известно, че Phi-3-small ще има 7 милиарда параметри, а Phi-3-medium ще има цели 14 милиарда параметри.
Прочетете също:
- Графеновите микрочипове ще направят телефоните по-бързи и по-лесни
- За квантовите компютри с прости думи
Как да използвате Phi-3-mini?
GPT-4 Turbo изисква мощни AI чипове, които все още са много скъпи. Малкият говорен модел Phi-3 може да работи офлайн, без облака, дори с чип на мобилен телефон.
Phi-3 не е продукт за крайни потребители, а технология, която разработчиците ще могат да използват и внедряват в своите приложения – както облачно базирани, тоест отдалечени, така и такива, които работят локално и офлайн. Очаква се да работи безпроблемно с устройства и техните компоненти, като мобилни телефони, автомобили и техните информационно-развлекателни системи или дори IoT сензори. В някои сценарии тази технология може да бъде безценна.
Microsoft дори дава конкретен пример, за да не си напрягаме въображението. Представете си фермер, който инспектира посевите си и вижда признаци на заболяване по листата, стъблата и клоните. Тъй като е далеч от телекомуникационни мачти, той ще трябва само да извади телефона си, да направи снимка на повредата, да я постави в приложение, което използва технологията Phi-3 - и моделът бързо и офлайн ще анализира снимката и ще даде съвет как точно да се борим с това заболяване.
Както той обяснява Microsoft, ключът към успеха на GPT беше да използва огромни количества данни за обучение. При такива големи набори от данни високото качество на данните е изключено. Междувременно при обучението на модела Phi беше използван точно обратният OpenAI подход. Вместо да се тъпче моделът с информация, фокусът беше върху постепенното и задълбочено обучение.
Вместо да използват сурови интернет данни, изследователите Microsoft създаде набора от данни TinyStories, генерирайки милиони миниатюрни "бебешки" истории. Тези истории бяха използвани за обучение на много малки езикови модели. След това изследователите отидоха по-далеч, като създадоха набора от данни CodeTextbook, който използва внимателно подбрани, публично достъпни данни, които бяха филтрирани за образователна стойност и качество на съдържанието. След това тези данни бяха филтрирани няколко пъти и върнати обратно в голям езиков модел (LLM) за по-нататъшен синтез.
Всичко това направи възможно създаването на масив от данни, достатъчен за обучение на по-способен SLM. Освен това при разработването на модела Phi-3 беше използван многостепенен подход за управление и смекчаване на риска, включително оценка, тестване и ръчни настройки. В резултат, както той твърди Microsoft, разработчиците, използващи фамилията модели Phi-3, могат да се възползват от наличния набор от инструменти в Azure AI, за да изградят по-сигурни и надеждни приложения.
Прочетете също: Телепортация от научна гледна точка и нейното бъдеще
Microsoft Ще замени ли Phi моделите от типа ChatGPT?
Въобще не. Малките езикови модели (SLM), дори когато са обучени на висококачествени данни, имат своите ограничения и не са предназначени за дълбоко обучение. Големите езикови модели (LLM) превъзхождат SLM в сложни разсъждения поради техния размер и изчислителна мощност. LLM са и ще продължат да бъдат особено полезни в области като откриването на лекарства, където човек трябва да търси в огромни колекции от научни статии и да анализира сложни модели. От друга страна, SLM може да се използва за по-прости задачи, като обобщаване на основните точки на дълъг текстов документ, създаване на съдържание или захранване на чатботове за обслужване на клиенти.
Microsoft, каза тя, вече използва вътрешно хибридни комплекти модели, където LLM поема водещата роля, насочвайки определени заявки, които изискват по-малко изчислителна мощност към SLM, докато той сам обработва други, по-сложни заявки. Phi е позициониран за изчисления на устройства, без използване на облака. Все още обаче ще има разлика между малките езикови модели и нивото на интелигентност, което може да се получи с големите модели в облака. Тази празнина, благодарение на продължаващото развитие на LLM, е малко вероятно да изчезне скоро.
Phi-3 все още не е потвърден от външни независими страни. Microsoft понякога говори за 25 пъти по-висока ефективност или енергийна ефективност в екстремни случаи в сравнение с конкурентите, което звучи доста страхотно. Въпреки че, от друга страна, не може да се забрави, че тези години отминаха Microsoft малко ни отучи от факта, че е явен лидер в IT иновациите и може би затова не му вярваме много. Базирани на AI програми, които реагират мигновено и работят офлайн, вместо да генерират? Това би било достойна кулминация на настоящата революция. За съжаление има един ключов проблем.
Прочетете също: Всичко за чипа Neuralink Telepathy: какво представлява и как работи
Фи-3 от Microsoft разбира само английски
Phi-3 не погълна петабайтите, хвърлени върху него масово. Внимателното и стриктно обучение на модела включва един малък проблем. Phi-3 е обучен с информация на английски и все още няма представа за друг език. Не само украински, но и немски, испански, френски или китайски. Разбира се, това значително намалява привлекателността му за повечето потребители по света.
Но в Microsoft увери, че работата по неговото развитие и подобряване е в ход. Въпреки че не трябва да се заблуждавате с факта, че украинският пазар е приоритет за всяка от големите корпорации. Следователно ще трябва да чакаме много дълго време за поддръжката на украинския език. Но този факт никога не е спирал ентусиастите и тези, които искат да бъдат в крак с прогреса.
Прочетете също: