Meta пуска Llama 3, AI модел, способен да генерира изображения в реално време в WhatsApp

Днес (18/4) на Meta обяви първите два модела от следващото поколение на Llama, the Мета Лама 3, готов за комплексно използване. Тази нова версия включва предварително обучени и фино настроени езикови модели с параметри 8B e 70B, способен да отговори на широк спектър от нужди. Следвайки традицията да подкрепя общността с отворен код, Meta направи Лама 3 за общността. Това също означава, че Мета AI, изкуственият интелект, присъстващ в социалните мрежи на компанията, също ще бъде подобрен, включително възможността за създаване на изображения в реално време в WhatsApp. Виж повече!

Запознайте се с Лама 3

С Лама 3 компанията възнамерява да разработи отворени модели, които да съперничат на най-добрите модели на патентовани езици, налични в момента, какъвто е случаят с GPT-4. Отзивите на разработчиците са приоритетни за подобряване на цялостната използваемост на Llama 3, според Meta, “поддържане на ангажимент за лидерство в отговорното използване и прилагане на Grand Language Models (LLM)".

Следвайки принципите на отворен код, беше възприет подход за ранно и често пускане, което позволява на общността да има достъп и да допринася за разработването на тези модели в реално време. Представените днес текстови шаблони са само първите в серията Llama 3. Визията за бъдещето включва допълнително разширяване на Llama 3, за да предложи многоезична и мултимодална поддръжка, да увеличи възможностите за контекст и непрекъснато да подобрява производителността във всички ключови аспекти на. LLM, като разсъждение и кодиране.

В съответствие с дизайнерския подход в Лама 3, Meta избра трансформаторна архитектура само декодер, което е избор по подразбиране. Llama 3 използва токенизация с разширен речник от 128 хиляди жетона, което води до по-ефективно езиково кодиране и, следователно, подобрена производителност на модела. За да оптимизира ефективността на изводите на моделите Llama 3, компанията включи техниката за внимание на групирани заявки (GQA) в два различни размера: 8B и 70B. По време на обучението използваните последователности имат дължина от 8.192 токена и се прилага маска, за да се гарантира, че самовниманието остава в границите на документа.

За да обучите най-добрия езиков модел, от съществено значение е да имате голям, висококачествен набор от данни за обучение. В съответствие с нашите принципи на проектиране, ние инвестирахме значително в данни за предварително обучение за Llama 3. Този модел е предварително обучен на повече от 15 трилиона токена, всички от публично достъпни източници. Нашият набор от данни за обучение е седем пъти по-голям от този, използван за Llama 2 и включва четири пъти повече код.

В подготовка за бъдещи случаи на многоезична употреба, повече от 5% от набора от данни за предварително обучение на Llama 3 се състои от висококачествени данни на езици, различни от английски, обхващащ повече от 30 езика. Въпреки това, Meta не очаква да постигне същото ниво на производителност на тези езици като постигнатото на английски.

За да се гарантира, че Llama 3 е обучен с най-висококачествени данни, бяха разработени серия от канали за филтриране на данни. Тези тръбопроводи включват използването на евристични филтри, филтри за неподходящо съдържание, техники за семантична дедупликация и текстови класификатори за оценка на качеството на данните. Предишните версии на Llama са ефективни при висококачествена идентификация на данни, тогава Llama 2 беше използван за генериране на данните за обучение за класификаторите за качество на текста, които захранват Llama 3.

Освен това Meta използва експерименти, за да определи най-добрите начини за обединяване на данни от различни източници в окончателния набор от данни преди обучението. Тези експерименти ни позволиха да изберем комбинация от данни, която гарантира, че Llama 3 работи добре в различни случаи на употреба, включително любопитни въпроси, STEM (наука, технологии, инженерство и математика), кодификация, исторически знания, между другото.

Сравнение с Лама 2

новите модели Лама 3, с параметри 8B и 70B, представляват аванс по отношение на Лама 2, определяйки нов стандарт за LLM модели в тези мащаби. Meta твърди, че благодарение на подобренията както в предварителното обучение, така и в след обучението, предварително обучените и фино настроените модели в момента са безспорни лидери в скалата на параметрите 8B и 70B.

Оптимизациите в процедурите след обучение доведоха до a намаляване на процента на грешно отхвърляне, в допълнение към подобряването на подравняването и увеличаването на разнообразието в отговорите на модела. Бяха наблюдавани и значителни подобрения в функции като разсъждения, генериране на код и бъдещи насоки, което прави Llama 3 още по-адаптивна и целенасочена.

По време на разработката на Llama 3 беше направен анализ на производителността на модела, както в стандартни бенчмаркове, така и в сценарии от реалния свят. За да се осигури ефективна оптимизация за практически приложения, беше създаден нов висококачествен пакет за човешка оценка. Този набор се състои от 1.800 подкани, обхващащи 12 основни случая на употреба, включително искане на съвет, мозъчна атака, сортиране, отговаряне на въпроси от затворен край, кодиране, творческо писане, извличане, имитиране на герои/персони, отговаряне на въпроси с отворен край, разсъждение, пренаписване e обобщение.

За да избегнете пренатоварване (или свръхоборудване, най-често използваният термин) случайни модели към този набор за оценка, дори собствените екипи за моделиране на Meta нямат достъп до него. Представената графика показва обобщените резултати от човешки оценки в тези категории и подкани, сравнявайки производителността на Llama 3 с моделите Claude сонет, Mistral Medium e GPT-3.5.

Как Llama 3 подобрява Meta AI

Поради напредъка, постигнат с Meta Llama 3, компанията обявява международното разширяване на Meta AI — припомняйки си, че ресурсът беше ексклузивен за Съединените щати. Предлагайки се като силен конкурент на съществуващите модели, Meta AI вече е достъпен за повече хора по света, позволявайки на потребителите на Facebook, Instagram, WhatsApp e пратеник насладете се на тази безплатна технология за извършване на различни действия, създаване на съдържание и достъп до информация в реално време.

Meta AI първоначално беше разкрит по време на Connect миналата година, а сега потребителите в страни харесват Австралия, Канада, Гана, Ямайка, Малави, Нова Зеландия, Нигерия, Пакистан, Сингапур, Южна Африка, Уганда, Замбия e Зимбабве можете също да се насладите на предимствата му. Като част от разширяването на Meta AI, хората вече ще имат достъп до него meta.ai, в уеб версията.

Планирате ли да излезете вечер с приятели? Помолете Meta AI да препоръча ресторант с невероятна гледка и дори вегански варианти. Организирате ли пътуване за уикенда? Помолете Meta AI да намери предавания за събота вечер. Подготвяте ли се за тест? Помолете Meta AI да обясни как работят наследствените черти. Местите ли се в първия си апартамент? Помолете Meta AI да си „представи“ естетиката, която искате, и асистентът ще генерира няколко вдъхновяващи снимки за вашите мебели. 

Мета обяснява малко как AI може да ви помогне

O Мета AI също така ще бъде достъпен директно във функцията за търсене на Facebook, Instagram, WhatsApp и Messenger. Това означава, че можете достъп до информация от интернет в реално време без да се налага да превключвате между приложения. Например, представете си, че планирате пътуване с приятели в групов чат на Messenger. С търсенето в Messenger можете да помолите Meta AI — захранван от новия Llama 3 — да намери полети от началната ви точка до вашата дестинация и да открие най-бавните уикенди за посещение. И разбира се, всичко това, без да се налага да напускате приложението Messenger.

Хората също ще имат възможност за достъп до Meta AI, докато сърфират във Facebook Feed. Ако намерите публикация, която предизвиква интереса ви, можете да поискате повече информация директно от Meta AI от тази публикация, точно както обикновено търсене в Google, само в рамките на публикация във Facebook.

Meta ускорява процеса на изобразяване, за да позволи на хората да създават изображения в реално време от текст, използвайки функцията Imagine на Meta AI. Внедряването на тази функция започна в бета версия днес, достъпна в WhatsApp и уеб изживяването на Meta AI в Съединените щати. Когато започнат да пишат, хората ще видят моментално появяване на изображение. Това изображение ще се развива с всеки няколко букви, които въвеждате, което ви позволява да гледате как Meta AI оживява вашата идея в реално време.

Според компанията тези генерирани изображения представляват a подобрена острота и качество, предлагайки по-добра възможност за включване на текст в изображения. Освен това ще предостави предложения за подобряване на изображението, което ви позволява да продължите да прецизирате от началната си начална точка. Когато намерите изображение, просто помолете Meta AI да го анимира, адаптира към нов формат или дори да го трансформира в GIF да споделите с приятелите си.

Въпреки че тези актуализации са специфични за Meta AI във Facebook, Instagram, WhatsApp, Messenger и мрежата, важно е да запомните, че Meta AI се предлага и в Съединените щати за смарт очила Ray-Ban Meta, и скоро в Мета куест — Мета устройства за виртуална реалност.

Прозрачност с отворен код и сигурност

Потенциалът на генеративната AI технология може наистина да подобри потребителското изживяване на продуктите на Meta и по-широката екосистема. И все пак, друг момент, който трябва да бъде разгледан, е да се гарантира, че това се прави в a отговорен e сигурен. Поради това компанията предприема мерки за оценка и смекчаване на рисковете на всички етапи от разработването и внедряването на AI. Това включва интегриране на предпазни мерки в процеса на проектиране и пускане на базовия модел на Llama, както и подкрепа на екосистемата на разработчиците за насърчаване на отговорни практики.

Следователно с Llama 3 беше приет систематичен подход, който интегрира предпазни мерки на всички етапи на развитие. Това означава, че е положено специално внимание към процесите на обучение и настройка, в допълнение към предлагането на инструменти, които позволяват на разработчиците да прилагат моделите отговорно.

Този подход не само укрепва усилията в отговорния AI, но също така отразява визията за отворени иновации, като дава възможност на разработчиците безопасно да персонализират своите продукти в полза на своите потребители. Мета също има Ръководство за отговорна употреба, важен източник за разработчиците, предоставящ насоки за изграждане на продукти.

Както обяснихме, когато пуснахме Llama 2, важно е да сте умишлени при проектирането на тези мерки, тъй като има някои, които могат да бъдат приложени ефективно само от доставчика на модела, и други, които работят ефективно само когато са приложени от разработчика като част от техните специфични приложение.

Укрепва компанията

От стартирането на Meta AI миналата година, марката непрекъснато подобрява изживяването в няколко области:

• Отговорите на Meta AI на политически и социални въпроси са усъвършенствани, като са включени специфични насоки за тези теми. Целта е да се предложат различни релевантни гледни точки по дадена тема, като същевременно се зачитат намеренията на потребителя при задаване на конкретни въпроси.
• Включете конкретни инструкции и отговори, за да го направите по-полезен, като използвате модели за възнаграждение, които да ръководят поведението ви.
• Ефективността на Meta AI се оценява в бенчмаркове и чрез тестване с човешки експерти, адресирайки всички проблеми, идентифицирани в текущия процес.
• Предпазни мерки на ниво заявка и отговор, включително филтри и класификатори, за да се гарантира, че взаимодействията са съобразени с указанията и защитени.
• Инструменти за обратна връзка за потребителите, за да споделят своя опит, което ни позволява непрекъснато да подобряваме производителността на Meta AI.

А вие какво мислите за новините? Нямаме търпение да стигнем до Бразилия, нали? Кажете ни какво открихте в нас Коментар!

Вижте също:

Google Фото либера безплатно AI редактиране на изображения за всички потребители.

С информация от: Цел [1], [2] e [3].

Прегледан от Glaucon Vital на 18г.