Meta Platforms ყოველწლიურ Meta Connect ღონისძიებაზე კალიფორნიაში წარმოდგენილი რამდენიმე ახალი AI ფუნქცია მისი პოპულარული აპებისთვის Facebook, Instagram და WhatsApp, მაგრამ ტექნიკური გიგანტის ყველაზე შთამბეჭდავი ინოვაცია შეიძლება ბევრისთვის შეუმჩნეველი დარჩეს. საუბარია Llama 2 Long AI მოდელზე.
Meta-ს მკვლევართა ჯგუფმა რატომღაც ჩუმად გამოაქვეყნა სტატია, რომელშიც წარმოადგინეს ხელოვნური ინტელექტის ახალი მოდელი, Llama 2 Long, რომელსაც შეუძლია შექმნას თანმიმდევრული და შესაბამისი პასუხები მომხმარებლის ხანგრძლივ შეკითხვებზე. მათი თქმით, უმეტეს შემთხვევაში, ის აღემატება ინდუსტრიის ზოგიერთ საუკეთესო კონკურენტს.
Llama 2 Long არის გაფართოება ლამა 2, ღია კოდის AI მოდელი Meta, რომელიც გამოვიდა ზაფხულში, რომელსაც შეუძლია ისწავლოს მონაცემთა სხვადასხვა წყაროდან და შეასრულოს სხვადასხვა დავალება, როგორიცაა კოდირება, მათემატიკა, ენის გაგება და სხვა. თუმცა, Llama 2 Long ივარჯიშა უფრო მეტ მონაცემზე, რომელიც შეიცავს უფრო გრძელ ტექსტებს და ეს ალგორითმი შეიცვალა ინფორმაციის უფრო გრძელი თანმიმდევრობის დასამუშავებლად. ეს საშუალებას აძლევს მას გაუსწრო OpenAI-ის GPT-3.5 Turbo-სა და Claude 2-ს, რომლებსაც აქვთ შეზღუდვები იმ კონტექსტის რაოდენობაზე, რომელიც მათ შეუძლიათ გამოიყენონ პასუხების გენერირებისთვის.
მკვლევარები Meta გამოიყენა Llama 2-ის სხვადასხვა ვერსიები - 7 მილიარდიდან 70 მილიარდ პარამეტრამდე, ანუ მნიშვნელობები, რომლებიც AI მოდელს შეუძლია შეცვალოს მონაცემების შესწავლით. მათ დაამატეს მონაცემების კიდევ 400 მილიარდი ნიშანი (ტექსტის ერთეული), რომელიც შეიცავდა უფრო დიდ ტექსტებს, ვიდრე ორიგინალური მოდელის მონაცემთა ნაკრები. მათ ასევე ოდნავ შეცვალეს AI მოდელის არქიტექტურა Rotary Position Embedding (RoPE) ტექნიკის გამოყენებით, რათა მოდელმა შეძლოს ზუსტი და სასარგებლო პასუხების გენერირება ნაკლები ინფორმაციისა და მეხსიერების გამოყენებით, ვიდრე სხვა მეთოდებს.
გუნდმა გამოიყენა განმამტკიცებელი სწავლა ადამიანის გამოხმაურებიდან (RLHF), მეთოდი, სადაც AI მოდელი დაჯილდოვდება სწორი პასუხებისთვის და შესწორებულია ადამიანების შემფასებლების მიერ, ხოლო სინთეტიკური მონაცემები იქმნება თავად Llama 2 ჩატის მიერ. მისი შესრულების გასაუმჯობესებლად სხვადასხვა ამოცანებში. .
ნაშრომი ირწმუნება, რომ მოდელს შეუძლია შექმნას მაღალი ხარისხის პასუხები მომხმარებლის მოთხოვნებზე 200 სიმბოლომდე, რაც დაახლოებით 40 გვერდის ტექსტის ექვივალენტია. მკვლევარები ამბობენ, რომ Llama 2 Long არის ნაბიჯი უფრო ზოგადი და მრავალმხრივი ხელოვნური ინტელექტის მოდელების შექმნისკენ, რომლებსაც შეუძლიათ დააკმაყოფილონ მომხმარებლების რთული და მრავალფეროვანი საჭიროებები. ისინი ასევე აღიარებენ ასეთი მოდელების პოტენციურ ეთიკურ და სოციალურ შედეგებს და მოუწოდებენ შემდგომი კვლევისა და დიალოგისკენ, თუ როგორ გამოიყენონ ისინი პასუხისმგებლობით და მომგებიანი.
ასევე წაიკითხეთ: