Koala ახალი ჩატბოტია, რომელიც Meta-ს LLaMa-ს ვებიდან შეგროვებული დიალოგის მონაცემებით გაიწვრთნა. ის ბერკლის უნივერსიტეტში, Berkeley Artificial Intelligence Research-ში აკადემიური კვლევის მიზნით შეიქმნა შიანგ გენგის, არნავ გუდიბანდეს, ჰაო ლიუს და ერიკ უოლესის მიერ. ჩატბოტის კვლევისას მომხმარებლებმა ის შეადარეს ChatGPT-სა და სტენფორდის Alpaca-ს. Koala-ს კვლევის შედეგები აჩვენებს, რომ ჩატბოტს შეუძლია, ეფექტურად უპასუხოს მომხმარებლის სხვადასხვა შეკითხვას, დააგენერიროს პასუხები, რომლებიც ხშირად უკეთესია Alpaca-ს პასუხებზე და თანაბარია ChatGPT-თან შემთხვევების ნახევარზე მეტში.
Koala ახალი ჩატბოტია, რომელიც Meta-ს LLaMa-ს ვებიდან შეგროვებული დიალოგის მონაცემებით გაიწვრთნა. ის ბერკლის უნივერსიტეტში, Berkeley Artificial Intelligence Research-ში აკადემიური კვლევის მიზნით შეიქმნა შიანგ გენგის, არნავ გუდიბანდეს, ჰაო ლიუს და ერიკ უოლესის მიერ. ჩატბოტის კვლევისას მომხმარებლებმა ის შეადარეს ChatGPT-სა და სტენფორდის Alpaca-ს. Koala-ს კვლევის შედეგები აჩვენებს, რომ ჩატბოტს შეუძლია, ეფექტურად უპასუხოს მომხმარებლის სხვადასხვა შეკითხვას, დააგენერიროს პასუხები, რომლებიც ხშირად უკეთესია Alpaca-ს პასუხებზე და თანაბარია ChatGPT-თან შემთხვევების ნახევარზე მეტში.
სისტემის მიმოხილვა
დიდმა ენობრივმა მოდელებმა (LLMs) საშუალება მისცა უფრო მძლავრ ვირტუალურ ასისტენტებს და ჩატბოტებს, ისეთი სისტემებით, როგორიცაა ChatGPT, Bard, Bing Chat და Claude, ეპასუხათ მომხმარებლის კითხვების ფართო სპექტრისთვის, შემოეთავაზებინათ კოდის ნიმუში ან შეექმნათ პოეზია.
ეფექტური ენობრივი მოდელების უმრავლესობა მოითხოვს უზარმაზარ გამოთვლით რესურსებს სწავლებისთვის და ხშირად იყენებს მონაცემთა საკუთრებაში არსებულ კომპლექტს. ეს მიგვითითებს იმაზე, რომ მომავალში მაღალკვალიფიციური LLM-ები დიდწილად გაკონტროლდება მცირე რაოდენობის ორგანიზაციების მიერ და როგორც მომხმარებლები, ასევე მკვლევრები გადაიხდიან თანხას მათთან ინტერაქციისთვის, რათა შეცვალონ და გააუმჯობესონ მოდელები.
ამასთან, ბოლო თვეებში გამოჩნდა მზარდი შესაძლებლობების თავისუფლად ხელმისაწვდომი ან ნაწილობრივ ღია კოდის მოდელები, როგორიცაა LLaMA. ეს სისტემები, როგორც წესი, ჩამოუვარდება დახურულ მოდელებს, თუმცა მათი შესაძლებლობები სწრაფად იხვეწება.
ეს ბადებს მნიშვნელოვან კითხვას: მომავალში უფრო მეტი კონსოლიდაცია დახურული წყაროს რამდენიმე მოდელის გარშემო შეიქმნება, თუ უფრო მეტად გაიზრდება ღია მოდელები მცირე არქიტექტურით, რომლებიც უახლოვდებიან დახურული მოდელების შესაძლებლობებს?
მიუხედავად იმისა, რომ ღია მოდელები ნაკლებად შეესაბამებიან დახურული წყაროს მოდელების მასშტაბებს, შესაძლოა, საგულდაგულოდ შერჩეული სასწავლო მონაცემების გამოყენებამ მათ საშუალება მისცეს, მიუახლოვდნენ დახურული მოდელების შედეგებს.
რეალურად, ისეთი მცდელობები, როგორიცაა სტენფორდის Alpaca, რომელიც ხვეწავს LLaMa-ს OpenAI-ის GPT-ის მოდელის მონაცემებით, იძლევა ვარაუდის საშუალებას, რომ სწორ მონაცემებს შეუძლიათ მნიშვნელოვნად დახვეწონ ღია კოდის მოდელები.
ვარაუდი მსგავსია Koala-ს შემთხვევაშიც. ის მოდელია, რომელიც კარგადაა მორგებული ინტერნეტიდან ამოღებულ თავისუფლად ხელმისაწვდომ ინტერაქციის მონაცემებზე, თუმცა სპეციფიკური აქცენტით, რომელიც მოიცავს ინტერაქციას მაღალი შესაძლებლობების მქონე დახურულ მოდელებთან, როგორიცაა ChatGPT.
იხვეწება LLaMa-ს საბაზისო მოდელიც, რაც ვებიდან და საჯარო მონაცემთა ნაკრებიდან ამოღებული დიალოგის მონაცემებზე დაყრდნობით ხდება, რომელიც მოიცავს მაღალი ხარისხის პასუხებს მომხმარებლის შეკითხვებზე სხვა დიდი ენობრივი მოდელებიდან, ასევე კითხვებზე პასუხების და ადამიანების გამოხმაურებების მონაცემთა ნაკრებებს.
შედეგად მიღებული მოდელი, Koala-13B აჩვენებს კონკურენტუნარიან ეფექტურობას არსებულ მოდელებთან და იძლევა შედეგებს, რომლებიც პასუხობს მომხმარებლების მოთხოვნებს.
შედეგები იძლევა ვარაუდის საშუალებას, რომ მაღალი ხარისხის მონაცემთა ნაკრებიდან სწავლამ შესაძლოა, შეამსუბუქოს ღია მოდელის ნაკლოვანებები და მომავალში დახურული მოდელების შესაბამისიც კი გახადოს.
ჩატბოტის შემქმნელები იმედოვნებენ, რომ მკვლევრები, რომლებიც ჩაერთვებიან მათი სისტემის დემო ვერსიის შემოწმებაში, დაეხმარებიან ფუნქციების ან ხარვეზების აღმოჩენაში, რომლებიც მომავალში მოდელს კიდევ უფრო მეტად დახვეწს.
ასევე, შემქმნელები ხაზს უსვამენ, რომ Koala კვლევის პროტოტიპია და არ უნდა იქნას გამოყენებული კვლევის მიღმა, რადგან აქვს ხარვეზები შინაარსის, უსაფრთხოებისა და სანდოობის თვალსაზრისით.
მონაცემები და წვრთნა
დიალოგის მოდელების შექმნისას მთავარი დაბრკოლება წვრთნა და მონაცემების კურირებაა. ჩატბოტების ცნობილი მოდელები, მათ შორის, ChatGPT, Bard, Bing Chat და Claude, იყენებენ მონაცემთა ნაკრებებს, რომლებიც აგებულია ადამიანის შექმნილი ანოტაციების მნიშვნელოვანი რაოდენობით.
Koala-ს ასაგებად საწვრთნელი ნაკრები ინტერნეტიდან და საჯარო დიალოგის მონაცემების ნაკრებებიდან შეირჩა. ამ მონაცემების ნაწილი მოიცავს დიალოგებს დიდ ენობრივ მოდელებთან, რომლებიც მომხმარებლებმა ონლაინ განათავსეს.
ყურადღება მახვილდება მცირე და მაღალი ხარისხის მონაცემთა ნაკრებების შეგროვებაზე.
წინასწარი შეფასება
კვლევისას ასევე ჩატარდა ექსპერიმენტი, სადაც ერთმანეთს შეადარეს Koala-Distill, რომელიც იყენებს მხოლოდ გაფილტრულ მონაცემებს და Koala-All, რომელსაც წვდომა აბსოლუტურად ყველა მონაცემზე აქვს.
მომხმარებლებმა Koala-ALL და Koala-Distill შეადარეს Alpaca-ს და ChatGPT-ს.
შედეგად აღმოჩნდა, რომ Koala-ALL-ს მხოლოდ მცირედი უარესობა აქვს, ვიდრე Koala-Distill-ს.
მიუხედავად იმისა, რომ განსხვავება მცირე იყო, შედეგი ბადებს ვარაუდს ChatGPT-ის დიალოგების იმდენად მაღალ ხარისხზე, რომ ღია წყაროზე დაფუძნებული მონაცემების გაორმაგებითაც კი არ ხდება ღია წყაროს მოდელების ChatGPT-სთან მიახლოებული დახვეწა.
თუმცა, შედეგმა აჩვენა, რომ ეფექტური ინსტრუქციისა და დამხმარე მოდელების დაზუსტება შესაძლებელია LLM-ის მეშვეობით.
შედეგი ასევე ამყარებს მოსაზრებას, რომ ძლიერი დიალოგის მოდელების შექმნის გასაღები შეიძლება იყოს უფრო მაღალი ხარისხის დიალოგის მონაცემების კურირება, ვიდრე უბრალოდ არსებული მონაცემთა ნაკრების შეცვლა კითხვა-პასუხის სახით.
შეზღუდვები და უსაფრთხოება
სხვა ენობრივი მოდელების მსგავსად, Koala-საც აქვს შეზღუდვები და შეიძლება, საზიანო იყოს არასწორად გამოყენებისას. ჩატბოტს შეუძლია დააგენერიროს არაფაქტობრივი პასუხები დამაჯერებელი ტონით. მსგავსი პასუხები პოტენციურად ხელს შეუწყობს დეზინფორმაციის, სპამის და მსგავსი შინაარსის გავრცელებას.
გარდა ამისა, კოალა იზიარებს ხარვეზებს ჩატბოტების სხვა მოდელებთან. მათ შორის:
მიკერძოება და სტერეოტიპები: Koala-ს მოდელი მემკვიდრეობით მიიღებს მიკერძოებას იმ დიალოგების მონაცემებიდან, რომლებიც მან შეისწავლა, რამაც შესაძლოა გააძლიეროს მავნე სტერეოტიპები, დისკრიმინაცია და მოიტანოს სხვა ზიანი.
საღი აზრის ნაკლებობა: მიუხედავად იმისა, რომ მსხვილ ენობრივ მოდელებს შეუძლიათ შექმნან ტექსტი, რომელიც თანმიმდევრული და გრამატიკულად გამართულია, მათ ხშირად აკლიათ საღი აზრი. ამან, შესაძლოა, შეუსაბამო ან უაზრო პასუხები გამოიწვიოს.
შეზღუდული გაგება: დიდ ენობრივ მოდელებს უჭირთ დიალოგის კონტექსტისა და ნიუანსების აღქმა. მათ ასევე შეიძლება, გაუჭირდეთ სარკაზმის ან ირონიის ამოცნობა, რამაც შესაძლოა, გაუგებრობები გამოიწვიოს.
Koala-ს უსაფრთხოების გასაუმჯობესებლად შეტანილია მოთხოვნები ShareGPT-სა და Anthropic HH-ის მონაცემთა ნაკრებებში.
Koala-ს მომავალი
შემქმნელები იმედოვნებენ, რომ კოალას მოდელი იქნება სასარგებლო პლატფორმა დიდი ენობრივი მოდელების აკადემიური კვლევებისთვის.
პერსპექტიული მიმართულებები შესაძლოა შეიცავდეს:
უსაფრთხოება: Koala მკვლევრებს საშუალებას მისცემს შეისწავლონ ენობრივი მოდელების უსაფრთხოების საკითხები.
მოდელის მიკერძოება: Koala საშუალებას იძლევა უკეთ განისაზღვროს დიდი ენობრივი მოდელების მიკერძოება და შერბილების მეთოდები.
დიდი ენობრივი მოდელების გაგება: Koala საშუალებას იძლევა უკეთ განისაზღვროს დიალოგის ენის მოდელების შიდა სამზარეულო, რაც მათ უფრო ინტერპრეტირებადს გახდის.
Limitless — ახალი AI ინსტრუმენტი თქვენი შეხვედრებისთვის
Limitless, ყოფილი Rewind, ახალი AI ინტრუმენტია, რომელიც თქვენი შეხვედრებისთვის იდეალურია. თუ თქვენ კონკრეტული სატარებელი (wearable) AI მოწყობილობის ბოლოდროინდელი მიმოხილვებით იმედგაცრუებული ხართ, Limitless შეეცდება, ეს განწყობა შეგიცვალოთ.
