MLPerf Client 1.0 AI-ბენჩმარკი გამოვიდა — ახალი ინსტრუმენტი GUI-ს, მეტ მოდელსა და აპარატურულ აჩქარებას მოიცავს

სასარგებლო ახალი ინსტრუმენტი კლიენტის AI-წარმადობის უაღრესად ცვალებად სამყაროში ნავიგაციისთვის.

AI-რევოლუცია უკვე აქ არის, მაგრამ გამოთვლების წარსული ცვლილებებისგან განსხვავებით, ჩვენ AI-მოდელების ყველაზე მოწინავე ვერსიებთან, ძირითადად, ღრუბელში ვურთიერთობთ. ისეთი წამყვანი სერვისები, როგორიცაა ChatGPT, Claude და Gemini, ღრუბელზე დაფუძნებული რჩება. თუმცა, კონფიდენციალურობის, კვლევისა და კონტროლის მიზეზების გამო, ლოკალურად გაშვებული AI-მოდელები კვლავ ინტერესს იწვევს და მნიშვნელოვანია, შეგვეძლოს, საიმედოდ და ნეიტრალურად გავზომოთ კლიენტ-სისტემების AI-წარმადობა.

ამ სწრაფად ცვალებად გარემოში ნავიგაციის დასახმარებლად, MLCommons-ის კონსორციუმი და მისი MLPerf Client-ის სამუშაო ჯგუფი ინარჩუნებენ კლიენტის ბენჩმარკს, რომელიც მსხვილ აპარატურულ და პროგრამულ უზრუნველყოფის მწარმოებლებთან თანამშრომლობით მუშავდება.

MLPerf Client 1.0 ახლახან გამოვიდა წინა, 0.6 ვერსიასთან შედარებით, დიდი გაუმჯობესებებით. ეს ახალი ინსტრუმენტი მოიცავს მეტ AI-მოდელს, აქვს აპარატურული აჩქარების მხარდაჭერა მეტი მწარმოებლის მეტ მოწყობილობაზე და ტესტავს დიდი ენობრივი მოდელების მომხმარებელთან ურთიერთქმედების უფრო ფართო სპექტრს. მას ასევე აქვს მომხმარებლისთვის მეგობრული გრაფიკული ინტერფეისი, რომელმაც ამ ტესტის მიმზიდველობა უფრო ფართო აუდიტორიისთვის უნდა გაზარდოს.

რა არის ახალი?

MLPerf Client 1.0-ს ახლა შეუძლია, წარმადობა შეამოწმოს Meta-ს Llama 2 7B Chat-ითა და Llama 3.1 8B Instruct-ით, ასევე Microsoft-ის Phi 3.5 Mini Instruct-ით. ის ასევე გთავაზობთ ექსპერიმენტულ Phi 4 Reasoning 14B მოდელის მხარდაჭერას.

MLPerf Client 1.0 ასევე იკვლევს წარმადობას პრომპტების უფრო ფართო სპექტრზე. ის ახლა ამოწმებს წარმადობას კოდის ანალიზში, რასაც დეველოპერები დღეს ხშირად ითხოვენ. მას ასევე შეუძლია, გაზომოს კონტენტის შეჯამების წარმადობა 4000 ან 8000 ტოკენის დიდი კონტექსტური ფანჯრებით, როგორც ექსპერიმენტული ფუნქცია.

კლიენტის AI-ს აპარატურული და პროგრამული სტეკები ცვალებადია და ლოკალურად AI-სამუშაოების აჩქარების სხვადასხვა გზა, გულწრფელად რომ ვთქვათ, თავბრუდამხვევია. MLPerf Client 1.0 ფარავს ამ აჩქარების მეტ გზას მეტ აპარატურაზე, ვიდრე აქამდე, განსაკუთრებით Qualcomm-ისა და Apple-ის მოწყობილობებისთვის. აი, მხარდაჭერილი გზების სია:

• AMD NPU-სა და GPU-ს ჰიბრიდული მხარდაჭერა ONNX Runtime GenAI-სა და Ryzen AI SDK-ს მეშვეობით

• AMD-ს, Intel-ისა და NVIDIA-ს GPU-მხარდაჭერა ONNX Runtime GenAI-DirectML-ის მეშვეობით

• Intel-ის NPU-სა და GPU-ს მხარდაჭერა OpenVINO-ს მეშვეობით

• Qualcomm Technologies-ის NPU-სა და CPU-ს ჰიბრიდული მხარდაჭერა Qualcomm Genie-სა და QAIRT SDK-ს მეშვეობით

• Apple Mac-ის GPU-მხარდაჭერა MLX-ის მეშვეობით

დაბოლოს, MLPerf Client 1.0-ს ახლა აქვს ხელმისაწვდომი გრაფიკული მომხმარებლის ინტერფეისი, რომელიც მომხმარებლებს საშუალებას აძლევს, გაიგონ ბენჩმარკების სრული სპექტრი, რომელთა გაშვებაც თავიანთ აპარატურაზე შეუძლიათ და მარტივად აირჩიონ მათ შორის.

MLPerf Client-ის წარსული ვერსიები მხოლოდ ბრძანების ხაზის ინსტრუმენტები იყო, ამიტომ ეს ახალი მომხმარებლის ინტერფეისი ბენჩმარკის მიმზიდველობას გაზრდის როგორც ჩვეულებრივი მომხმარებლებისთვის, ისე პროფესიონალი აპარატურის ტესტერებისთვის.

MLPerf Client 1.0 ახლა ხელმისაწვდომია, როგორც უფასო ჩამოტვირთვა ყველასთვის GitHub-იდან.

ITNEWS-ის მეგობარი ვებ-გვერდია ITJOBS.GE. ITJOBS.GE-ზე ორგანიზაციებს და ფიზიკურ პირებს, აქვთ საშუალება განათავსონ როგორც ვაკანსები, ტრენინგები და ივენთები ასევე კონკრეტული Tech დავალებები, რისთვისაც ეძებენ დეველოპერებს, დიზაინერებს, სეო სპეციალისტებს და ა.შ. ITJOBS.GE - იპოვე დასაქმების საუკეთესო შესაძლებლობები ან გამოაქვეყნე ვაკანსია / დავალება და მიაწვდინე ხმა სასურველ აუდიტორიას.