კვლევამ აჩვენა, რომ AI კოდირების ინსტრუმენტებმა გამოცდილი დეველოპერები 19%-ით შეანელა
ახალი რანდომიზებული კონტროლირებადი ცდის თანახმად, AI კოდირების ინსტრუმენტების გამოყენებამ გამოცდილი ღია კოდის დეველოპერების მუშაობა 19%-ით შეანელა. დრო, რომელიც მოთხოვნების მიწოდებასა და შედეგების განხილვაზე დაიხარჯა, კოდირებაზე დაზოგილ დროს აღემატებოდა.
პროგრამისტებმა AI-სთვის მოთხოვნების მიწოდებასა და გენერირებული პასუხების განხილვაზე უფრო მეტი დრო დახარჯეს, ვიდრე კოდირებაზე დაზოგეს.
როდესაც საქმე დიდი ენობრივი მოდელების კონკრეტულ გამოყენებას ეხება, AI კომპანიებს უყვართ იმის ხაზგასმა, თუ როგორ შეუძლიათ პროგრამისტებსა და დეველოპერებს ამ მოდელების გამოყენება კომპიუტერული კოდის შექმნისას პროდუქტიულობისა და საერთო ეფექტიანობის გასაზრდელად. თუმცა, ახალმა რანდომიზებულმა კონტროლირებადმა ცდამ აჩვენა, რომ გამოცდილი ღია კოდის პროგრამისტები კოდირებასთან დაკავშირებულ ამოცანებში ნაკლებად ეფექტურები გახდნენ, როდესაც თანამედროვე AI ინსტრუმენტებს იყენებდნენ.
დროის დაზოგვის მოლოდინი, რომელიც ექსპერტებსა და თავად დეველოპერებს ჰქონდათ, AI ინსტრუმენტების რეალური გამოყენებისას არ გამართლდა.
თავიანთი კვლევისთვის, METR-ის (Model Evaluation and Threat Research) მკვლევრებმა 16 პროგრამული უზრუნველყოფის დეველოპერი შეარჩიეს, თითოეულს კონკრეტულ ღია კოდის რეპოზიტორიებზე მუშაობის მრავალწლიანი გამოცდილება ჰქონდა. კვლევა ამ დეველოპერებს 246 ინდივიდუალური „დავალების“ შესრულებისას აკვირდებოდა, რომლებიც ამ რეპოზიტორიების შენარჩუნებას მოიცავდა, როგორიცაა „ხარვეზების გასწორება, ახალი ფუნქციები და რეფაქტორინგი, რაც ჩვეულებრივ მათი რეგულარული სამუშაოს ნაწილია“. ამ დავალებების ნახევრისთვის დეველოპერები იყენებდნენ AI ინსტრუმენტებს, როგორიცაა Cursor Pro ან Anthropic-ის Claude; დანარჩენებისთვის კი პროგრამისტებს AI-ასისტენტების გამოყენება აკრძალული ჰქონდათ.
კვლევის ჩატარებამდე, დეველოპერები ვარაუდობდნენ, რომ AI ინსტრუმენტები დავალებების შესასრულებლად საჭირო დროს 24%-ით შეამცირებდა. დავალებების დასრულების შემდეგაც კი, დეველოპერებს სჯეროდათ, რომ AI ინსტრუმენტებმა ისინი საშუალოდ 20%-ით დააჩქარა. სინამდვილეში კი, AI-ის დახმარებით შესრულებული დავალებები 19%-ით უფრო ნელა დასრულდა, ვიდრე ის, რაც AI ინსტრუმენტების გარეშე გაკეთდა.
დადებითი და უარყოფითი მხარეები
დეველოპერების ეკრანის ჩანაწერების მონაცემების ანალიზით, METR-ის მკვლევრებმა აღმოაჩინეს, რომ AI ინსტრუმენტებმა შეამცირა საშუალო დრო, რომელსაც დეველოპერები აქტიურ კოდირებაზე, ტესტირებასა/გამართვაზე ან „ინფორმაციის კითხვა/ძიებაზე“ ხარჯავდნენ. მაგრამ ეს დაზოგილი დრო საბოლოოდ გადაფარა „AI-ის შედეგების განხილვაზე, AI სისტემებისთვის მოთხოვნების მიწოდებასა და AI-ის გენერაციების ლოდინში“ დახარჯულმა დრომ.
საერთო ჯამში, კვლევაში მონაწილე დეველოპერებმა AI-ის მიერ გენერირებული კოდის 44%-ზე ნაკლები მიიღეს ცვლილებების გარეშე. დეველოპერების უმრავლესობამ განაცხადა, რომ მათ AI-კომპანიონის მიერ გენერირებულ კოდში ცვლილებების შეტანა დასჭირდათ.
ერთი შეხედვით, METR-ის შედეგები ეწინააღმდეგება სხვა ბენჩმარკებსა და ექსპერიმენტებს, რომლებიც AI ინსტრუმენტების გამოყენებისას კოდირების ეფექტიანობის ზრდას აჩვენებს. მაგრამ ისინი ხშირად პროდუქტიულობას ზომავენ კოდის ხაზების საერთო რაოდენობით ან შესრულებული დისკრეტული დავალებების რაოდენობით, რაც რეალური კოდირების ეფექტიანობის არაზუსტი მაჩვენებელი შეიძლება იყოს.
კვლევის თანახმად, აქტიურ კოდირებაზე დაზოგილი დრო იმ დრომ გადაწონა, რომელიც AI-სთვის მოთხოვნების მიწოდებას, პასუხის ლოდინსა და შედეგების განხილვას დასჭირდა.
METR-ის კვლევაში მონაწილე დეველოპერებმა გამოკითხვებში განაცხადეს, რომ რეპოზიტორიების საერთო სირთულე (რომლებიც საშუალოდ 10 წლისაა და 1 მილიონზე მეტ კოდის ხაზს შეიცავს) ზღუდავდა AI-ის სარგებლიანობას. AI-ს არ შეეძლო კოდის ბაზის შესახებ „მნიშვნელოვანი იმპლიციტური ცოდნის ან კონტექსტის“ გამოყენება, აღნიშნავენ მკვლევრები, მაშინ როცა „რეპოზიტორიების კარგი ცოდნა“ ადამიან დეველოპერებს ამ დავალებებში ეხმარებოდა.
ეს ფაქტორები მკვლევრებს აფიქრებინებს, რომ ამჟამინდელი AI კოდირების ინსტრუმენტები, შესაძლოა, განსაკუთრებით შეუფერებელი იყოს „ძალიან მაღალი ხარისხის სტანდარტების მქონე გარემოებისთვის, ან ბევრი იმპლიციტური მოთხოვნის შემთხვევაში (მაგ., დოკუმენტაციასთან, ტესტირების დაფარვასთან ან ფორმატირებასთან დაკავშირებით), რომელთა შესწავლასაც ადამიანები დიდ დროს უთმობენ“.
თუმცა, მკვლევრები ასევე ოპტიმისტურად არიან განწყობილი, რომ AI ინსტრუმენტების შემდგომი დახვეწა მომავალში პროგრამისტებისთვის ეფექტიანობის ზრდას გამოიწვევს.
მაგრამ ამ დროისთვის, METR-ის კვლევა წარმოადგენს მყარ მტკიცებულებას იმისა, რომ AI-ის ხშირად ნაქები სარგებლიანობა კოდირების დავალებებისთვის, შესაძლოა, მნიშვნელოვნად შეზღუდული იყოს გარკვეულ რთულ, რეალური სამყაროს კოდირების სცენარებში.
ITNEWS-ის მეგობარი ვებ-გვერდია ITJOBS.GE. ITJOBS.GE-ზე ორგანიზაციებს და ფიზიკურ პირებს, აქვთ უფლება განათავსონ როგორც ვაკანსიები, ტრენინგები და ივენთები ასევე კონკრეტული Tech დავალებები, რისთვისაც ეძებენ დეველოპერებს, დიზაინერებს, სეო სპეციალისტებს და ა.შ. ITJOBS.GE - იპოვე დასაქმების საუკეთესო შესაძლებლობები ან გამოაქვეყნე ვაკანსია / დავალება და მიაწვდინე ხმა სასურველ აუდიტორიას.
გაზიარება
როგორია თქვენი რეაქცია?
მოწონება
0
არ მომწონს
0
სიყვარული
0
სასაცილო
0
გაბრაზებული
0
მოწყენილი
0
ვაუ
0
