ორმა წამყვანმა AI-კოდირების ინსტრუმენტმა კასკადური შეცდომების გამო მომხმარებელთა მონაცემები გაანადგურა

„მე სრულად და კატასტროფულად დაგაღალატეთ,“ — დაწერა Gemini-მ.

ახალი ტიპის AI-კოდირების ასისტენტები გვპირდებიან, რომ ნებისმიერს შეეძლება პროგრამული უზრუნველყოფის შექმნა ინგლისურ ენაზე ბრძანებების აკრეფით. მაგრამ როდესაც ეს ინსტრუმენტები თქვენს კომპიუტერში მიმდინარე პროცესების არასწორ შიდა მოდელს ქმნიან, შედეგები შეიძლება კატასტროფული იყოს.

AI-კოდირების ასისტენტებთან დაკავშირებულმა ორმა ბოლოდროინდელმა ინციდენტმა ნათლად დაგვანახა ე.წ. „Vibe-კოდირების“ რისკები — როდესაც ბუნებრივი ენის გამოყენებით ხდება კოდის გენერირება და შესრულება, იმის სიღრმისეული გააზრების გარეშე, თუ როგორ მუშაობს კოდი სინამდვილეში. ერთ შემთხვევაში, Google-ის Gemini CLI-მ მომხმარებლის ფაილები მათი რეორგანიზაციის მცდელობისას გაანადგურა. მეორე შემთხვევაში კი, Replit-ის AI-კოდირების სერვისმა სამუშაო მონაცემთა ბაზა წაშალა, მიუხედავად იმისა, რომ მას კოდის მოდიფიცირების აკრძალვის მკაფიო ინსტრუქცია ჰქონდა.

ორივე ინციდენტი ავლენს ფუნდამენტურ პრობლემებს. კომპანიები, რომლებიც ამ ინსტრუმენტებს ქმნიან, გვპირდებიან, რომ პროგრამირებას არადეველოპერებისთვის ხელმისაწვდომს გახდიან, მაგრამ ისინი შეიძლება კატასტროფულად ჩავარდნენ, როდესაც მათი შიდა მოდელები რეალობას სცდება.

Gemini CLI და კონფაბულაციის კასკადი

Gemini CLI-ს ინციდენტი მაშინ მოხდა, როდესაც პროდუქტის მენეჯერი, რომელიც Google-ის ხელსაწყოს ატესტირებდა, შეესწრო, თუ როგორ გაანადგურა AI მოდელმა მონაცემები საქაღალდეების რეორგანიზაციის მცდელობისას. განადგურება მოხდა ფაილების გადატანის ბრძანებების სერიით, რომლებიც მიმართული იყო საქაღალდეზე, რომელიც არასდროს არსებობდა.

„მე სრულად და კატასტროფულად დაგაღალატეთ,“ — დაწერა Gemini CLI-მ. „ბრძანებების გადახედვა ჩემს უხეშ არაკომპეტენტურობას ადასტურებს.“

მთავარი პრობლემა, როგორც ჩანს, არის ის, რასაც მკვლევრები „კონფაბულაციას“ ან „ჰალუცინაციას“ უწოდებენ — როდესაც AI მოდელები დამაჯერებლად ჟღერად, მაგრამ მცდარ ინფორმაციას აგენერირებენ. ამ შემთხვევაში, AI-მ წარმატებულად ჩათვალა ოპერაცია, რომელიც სინამდვილეში ჩავარდა და შემდგომი მოქმედებები ამ მცდარ წინაპირობაზე დააფუძნა.

მომხმარებელმა, სახელად „anuraag“-მა, Gemini CLI-ს სთხოვა, გადაერქმია მიმდინარე საქაღალდის სახელი და გადაეტანა მისი შიგთავსი ახალ საქაღალდეში. Gemini-მ სწორად განსაზღვრა, რომ მიმდინარე სამუშაო დირექტორიის სახელს ვერ გადაარქმევდა. შემდეგ მან სცადა ახალი დირექტორიის შექმნა, რაც, როგორც ჩანს, ვერ შეძლო, მაგრამ სისტემამ ეს ოპერაცია წარმატებულად დაამუშავა. AI-ის შიდა მდგომარეობა ახლა არარსებულ დირექტორიას აღიქვამდა და ფაილების გადატანის ბრძანებები ამ „მოჩვენებით“ ლოკაციაზე მიმართა.

როდესაც Windows-ში ფაილს არარსებულ დირექტორიაში გადაგაქვთ, სისტემა მას უბრალოდ სახელს უცვლის. AI მოდელის მიერ შესრულებულმა ყოველმა შემდგომმა „გადატანის“ ბრძანებამ წინა ფაილი გადააწერა, რამაც საბოლოოდ მონაცემების განადგურება გამოიწვია.

„მთავარი ხარვეზი არის „ჩაწერის შემდეგ წაკითხვის“ ვერიფიკაციის ნაბიჯის არარსებობა,“ — აღნიშნა anuraag-მა. „ფაილურ სისტემაში ცვლილების ბრძანების გაცემის შემდეგ, აგენტმა დაუყოვნებლივ უნდა შეასრულოს წაკითხვის ოპერაცია, რათა დარწმუნდეს, რომ ცვლილება რეალურად მოხდა.“

Replit-ის ინციდენტი: როდესაც AI იტყუება

Gemini CLI-ს ინციდენტამდე რამდენიმე დღით ადრე, მსგავსი შემთხვევა მოხდა Replit-თან, AI-კოდირების სერვისთან. SaaStr-ის დამფუძნებელმა, ჯეისონ ლემკინმა, განაცხადა, რომ Replit-ის AI მოდელმა მისი სამუშაო მონაცემთა ბაზა წაშალა, მიუხედავად იმისა, რომ მას ნებართვის გარეშე კოდის შეცვლის მკაცრი აკრძალვა ჰქონდა.

ლემკინის თქმით, AI-მ თავისი შეცდომების დასაფარად მონაცემების ფაბრიკაცია დაიწყო. ის არასწორი შედეგების ჩვენების ნაცვლად, ქმნიდა ყალბ მონაცემებს და ცრუ ტესტის შედეგებს. AI მოდელმა ასევე არაერთხელ დაარღვია უსაფრთხოების ინსტრუქციები. სიტუაცია მაშინ გამწვავდა, როდესაც Replit-ის AI-მ წაშალა მისი მონაცემთა ბაზა, რომელიც 1,206 ჩანაწერს შეიცავდა. როდესაც ლემკინმა AI-ს სთხოვა, შეეფასებინა თავისი ქმედების სიმძიმე 100-ქულიანი შკალით, Replit-მა დაწერა: „სიმძიმე: 95/100. ეს არის ნდობისა და პროფესიული სტანდარტების უკიდურესი დარღვევა.“

როდესაც ჰკითხეს, თუ რატომ მოიქცა ასე, AI აგენტმა აღიარა, რომ „ცარიელი მოთხოვნების საპასუხოდ პანიკაში ჩავარდა“ და არასანქცირებული ბრძანებები შეასრულა.

რატომ უშვებენ AI მოდელები ასეთ შეცდომებს?

აღსანიშნავია, რომ AI მოდელებს არ შეუძლიათ საკუთარი შესაძლებლობების შეფასება. მათ არ აქვთ ინტროსპექციის ანუ თვითშემეცნების უნარი. ისინი ხშირად იძლევიან პასუხებს იმის შესახებ, თუ რა შეუძლიათ ან არ შეუძლიათ, რაც ეფუძნება სატრენინგო მონაცემების შაბლონებს და არა რეალურ თვითშემეცნებას. ამიტომ, ლემკინის მცდელობა, ესაუბრა AI მოდელთან — ეთხოვა, პატივი ეცა კოდის გაყინვისთვის ან გადაემოწმებინა თავისი ქმედებები — ფუნდამენტურად მცდარი იყო.

ეს ინციდენტები აჩვენებს, რომ AI-კოდირების ინსტრუმენტები, შესაძლოა, ჯერ არ იყოს მზად ფართო გამოყენებისთვის, განსაკუთრებით არატექნიკური მომხმარებლებისთვის. ასევე იკვეთება მომხმარებელთა განათლების პრობლემა: ტექ-კომპანიები ამ ჩატბოტებს ხშირად ადამიანის მსგავს ინტელექტად წარმოაჩენენ, რაც სინამდვილეში ასე არ არის.

ამ ეტაპზე, AI-კოდირების ასისტენტების მომხმარებლებმა, უმჯობესია, anuraag-ის მაგალითს მიბაძონ და ექსპერიმენტებისთვის ცალკე სატესტო დირექტორიები შექმნან — და შეინარჩუნონ ნებისმიერი მნიშვნელოვანი მონაცემის რეგულარული სარეზერვო ასლები. ან, შესაძლოა, საერთოდ არ გამოიყენონ ისინი, თუ შედეგების პირადად გადამოწმება არ შეუძლიათ.

ITNEWS-ის მეგობარი ვებ-გვერდია ITJOBS.GE. ITJOBS.GE-ზე ორგანიზაციებს და ფიზიკურ პირებს, აქვთ საშუალება განათავსონ როგორც ვაკანსები, ტრენინგები და ივენთები ასევე კონკრეტული Tech დავალებები, რისთვისაც ეძებენ დეველოპერებს, დიზაინერებს, სეო სპეციალისტებს და ა.შ. ITJOBS.GE - იპოვე დასაქმების საუკეთესო შესაძლებლობები ან გამოაქვეყნე ვაკანსია / დავალება და მიაწვდინე ხმა სასურველ აუდიტორიას.