Perplexity „ფარულ ტაქტიკას“ საიტების სკანირების აკრძალვის გვერდის ავლისთვის იყენებს — Cloudflare

ბრალდებები უახლესია იმ ბრალდებებს შორის, რომლებიც Perplexity-ს ვებ-სკანირების არასათანადო პრაქტიკაში ადანაშაულებს.

AI-საძიებო სისტემა Perplexity ფარულ ბოტებსა და სხვა ტაქტიკებს იყენებს, რათა გვერდი აუაროს ვებსაიტების მიერ დაწესებულ სკანირების აკრძალვის დირექტივებს. თუ ეს სიმართლეა, ეს არღვევს ინტერნეტ-ნორმებს, რომლებიც სამ ათწლეულზე მეტია, არსებობს. ამის შესახებ ქსელის უსაფრთხოებისა და ოპტიმიზაციის სერვისმა, Cloudflare-მა, ორშაბათს განაცხადა.

ბლოგპოსტში, Cloudflare-ის მკვლევრებმა განაცხადეს, რომ კომპანიამ მიიღო საჩივრები მომხმარებლებისგან, რომლებმაc Perplexity-ს სკანირების ბოტები თავიანთი საიტების robots.txt ფაილებში არსებული პარამეტრებითა და ვებ-აპლიკაციების firewall-ებით დაბლოკეს. ამ ნაბიჯების მიუხედავად, Cloudflare-ის თქმით, Perplexity აგრძელებდა საიტების კონტენტზე წვდომას.

მკვლევრებმა თქვეს, რომ მათ თავად გადაწყვიტეს ამის შემოწმება და აღმოაჩინეს, რომ როდესაც ცნობილი Perplexity-ს ბოტები robots.txt ფაილების ან firewall-ის წესებისგან ბლოკს აწყდებოდნენ, Perplexity შემდეგ საიტებს ფარული ბოტის გამოყენებით ეძებდა, რომელიც თავისი აქტივობის შესანიღბად სხვადასხვა ტაქტიკას იყენებდა.

„ეს არადეკლარირებული ბოტი იყენებდა მრავალ IP-ს, რომლებიც Perplexity-ს ოფიციალურ IP-დიაპაზონში არ იყო ჩამოთვლილი და ამ IP-ებს შორის მონაცვლეობდა,“ — წერენ მკვლევრები. „IP-ების მონაცვლეობის გარდა, ჩვენ დავაფიქსირეთ მოთხოვნები, რომლებიც სხვადასხვა ASN-იდან მოდიოდა, ვებსაიტების ბლოკების გვერდის ავლის მცდელობით.“

ქცევის პატერნი

თუ ეს სიმართლეა, ეს ქმედება არღვევს ინტერნეტ-ნორმებს, რომლებიც სამ ათწლეულზე მეტია არსებობს. 1994 წელს, ინჟინერმა მარტინ კოსტერმა შემოგვთავაზა რობოტების გამორიცხვის პროტოკოლი, რომელიც მანქანურად წაკითხვად ფორმატს უზრუნველყოფდა ბოტების ინფორმირებისთვის, რომ მათ მოცემულ საიტზე ყოფნის უფლება არ ჰქონდათ. საიტები, რომლებსაც თავიანთი კონტენტის ინდექსირება სურდათ, უბრალო robots.txt ფაილს აყენებდნენ.

Cloudflare-ი პირველი არ არის, ვინც აცხადებს, რომ Perplexity ამ ნორმას არღვევს. გასულ წელს, Reddit-ის CEO-მ, სტივ ჰაფმანმა, The Verge-ს განუცხადა, რომ Perplexity-ს შეჩერება „ნამდვილი თავის ტკივილი“ იყო.

Perplexity-ს რამდენიმე სხვა გამომცემლისგანაც წაუყენეს ბრალდება, რომ ის მათ კონტენტს იპარავდა. Forbes-მა, მაგალითად, Perplexity „ცინიკურ ქურდობაში“ დაადანაშაულა. Ars Technica-ს დობილმა გამოცემა Wired-მაც მსგავსი პრეტენზიები წამოაყენა. ის მიუთითებდა საეჭვო ტრაფიკის პატერნებზე IP მისამართებიდან, რომლებიც, სავარაუდოდ, Perplexity-სთან იყო დაკავშირებული და robots.txt-ის გამორიცხვებს უგულებელყოფდა.

Cloudflare-ის მკვლევრებმა განაცხადეს, რომ მათი აღმოჩენების საპასუხოდ, კომპანია ზომებს იღებს, რათა ბოტებმა მის კონტენტ-მიწოდების სერვისის გამოყენებით საიტებზე წვდომა ვეღარ შეძლონ.

„Perplexity-ს დაკვირვებული ქცევის საფუძველზე, რომელიც ამ პრეფერენციებთან შეუთავსებელია, ჩვენ ის ვერიფიცირებული ბოტების სიიდან ამოვიღეთ და ჩვენს მართვად წესებს დავამატეთ ევრისტიკა, რომელიც ამ ფარულ სკანირებას ბლოკავს,“ — დაწერეს მათ.

Perplexity-ს წარმომადგენლებმა ელექტრონულ წერილზე, რომელშიც ეკითხებოდნენ, იყო თუ არა ბრალდებები სიმართლე, არ უპასუხეს.

ITNEWS-ის მეგობარი ვებ-გვერდია ITJOBS.GE. ITJOBS.GE-ზე ორგანიზაციებს და ფიზიკურ პირებს, აქვთ საშუალება განათავსონ როგორც ვაკანსები, ტრენინგები და ივენთები ასევე კონკრეტული Tech დავალებები, რისთვისაც ეძებენ დეველოპერებს, დიზაინერებს, სეო სპეციალისტებს და ა.შ. ITJOBS.GE - იპოვე დასაქმების საუკეთესო შესაძლებლობები ან გამოაქვეყნე ვაკანსია / დავალება და მიაწვდინე ხმა სასურველ აუდიტორიას.