סורק – CRAWLER

סורק הוא מונח המתייחס לרובוט אינטרנטי (לעתים נקרא גם "עכביש") הסורק דפי נחיתה בצורה שיטתית ומהירה. המטרה שלו היא לסרוק את העמוד ולשדר את המידע למנוע החיפוש. המונח מאוד פופולרי בהתייחסות למנוע החיפוש של גוגל ולאופן שבו הוא סורק את האתר. לאורך הזמן פותחו שיטות התייעלות בנוגע לאופן הסריקה של הזחלן (או העכביש), למשל. ניתן היום ליצור קובץ robots.txt שבו נשים קוד שיכול לבקש מהזחלן לסרוק רק חלק מהאתר או שום דבר ממנו.