קידום אתרים > מונח > קובץ robots.txt
לדעת כל מושג מילון המונחים של לאוס
קובץ robots.txt
קובץ robots.txt – זהו קובץ הנחייה למנועי החיפוש, אשר מודיע להם אילו איזורים באתר יש צורך לאנקס או לסרוק ואילו לא. כאשר הרובוט של גוגל מבצע סריקה באתר, הכיוון הראשון שהרובוט יפנה אליו יהיה קובץ robot.txt, ובמסמך זה רשום לו לאן להיכנס. עם זאת, חשוב לזכור כי לא כל מקום שתמנעו ממנו להיכנס יהיה חסום בפני מנוע החיפוש.