Cara Setting Perayapan Robot.txt - Robot.txt merupakan suatu setting perayapan google yang dapat kita modifikasi sesuai impian dan melarang apakah halaman tertentu boleh di index atau tidak oleh Google Crawl.
Berikut ini klarifikasi resmi oleh Support Google mengenai, Memberikan jalan masuk ke perayap kami dalam file robot.txt.
Berikut pola robot.txt :
User-agent: Mediapartners-Google
Disallow: /
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://laptopkomputerinfos.blogspot.comfeeds/posts/default?orderby=UPDATED
Silahkan hapus dua baris pertama yang diberikan garis miring, untuk mengizinkan Google Crawl merayapi laman anda menyerupai yang tertulis disini Support Google Mengelola Situs Web.
Sekian artikel wacana Cara Setting Perayapan Robot.txt, agar bermanfaat.
Sumber http://www.materi-it.com/
Komentar
Posting Komentar