3 روز پیش مقاله ای تحت عنوان سایت ها و مقالات مخفی اینترنت را چگونه بیابیم؟! برایتان نوشته بودم. امروز میخواهم نحوه پنهان کردن این پوشه ها و فایل ها را از دید موتور های جستجو را برایتان توضیح دهم. اکثر وبمستر ها درون هاست یا سرور خود پوشه هایی را دارند که نمیخواهند موتور های جستجو درون آنها سرکشی کنند و اطلاعات را نمایش دهند. برای انجام این کار شما نیاز به چند خط کد نویسی ساده خواهید داشت.

برای این کار نوت پد ویندوز را باز کنید و این کد را در آن قرار دهید :

User-agent: *
Disallow: /

مفهوم خط اول این است که پوشه ها و فایل ها در هیچ موتور جستجویی ایندکس نشود به بیان دیگر * تمامی موتور های جستجو را در بر میگیرد.

استفاده از خط بعدی بدین معناست که هیچ کدام از فایل ها و پوشه های شما توسط موتور های جستجو گر ایندکس نشود.

حال این متن را در فایلی به نام robots.txt ذخیره کرده و در ریشه مدیریت محتوای خود قرار دهید. ( در کنار فایل index اصلی سایت )

این روش بیشتر به درد کسانی خواهد خود که قصد راه اندازی یه فروم و یا یک سایت زیر زمینی را دارند و دوست دارند سایت آنها از دید موتور های جستجو مخفی باشد.

حال اگر بخواهید فقط تعدادی از پوشه ها را از دید موتور های جستجو مخفی کنید باید کمی تغییر در فایل robots ایجاد کنید. این کد ها را در فایل robot قرار دهید :

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~secret/

توسط این کد شما مشخص میکنید که فقط پوشه های مشخص شده در فایل robots از دید موتور های جستجو مخفی بمانند.

برای مخفی کردن فایل از کد زیر استفاده نمایید:

Disallow: /private_file.html

حتما تا بحال متوجه شده اید که این کار با ترفندی که در گذشته معرفی کردیم تقریبا بی فایده است ! اما نگران نباشید هر چیزی پادزهری هم دارد. برای این که فایل robots.txt‌ را هم از دید موتور های جستجو مخفی کنید این کد را در هدر سایت خود قرار دهید یعنی در فایل header.php :

iranget

با این کار فایل robots نیز از دید موتور های جستجو مخفی میماند البته فقط از دید گوگل ! این روش برای ایجاد عدم دسترسی به یک پوشه به هیچ وجه مناسب نبوده و برای ایجاد عدم دسترسی به یک پوشه از داخل کنترل پنل هاست خود بر روی پوشه ها رمز ورود قرار دهید. لازم به ذکر است اگر از وردپرس یا cms های دیگر استفاده میکنید نیازی به این کار ندارید. تا شما به صفحه و پوشه ای لینک ندهید آن صفحه و پوشه در موتور های جستجوگر ایندکس نخواهند شد.

منبع : iranget.com