پوشه Robots . txt و دستگاه لیزر هر چیزی که نیاز است درخصوص آن بدانیم

همانطور که می دانید دستگاه لیزر پوشه Robots . txt به خزندگان ( یا این که به عبارتی کراولرهای ) موتورهای جستجو و سایر کراولرها می‌گوید کدام صفحه از تارنما برای نسخه برداری کردن باز است و کدام ورقه را نمی‌توانند بازنگری کنند . این فولدر امروزه به وسیله اضافه وبسایت ها مسئله سود قرار میگیرد و بیشتر کراولرهای اینترنت به آن احترام دستگاه لیزر میگذارند . این پروتکل اکثر وقت ها بر روی وبسایت هایی به کار گیری میگردد که در حال توسعه هستند یا این که بر روی صفحاتی مورد استفاده قرار میگیرد که دوست ندارند دراختیار عموم باشند . در روند بهینه سازی وب سایت برای موتورهای کاوش یا همان دستگاه لیزر , پوشه Robots . txt دستگاه لیزر نقش مهمی در باصرفه سازی خزش و ایندکس موتورهای جستجو بازی می نماید .
تاریخچه فایل Robots . txt

پروتکل Robots . txt اصولا به وسیله یکی پیشگامان فضای وب و تولید کننده Allweb یعنی Martijn Koster سفارش شد . وی در اوایل سال ایران روتک دستگاه لیزر این توصیه را اعطا کرد که در‌این عصر برای کمپانی Nexor فعالیت می‌کرد . تالیف کننده انگلیسی به نام Charlie Stross ادعا می نماید این سفارش را وقتی که وی خزنده بدخواهی را ایجاد کرد که منجر پیدایش مشکلاتی بر روی سرورها شد به Koster داد . به لطف سادگی و موثر بودن این پروتکل , بیش تر وب سایت ها و موتورهای جستجوی اولیه هم خویش را با این فایل سازگار کردند . تا به امروز , موتورهای جستجویی همچون گوگل , بینگ , یاهو و بقیه موتورهای کاوش بدین پروتکل احترام میگذارند و خود را از صفحاتی که به وسیله استفاده کننده محدود شده‌است بدور نگه می‌دارند .

برای فرآیند سئوی تارنما نیز پوشه robots . txt به بخش یکپارچه پروسه باصرفه سازی تبدیل شده است . زیرا جامعه آگاهی بیشتری درباره‌ی مفاهیمی همچون جریان تساوی پیوند و دارایی خزش به دست آورده اند . امروزه سئوکاران کارشناس و با تجربه بر روی این پروتکل توکل می نمایند تا بتوانند ربات ها را از خرش صفحات پویا , صفحه ها مختص ادمین , صفحات پرداخت و بقیه ورقه ها شبیه باز دارا‌هستند . با اینحال همگی خزندگان از این استاندارد پیروی نمی‌کنند . ربات های اسپم , نسخه برداری کنندگان محتوا , قابل انعطاف افزاری های هک و بدخواه تمامی دستورالعمل های دستگاه لیزر مو جود درین فایل را نادیده می گیرند .

در بعضی از موارد , خزندگان بدخواه چه بسا خزش این صفحه ها را در حق تقدم کاری خویش قرار میدهند . تارنما های دستگاه لیزر آرشیوی همچون Archive Team و Internet Archive چنین استانداردهایی دستگاه لیزر را نادیده میگیرند و آن را به عنوان یک پروتکل منسوخ میشناسند که بیشتر برای موتورهای جستجو ایجاد شده است . مجموعه های آرشیوی معمولا داعیه می کنند اطلاعاتی را ذخیره می سازند که تکامل اینترنت و سایر بنیانگذاران دستگاه لیزر را صفحه نمایش می نماید .