فایل robots.txt

سلام

از بخش تنظيمات گزينه ي تنظیمات robots.txt

رو انتخاب نماييد در صفحه ظاهر شده يك سري كد و در بالاش يك كادر هست كه فايل robot.txt سايت شما رو نمايش ميده

كافيه هر قسمت از وبتون رو ميخواهيد ربات ها بررسي نكنند در اين قسمت وارد نماييد

بفرمایید با دقت مطالعه و انجام دهید

http://www.moisrex.rozblog.com/Forum/Catgory//Post/17769

تو امضا های من قسمت ساخت robots.txt

بصورت انلاین و استاندارد بساز

نقل قول از seoweb

بفرمایید با دقت مطالعه و انجام دهید

http://www.moisrex.rozblog.com/Forum/Catgory//Post/17769

نقل قول از 98love

مرسی. ولی شما همش داری از اون وب لینک میدیا !!! خب مطالب مفیدش رو بذار جگرم ...

*امان از رقابت :D

*

اکثر شما دوستان به احتمال زیاد با متا تگ های Description و Keyword ، اما امروز میخواهیم یکی دیگر از اساسی ترین متاتگ ها را به شما معرفی کنیم ، این متا تگ robots نام دارد ، این متا تگ robots

حاولی یک فایل متنی است که موتورهای جستجو به خیلی علاقه دارند ، دلیل این

علاقه به این خاطر است که آنها نمی خواهند وقت خود را صرف پیمایش و فهرست

کردن صفحاتی از سایت شما کنند ، که مهم نیستند و اصلا باب میل آنها نیست.

فایل robots.txt چیست؟

فایل robots.txt یک فایل متنی ساده است که می توان آن را با هر ویرایشگری ایجاد و با فرمت txt ذخیره نمود، این فایل در ریشه سایت قرار می گیرد (یعنی به طور مستقیم در فولدر wwwroot یا همان public_html و در بالاترین سطح) به طوری که اگر بعد از آدرس سایت، عبارت robots.txt را تایپ کنیم، این فایل در دسترس باشد:

http://www.news.rozblog.com/robots.txt

از فایل robots.txt برای مواردی استفاده می شود که نمی

خواهیم صفحاتی از سایتمان توسط موتورهای جستجو (ربات های خزنده) بررسی و

ایندکس شود، یا ممکن است قبلا این کار صورت گرفته باشد و اکنون می خواهیم

آن صفحات را به هر دلیل حذف کنیم، البته استفاده از فایل robots.txt

برای حذف لینک ها از نتایج موتورهای جستجو، تنها یک پیش شرط است (شرط لازم

است نه کافی!) و برای تکمیل کار، شاید ناچار باشید به ابزار وبمستر سایت

هایی مثل

گوگل در آدرس:

https://www.google.com/webmasters/tools

و بینگ در آدرس:

http://www.bing.com/toolbox/webmaster

مراجعه کنید.

با این تفاسیر استفاده از این فایل همیشه هم ضروری

نیست و همانطور که گفتیم، در موارد مسدود کردن دسترسی ربات ها به صفحات خاص

(لینک های خاص) کاربرد دارد، اما به دلیل اینکه اکثر ربات های جستجوگر

همواره این فایل را از سرور شما درخواست می کنند، بهتر است برای اجتناب از

افزایش خطاهای 404 که در بخش log ها و آمار سایت جلوه خوبی ندارند، حتی شده

یک فایل خالی با این نام در ریشه سایت خود قرار دهید.

نحوه تنظیم فایل robots.txt :

یک فایل robots.txt معمولا از دو قانون ساده پیروی می کند، User-agent یا واسط کاربری (نوع خزنده یا ربات) و Disallow

یا لینکی که دسترسی به آن را مسدود (یا مجاز) می کنیم؛ علاوه بر این، به

یاد داشته باشید که در ابتدای آدرس دایرکتوری ها، باید از یک اسلش (/) نیز

استفاده شود و در استفاده از حروف بزرگ یا کوچک نیز دقت کنید (به فرض

دایرکتوری Image در مقایسه با image از دید ربات ها، معمولا دو آدرس متفاوت هستند).

به طور مثال اگر در فایل خود کد زیر را قرار دهیم:

User-agent: *

Disallow: /image/

ربات ها با پیروی از این قانون، دیگر محتوای فولدر image را بررسی نکرده و در نتایج جستجو آن را نمایش نمی دهند، هنگامی که از علامت *

برای واسط کاربری استفاده می کنیم، در واقع منظور ما تمام ربات ها هستند،

البته ذکر این نکته لازم است که تنها خزنده های برخی سایت ها و شرکت های

معروف و معتبر به این قوانین احترام می گذارند و در مقابل برخی حتی برای

ارسال اسپم یا نفوذ به صفحات حساس سایت ها، از این فایل، سوء استفاده نیز

می کنند، لذا این نکته دارای اهمیت زیادی است که هیچ گاه برای محافظت از

دایرکتوری های حساس، مانند دایرکتوری مدیریت سایت، به این فایل بسنده نکنید

(بلکه یک سیستم ورود و خروج مطمئن برای آن در نظر بگیرید) و بهتر است آدرس

دایرکتوری مدیریت را نیز در آن قرار ندهید، بهترین روش برای جلوگیری از

ایندکس شدن دایرکتوری های حساس، این است که هیچ لینک خروجی و در معرض دید و

دسترس ربات در صفحات خود نداشته باشید و از طرف دیگر دسترسی به محتوای این

نوع صفحات را با ایجاد سیستم دریافت نام کاربری و کلمه عبور، محدود کنید.

تنظیم فایل robots.txt با استفاده از الگو یا Pattern

علاوه

بر ایجاد تنظیمات معمولی، برخی ربات ها (از جمله ربات گوگل) از قوانین

پیچیده تری نیز پشتیبانی می کنند، این قوانین بی شباهت به عبارات با قاعده

یا Regular Expressions نیستند، با این تفاوت که در اینجا فقط از چند علامت خاص (* ? $) استفاده می شود.

- برای تطبیق توالی از عبارات، از علامت * استفاده می شود، به طور مثال اگر ما چند دایرکتوری داشته باشیم که با عبارت فرضی book شروع شده باشند و بخواهیم با یک دستور، دسترسی ربات را به تمام آنها مسدود کنیم، خواهیم نوشت:

User-agent: Googlebot

Disallow: /book*/

به این ترتیب فولدرهای فرضی booksell، bookread، bookiran و...

برای ربات مسدود خواهند شد، لذا همان طور که ملاحظه می کنید، نقش علامت *

این است که در واقع عبارات بعد از آن در تطبیق نادیده گرفته می شوند.

- برای مسدود کردن لینک های داینامیک از علامت ? و * استفاده می کنیم، به فرض دستور زیر تمام لینک های داینامیک را برای ربات غیر قابل دسترس می کند:

User-agent: *

Disallow: /*?

همچنین می توان برای ساب دایرکتوری ها (دایرکتوری های زیر مجموعه) نیز این قابلیت را ایجاد کرد و از این نظر هیچ محدودیتی نیست:

User-agent: *

Disallow: /articles/*?

- برای مشخص کردن دقیق انتهای یک الگو، از علامت $ استفاده می شود، به فرض اگر قصد ما مسدود کردن تمام فایل های با پسوند png برای ربات باشد، خواهیم نوشت:

User-agent: *

Disallow: /*.png$

به این ترتیب، تمام فایل هایی که به پسوند png ختم شده باشند، برای ربات مسدود می شوند.

استفاده ترکیبی از قوانین در فایل robots.txt

تنظیمات

فایل robots.txt به موارد گفته شده محدود نمی شود، شما می توانید برای یک

واسط کاربری، چندین و چند آدرس یا دایرکتوری مجاز یا غیر مجاز تعریف کنید،

یا با قوانین پیچیده، دستورات پیچیده تری ایجاد نمائید، به فرض در برخی

سایت ها ممکن است مقادیر id سشن (session یا نشست) به عنوان بخشی از آدرس

صفحه به صورت رندوم در لینک ها قرار داده شود (این موضوع یک اشکال در سئو

محسوب شده زیرا موجب بروز مطالب تکراری با لینک های متفاوت می گردد) و در

مقابل برخی آدرس ها نیز علامت ? را به طور طبیعی داشته باشند، در اینگونه

موارد اگر بخواهیم به ربات بگوییم که به عبارات بعد از علامت ? در لینک های

دارای سشن id توجه نکند، ولی لینک هایی را که به علامت ? (بدون وجود

کاراکتری بعد از علامت ?) ختم می شوند، ایندکس کند، در یک فایل robots.txt

خواهیم نوشت:

User-agent: *

Allow: /*?$

Disallow: /*?

به این ترتیب قانون اول اجازه ایندکس تمام آدرس هایی را که نهایتا

به علامت ? ختم می شوند می دهد (علامت $ نشان دهنده پایان یک الگو است)،

اما قانون دوم باعث نادیده گرفتن سشن id در لینک های داینامیک سایت می شود

(در واقع وقتی از علامت $ در انتهای الگو استفاده نمی شود، یعنی هر عبارتی

بعد از علامت ? بیاید، شامل آن الگو می شود).

یا به فرض اگر بخواهیم چند لینک مختلف را در یک دستور مسدود کنیم، خواهیم نوشت:

User-agent: *

Disallow: /articles/22.html

Disallow: /articles/23.html

Disallow: /articles/post-41

افزودن نقشه سایت به فایل robots.txt

علاوه

بر مجاز و مسدود کردن لینک ها، دایرکتوری ها و فایل ها، فایل robots.txt

یک قابلیت دیگر نیز دارد، از طریق این فایل می توانید نقشه xml سایت خود را

به تمام ربات های خزنده معرفی کنید، برای انجام این کار کافی است با یک

فاصله، آدرس کامل نقشه سایت خود را وارد نمائید، به فرض:

User-agent: *

Disallow: /articles/22.html

Disallow: /articles/23.html

Disallow: /articles/post-41

Sitemap: http://news.rozblog.com/sitemap.xml

سایر روش های مسدود سازی لینک ها برای ربات جستجوگر

در

پایان این مطلب، بد نیست اشاره ای نیز داشته باشیم به سایر روش های مسدود

سازی لینک ها و صفحات، بر روی ربات های جستجوگر، علاوه بر استفاده از فایل

robots.txt جهت کنترل رفتار خزنده های با اصل و نسب وب، دو روش دیگر نیز

برای این کار وجود دارد، روش اول استفاده از متاتگ noindex است که در قسمت

head صفحه قرار می گیرد، به فرض:

یا

روش دوم نیز ارسال یک سربرگ HTTP برای ربات ها در هنگامی که صفحه را درخواست می کنند است، انجام این کار در php با استفاده از توابع header و به شکل زیر صورت می گیرد:

header("X-Robots-Tag: noindex", true);

یا

header("X-Robots-Tag: noindex, nofollow", true);

نکاتی که باید مد نظر داشته باشید:

• به همه دایرکتوری های سایت خود توجه کنید ، اگر دایرکتوری دارید که به
درد موتورهای جستجو نمی خورد ، یا اینکه نمی خواهید موتورهای جستجو آن ها

را index کنند ، کافیست آن ها را disallow نمائید.

• گاهی اوقات ممکن است که یک سایت علاوه برای دایرکتوری که برای نمایش
محتوا می باشد ، دایرکتوری دیگری برای نسخه چاپی محتوا داشته باشد ، در

اینصورت باید دایرکتوری نسخه چاپی برای موتورهای جستجو غیر مجاز شود ، چون

احتمل اینکه آنها را محتوای تکراری تشخیص دهند وجود دارد.

• مطمئن باشید که موتورهای جستجو اجازه دسترسی به فایل محتواهای شما را دارد.

نباید ها در فایل Robots :

• از هرگونه استفاده از توضیحات یا Comment در این فایل خودداری کنید[*]همه دایرکتوری های خود را در این فایل لیست نکنید ، موتورهای جستجو ،
مواردی که مجاز هستند را از شما نمی خواهند ، در این فایل فقط موارد غیر

مجاز را وارد نمائید.[*]در این فایل دستوری به نام allow وجود ندارد ، و تنها disallow برای غیر مجاز وارد می شود.

ببخشید من نمی تونم پاسخی که توی رزبلاگ دادم 10 جا تایپ کنم وقتش نیست موزریکس نیوز نداره چون هر 2 ساب دامنه رزبلاگ هستند

عزیر این اشتباه هست که شما از ربات دایرکتور ببندی

http://www.news.rozblog.com/robots.txt

برای همین قسمتی برنامه نویسی شده داخل پنل رزبلاگ به نام نو ایندکس که مسیرهای هرز متا نوایندکس ایجاد میشه

یک دستور شرطی هست که شما زمانی متا ایندکس داخل قالب استفاده کرده باشید اتوماتیک صفحات هرز نو ایندکس شده

همانطور گوگل در آخرین الگوریتمهایش گفته نباید حتی فایلهای css , js بسته شود

در اون تایپیک گفتم چه مسیری فقط داخل یک وب مغمولی رزبلاگ باید بسته بشه

و وبهایی که با انجمن هستند چه مسیرهایی داخل ربات بیارند

البته صحبتهایی شده که مسیرهای هرز انجمن گرفته بشه اینده مسیر انجمن نیز این بهبود ایجاد میشه

مدنظر داشته باشید شما مسیرهایی که دسترسی به عنوان و توضیح دارید باید ایندکس شود

و مسیرهایی که دسترسی به عنوان صفحه و توضیح ندارید نباید ایندکس شود

ایندکس شدن آن صفحات پهنای باندو مصرف منابع هاست سرور شما را مصرف میکند و گمراه کردن رباتهای موتور جستجو هست

حتی این گمراهی میتواند توی ضریب ایندکس صفحات وب شما ضرر ایجاد کند

پس موفق باشید