Internal Duplicate Pages

If you are using modules that generate a printer friendly version of your pages, like the book module, or if you have your forum activated with sort capabilities, you will want to keep the search engine robots from indexing these to avoid duplicate content.

Most of these issues can be handled through your robots.txt file. Drupal 5 comes preinstalled with a default robots.txt file, which mostly takes care of keeping the spiders out of the appropriate directories. However, it needs some changes and additions.

If you use the Printer Friendly Pages module, you will want to add the following to your robots.txt file.
Disallow: /print/

The Book module has a built in printer friendly option.
Disallow: /book/

For the Forward to Friend module add:
Disallow: /forward/

If you are using the Forum or Views modules add:
Disallow: /*sort=

And for taxonomy vocabularies that allow multiple terms per node, you can choose to disallow which terms you want.
Disallow: /term/

Additionally, there are some potential problems with the default robots.txt file that need correcting.

Special thanks to Drupalzilla's article on Drupal's robots text file who pointed out many of the problems with the default file. Below you can download my variation of his improved robots.txt file. I've added a few extra files and directories to disallow.

NOTE: This should not be considered a security feature. If you find malicious bots ignoring your robots.txt file, you will need to block them directly from the .htaccess file.

Attachment	Size
enhanced-robots-2.txt	1.61 KB

Posted In

Duplicate Content

Thanks for very interesting

Thanks for very interesting article.

essays

timbrookson | Sat, 06/26/2010 - 18:35

I wanted to thank you for

I wanted to thank you for this great read!! I definitely enjoying every little bit of it I have you bookmarked to check out new stuff you post
http://www.logoinn.com

logodesigns1 | Thu, 06/03/2010 - 07:49

Wish I have the luxury of

Wish I have the luxury of time to consider using the benefits these site can offer.....
police supply

atlas | Wed, 06/02/2010 - 11:01

thank u my daer Very

thank u my daer
Very interesting post, I will be checking into this website again

منتديات
قطر
منتديات
qatar
qtr
girls qtryat
qtryat
بنات
قطريات
بنات قطر
بنات قطريات

خريطة قطر
حظك اليوم
طيور الجنة
طيور الجنة
flash games
العاب فلاش
منتدى جامعة قطر
بنات قطر
منتدى سوالف بنات
بنت قطر
غشاء بكارة مفتوح
هل المراة تقذف
هيفاء وهبي
هل تعلم ان اسم الله مكتوب داخل جسمك
خريطة العالم
خلفيات بلاك بيري
ثيمات بلاك بيري
خالد عبد الرحمن
منتديات -العاب بنات
العاب - العاب بنات
بنات قطر - منتديات
منتدى سنت قطر
سوالف بنات
العاب فلاش
hguhf tba
العاب دولز
منتدى سوالف
فيس بوك بالعربي
فيس بوك
العاب بنات
BlackBerry - بلاك بيري
بلاك بيري قطر
قيمزر
ألو فن
الو فن
allofan
اغاني شعبية mp3
العاب
القاب جديده 2010
العاب -
قطريات -
دليل مواقع
دليل مواقع
العاب فلاش
العاب سريعة
العاب بنات 2010
العاب بنات
العاب طبخ
العاب اكشن
االعاب باربي
العاب اطفال
العاب ماريو
العاب ذكاء
بلياردو
العاب سريعه
العاب فلاش
العاب فلاش بنات قطر
العاب
فلاش
العاب بنات
العاب قص شعر
العاب بلياردو
العاب سونيك
العاب قتاليه
العاب كبار X العاب للكبار
العاب طبخ
العاب كرتون
العاب تسلية
العاب حروب
العاب سيارات
العاب طبخ
العاب الدرجات
العاب كرة قدم
العاب ازياء
حظك فى حبك
صورهيفاوهبي
Haifa Wahby
صوررومنسية
صوررمنسيه
صوررومنسيه
صورلمناظرطبيعية
كيوتل
ضعف الانتصاب
ضيدان بن قضعان
ضحك
نكت محششين
حظك اليوم2010
العاب طبخ جديدة
العاب بنات طبخ
العاب بنات
العاب بنات
موضيع اسلاميه
حياة صفات اخلاق
خطب اناشيد صوتيات
مواضيع عامة
نقاش وحوار
اخبار عامة
ترحيب وتعارف
شعر
مزيكا تو دى
مزيكا تو داى
مزيكا
صورحسناوات
مزيكا تو داى شعبى
قصائد
خواطر
قصص رويات
العاب مسابقات
نكت
نكت
صور كركاتير
صورجديده
صور×صور
سوق الدوحة للاوراق المالية
توبيكات جروحي
منتديات فراشة حواء
منتدى عروس
فراشة حواء
عالم حواء للطبخ
منتدى الفراشه
فراشة حواء
Earth Day
صور
صورجديدة
السياحة والسفر
لغات
ترجمه
مترجم جوجل
ترجمة جوجل
مترجم قوقل
شخصيات تاريخية
كرة
كرة قدم
نادي الريان
نادي السد
نادي الغرافة
نادي قطر
نادي العربي
نادي الاهلي المصري
نادي الاهلي
نادي الزمالك المصري
رياضة متنوعة
سيارات ودرجات
الامومة والطفل
ديكو واثاث
عروس قطر
بنات قطر
منتدي عروس قطر
صحة طب بديل
عالم حواءوادم
عالم حواء
حواء
ازياء ميساء مغربي
ازياء 2010
عالم الحياة الزوجية
عالم الرجل
برامج كمبيوتر
برامج نت
انظمة التشغيل ويندوز
تحميل العاب فلاش
العاب كمبيوتر
توبيكات
توبيكات مسنجر
بلوتوث
الاقمار الصناعية
الستالايت
تصميم جرفكس
فوتوشوب
تطوير المواقع
تطوير منتديات
اغاني
اغاني mp3
اغاني
اغاني شعبي
اغانى شعبى
اغاني شعبية
اغانى شعبيه
اغاني حزينة
اغاني افراح
اغاني دجي
طرب توب
مزيكا
طرب
موالي
طرب نت
لحن
اغانى ديجهات
بلياردو2010
اغاني اجنبية
فيديو كليب
صورفنانين
صور مشاهير
اخبار الفن
افلام
افلام عربي
افلام اجنبي
افلام هندية
مسلاسلات عربية
مسلسلات اجنبية
افلام انمي
كرتون
يوتيوب
فيديو يوتيوب
موقع زواج
مواقع زواج
مواقع اسلامية
مواقع اسلامية
مواقع دردشة
دردشة
دردشة
دردشة سعودية
مواقع تحميل
مدونات
مواقع منوعة
مواقع قطرية
منتديات قطريه
مواقع قطرية
الدوري القطري
الدوري المصري
الدوري الاسباني
الدوري الانجليزي
youtube
forex
فوركس
forexmacro
forex factory
جريدة الاهرام
جريدة العرب
جريدة الشرق,جريدة الشرق القطرية
جريدة الراية
جريدة الجزيرة
جريدة الوطن
جريدة الرياض,صحيفة الرياض
جريدة عكاظ ,صحيفة عكاظ
دليل - دليل قطر
دليل - دليل
سوريا
syria
عمان - ليبيا

العاب
سعوديات
بنات السعوديه
منتديات
منتدى سعودى
بنات
السعودية
شات
chat
chat
egypt
games
games
video
up
دليل التليفون
دليل منتديات
دليل مواقع
مصر
منتدي نسائى
منتديات نسائية
نساء مصر
منتديات مصرية
العاب بنات
تحميل صور
العاب
العاب باربي
العاب اكشن
االعاب باربي طبخ
العاب اطفال
العاب سوبر ماريو
العاب بلياردو
العاب مكياج
العاب كرتون
العاب ماريو
العاب سونيك
العاب بنات
العاب باربي
العاب طبخ
العاب تلبيس
العاب فلاش
العاب ميك اب
العاب ازياء
العاب مضحكة
العاب ورق
العاب دراجات
العاب سيارات
العاب ماريو
العاب اطفال
مكياج
رسائل رومانسية
صورلمناظرطبيعية
رسائل عتاب
فساتين زفاف فساتين سهرة فساتين سواريه فساتين افراح فاتورة التليفون
حظك فى حبك
ثقافة زوجية
أعراض انفلونزا الخنازير
الوحم أثناء الحمل
علاج النحافة
نكت
اسلاميات
قرأن كريم
قصص الانبياء
تنمية بشرية
تعليم اللغة الانجليزية
تعارف
طرب
اغاني
افلام
مشاهدة افلام
مسلسلات
مسرحيات
يوتيوب
اخبار الرياضة المصرية
صور سيارات
قصص
افلام كرتون
سبيس تون
ديكور
غرف نوم
علاج النحافة
علاج تساقط الشعر
وصفات لتساقط الشعر
وصفات لتطويل الشعر
توبيكات
رسائل موبايل
طريقة لف الطرح
تسريحات شعر
ميك اب
تعليم الانجليزيه
منتدي انجليزي
مواضيع عامة
اخبار مصر
برامج
برامج نت
صور رومانسيه
صور رومانسيه
صور حلوه
صور x صور
صور اطفال
صور اطفال
صور اطفال
صور الاطفل
صور الاطفال
صور نانسي
صور نانسي عجرم
باسكال مشعلاني
mp3 cutter
برامج مجانية
تحميل برامج
جوجل ايرث
ترجمة جوجل
فحص الجهاز عن طريق النت
فقه السنة
تحميل اغاني mp3
اغاني عربي mp3
الاخبار
كول تون موبينيل
رسائل حب
رسائل رومانسية
رسائل حب رومانسية
اغاني شعبي
رسائل موبايل
نغمات
نغمات موبايل
ثقافة زوجية
عالم حواء
صور حب
صور بنات
مصر
مصريات
صور
دليل مواقع
دليل مواقع
شات
العاب دولز
العاب
العاب
بنات مصر
عسل
دردشة
شات عسل
منتديات عسل
منتدى عسل
دليل المواقع
مركز تحميل
شات

شات منتدي
شات كتابي منتدي عسل
شات صوتي دردشة صوتية
شات كتابي دردشة صوتية
شات خليجي شات صوتي
دردشة كتابية دردشة
صيف كام بنات قطر

ameral3zab | Thu, 05/13/2010 - 04:28

Duplicate content is quite a

Duplicate content is quite a huge problem when it comes to the performance of a site on all major search engines. I'm happy to learn that Drupal is making sure we don't do such mistakes. Many don't know how their site's evolution can stop if they do have identical pages on the same domain.
____________
Lilia Gephardt | VPS hosting UK

liliagephardt | Fri, 05/07/2010 - 12:47

You have come up with a very

You have come up with a very nice list, great information.
I used to have problems with that, cause according to the article I listened to found by mp3 search I added robots.txt not under the root directory( This is one of the common mistake webmaster do. I uploaded the robots.txt file at the wrong place it must reside in the root of the domain and must be named “robots.txt”. A robots.txt file uploaded in subdirectory is not a valid one since blots check for robots.txt file only in the root of the domain name.
Now I know what the matter was and am so relieved:) it's never too late to learn;)

Hareton | Tue, 04/20/2010 - 05:30