[5] سلسلة جوجل: حذف الروابط الغير مفيدة من جوجل

رشيد بيدوسي · #1 09-28-2007, 03:34 AM

السلام عليكم ورحمة الله وبركاته

====================================
الموضوع الخامس : حذف الروابط الغير مفيدة من جوجل
جميع مواضيع السلسلة : هنا
====================================

في هذا الموضوع سنتحدث عن حذف الروابط التي لا تفيدنا في جوجل.

بداية ادخل الى جوجل وابحث عن روابط موقعك واترك صفحة النتائج مفتوحة لتعود اليها خلال الشرح في هذا الموضوع:

كود:

site:www.example.com

ماذا نقصد بروابط غير مفيدة ؟

نأخذ مدونة الزميل ادهم على سبيل المثال , حتى نفهم اين الخطأ وكيف نقوم بتصليحه علما ان هذه الأخطاء موجودة ب 98% من المدونات العربية دون معرفة اصحابها بذالك لان الكل مشغول بكتابة المواضيع وفي اهمال لموضوع تحسين العلاقة مع محركات البحث.

نأخذ من مدونة ادهم هذا الرابط وهو ارشيف لشهر سبتمبر:
www.adham-sh.com/?m=200702
بعض المواضيع موجودة في هذا الرابط في هذه اللحظة :

اقتباس:

iphone … أصبح لا يقاوم !!!
الحفل الأول لبرنامج منشد الشارقة
دعوة لمشاهدة برنامج بالقرآن نحيا !
إكبس .. قريباً مستقبل زاهر في المواقع العربية
مبارك عليكم الشهر الكريم
سورة السجدة للشيخ مشاري العفاسي
تصميم جديد ( وعدت يارمضان )

نأخذ رابط اخر من مدونة ادهم وهو تصنيف فيديو:
http://www.adham-sh.com/?cat=13
بعض المواضيع موجودة في هذا الرابط في هذه اللحظة :

اقتباس:

iphone … أصبح لا يقاوم !!!
الحفل الأول لبرنامج منشد الشارقة

ناخذ رابط اخر من مدونة ادهم وهو للمواضيع الموجودة بالصفحة الاولى من ارشيف شهر سبتمبر 2007 :
http://www.adham-sh.com/?cat=13&paged=1
بعض المواضيع موجودة في هذا الرابط في هذه اللحظة :

اقتباس:

iphone … أصبح لا يقاوم !!!
الحفل الأول لبرنامج منشد الشارقة 2

ماذا نلاحظ ؟ نلاحظ انه بعض المواضيع موجودة على ثلاث روابط مختلفة ! يعني عندما يدخل جوجل الى هذه الروابط سيشاهد نفس المواضيع.

بالنسبة لجوجل , هذه المواضيع مكتوبة ثلاث مرات وسوف يعتبرها DUPLICATED يعني مواضيع مكررة , وهذا الشيئ بالنسبة لجوجل غير طبيعي , ما الهدف من كتابة الموضوع اكثر من مرة ؟ للغش ؟ لخداع محرك البحث ؟ ... جوجل لا يعرف من هو ادهم ومن هو محمد , هو يأخذ البيانات ويحللها ويعمل وفقها.

في هذه الحالة محتمل تكون النتيجة سلبية لمواضيع تعبنا عليها ولكنها ستفقد اهميتها بسبب التكرار ونجدها لا تتقدم بمحركات البحث وقد نجدها بصندوق رمل جوجل او بما يسمى SUPPLEMENTAL وهي مواضيع موجودة بصفحات متأخرة في جوجل لن يصل لمدونتك زوار عن طريقها , ناهيك عن عواقب البيج رانك.

نحن نسعى لوضع يؤرشف به جوجل فقط روابط المواضيع التي نكتبها , يعني كالتالي :

http://www.adham-sh.com/?p=1
http://www.adham-sh.com/?p=2
http://www.adham-sh.com/?p=3
http://www.adham-sh.com/?p=4
.
.
.
وما الى ذالك.
(طبعا ليس حتما ان تكون الروابط بهذا الشكل , هنالك من يستعمل بمدونته روابط بشكل اخر , المهم هو رابط الموضوع المباشر ولا يهم كيف تركيبته)

في هذه الحالة سيكون عندنا ارشيف نظيف وسنستغل عناكب جوجل لأرشفة المفيد فقط , مما سيضمن لنا أرشفة مباشرة , سريعة , صحيحة , دورية وهادفة.

طيب حلو , فهمنا المشكلة ما الحل ؟! الحل ينقسم الى شطرين:

1. منع جوجل من أرشفة الروابط الغير مفيدة بواسطة ملف Robots.txt

يجب ان نمنع جوجل من أرشفة الروابط والمواضيع الغير مفيدة والتي تتسبب بالتكرار , وان نعطيه امكانية ان يؤرشف روابط المواضيع المباشرة فقط حتى يكون كل التركيز بالأرشفة على المواضيع , الشيئ الذي سنستفيد منه بدون شك.

كيف نمنع جوجل من ارشفة الغير مفيد ؟

بواسطة ملف robots.txt

لا تعقدها يرحم والديك , ما هذا الملف ؟

لا يوجد فيها تعقيد , هو عبارة عن ملف txt نكتبه بالنوتباد ونضعه في ال public_html وجوجل سوف يقوم بتحميله عندما يزور موقعنا وسوف يقرأ ما كتبنا له وعندها سيفهم ماذا نريد. طبعا لن نكتب له "الله يخليك لامك وابوك ضع مواضيعي في المكان الاول" , سنكتب له اوامر بسيطه بلغته وساشرح لكم ببساطة حتى تفهمون الفكرة.

بداية هذا هو مضمون ملف ال robots.txt الموجود في موقعي:

كود:

User-agent: Googlebot
Disallow: /wp-
Disallow: /search
Disallow: /feed
Disallow: /comments/feed
Disallow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /external%20files/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /*feed=
Disallow: /?feed=
Disallow: /comments/
Disallow: /private/
Disallow: /*tag=
Disallow: /*?tag=
Disallow: /*m=
Disallow: /*cat=
Disallow: /*&cp=
Disallow: /*page_id=
Disallow: /*?paged=
Disallow: /*comments_popup=
Disallow: /*paged=
Allow: /*cat=6
Allow: /wp-content/uploads/
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.cgi$

# disallow all files ending with these extensions
Disallow: /*.html$
Disallow: /*.doc$
Disallow: /*.flv$
Disallow: /*.swf$

في بداية الملف نكتب كما هو ظاهر لكم :

كود:

User-agent: Googlebot

وهذه معناها انه المعلومات في ملف ال robots.txt هذا مخصصة لمحرك البحث جوجل فقط.

بعد هذا السطر نجد الاوامر تحت , كل سطر فيه امر معين.

ناخذ امر على سبيل المثال ونحلله :

كود:

Disallow: /*m=

نحلل الامر :

كود:

Disallow:

تعني ممنوع ! والمقصود هو انه نقول لجوجل ممنوع ارشفة ... !

كود:

/*m=

هذا هو العنصر الذي نقول لجوجل انه ممنوع أرشفته
* تعني أي شيئ.

النتيجة هي انه كل رابط يكون بهذا الشكل مثلا لن تتم أرشفته بواسطة جوجل:

كود:

www.adham-sh.com/?m=200701&paged=2

لن تتم أرشفته لأن الرابط يحتوي على العنصر الممنوع (احمر) وال ? تدخل ضمن ال *

نأخذ امر اخر كمثال:

كود:

Disallow: /*cat=

في هذا الامر قلنا له ممنوع أرشفة اي رابط يحتوي على العنصر الذي تشاهدونه في الامر. لكن ماذا لو اردنا ان نستثني بعض الروابط من خلال هذا العنصر ؟

سنكتب له امر اخر كالتالي:

كود:

Allow: /*cat=6

Allow

هذه معناها مسموح وهي بعكس الامر السابق.

حسب هذا الامر نقول له مسموح ان تأرشف الرابط 6 بينما 1 و 2 و 3 لا تؤرشفها !

يعني النتيجة ستكون كذا :

هذه الروابط مثلا لن نجدها بجوجل:

http://www.adham-sh.com/?cat=1
http://www.adham-sh.com/?cat=2
http://www.adham-sh.com/?cat=3
http://www.adham-sh.com/?cat=4
http://www.adham-sh.com/?cat=5
http://www.adham-sh.com/?cat=7
http://www.adham-sh.com/?cat=8
http://www.adham-sh.com/?cat=9

بينما هذا الرابط سنجده في جوجل:

http://www.adham-sh.com/?cat=6

الفكرة واضحة ؟

مثال على امر اخر :

كود:

/wp-includes/

وهذا معناه لا تؤرشف اي شيئ بداخل المجلد wp-includes

في النهاية نشاهد الامر التالي:

كود:

# disallow all files ending with these extensions
Disallow: /*.html$
Disallow: /*.doc$
Disallow: /*.flv$
Disallow: /*.swf$

هذا معناه لا تؤرشف جميع الملفات ذات الامتداد:

html
doc
flv
swf

2. نطلب من جوجل ان يحذف الروابط التي منعناه من أرشفتها

جميع الملفات التي منعنا جوجل من أرشفتها ستحذف بعد فترة معينة تلقائيا , لكن اذا اردنا تسريع الحذف فهنالك اداة حذف روابط موجودة في موقع Google Webmaster Tools الذي تكلمنا عنه بالدرس الثالث من السلسلة.

كيف نصل لصفحة حذف الروابط في Google Webmaster Tools ؟

ندخل الى -

Tools
Remove URLs
+ New Removal Request
Individual URLs: web pages, images, or other files
Next

حتى نصل الى هذه الصفحة التي تشاهدونها بالصورة ونقوم بتعبئة الحقول اللازمة مع وضع تكملة الرابط الغير مفيد وارسال طلب الحذف.

للمعلومية : جوجل لن يحذف الرابط في حال انه لم يكن ممنوع بالنسبة له. يعني يجب ان يكتشف جوجل في البداية ان الرابط ممنوع من خلال ملف robots.txt وبعدها اذا طلبنا منه الحذف سيحذفه. غير ذالك سيعطينا نتيجة Denied.

جميع الروابط الممنوع جوجل من أرشفتها ستظهر لنا في صفحة ال OVERVIEW

من الواجهة نراقب وضع الطلبات والردود عليها هل حذفت ام لا , والرد من جوجل يكون خلال 7 ايام عادة.

حتى تتأكد انه ملف ال ROBOTS سليم وقام جوجل بتحميله ادخل الى:

Tools
Analyze robots.txt

وهنالك لازم ترى جواب 200 Success (نجاح).

طبعا يجب ان نراقب باستمرار ما هي الروابط التي يمتنع جوجل عن أرشفتها حتى ننتبه انه لم يقع خطأ من طرفنا , ويجب ايضا ان نراقب روابط موقعنا في جوجل حتى نرى ما هي الروابط التي لن تفيدها ولكنها مؤرشفة , حتى نقوم بحذفها كما شرحنا في هذا الموضوع.

ان شاء الله انه التطبيق يكون سليم حتى تحصلون على أرشفة نوعيّة !

اي استفسار بهذا الصدد مدعوين لكتابته هنا بدون الخروج عن الموضوع.

تم بفضل الله.

اخوكم رشيد.

==============
فهرس مواضيع سلسلة جوجل للمدونات:
http://www.ar-wp.com/t1973.html#post12379

karem · #2 10-01-2007, 01:02 PM

السلام عليكم ورحمة الله وبركاتهالسلام عليكم ورحمة الله وبركاته

اخى رشيد خبرتى ضعيفة هل ممكن تساعدنى فى الى احجبه انا وضعت مثل الى انت واضعه فى ملف ال robots بس انا طريقة روابطى مختلفة هل يمكنك المساعدة ؟

رشيد بيدوسي · #3 10-02-2007, 07:14 AM

ممكن تطرح رابط مدونتك هنا وتضع رابط لملف ال robots وتكتب تساؤلاتك وسيتم شرح الامور المبهمة.

karem · #4 10-02-2007, 12:39 PM

www.karempo.com
www.karempo.com/robots.txt

هل الموضوع الان صحيح ثانيا ياريت تدلنى لو هناك اى شىء اقر اظبطه لاجعلها محببة لمحركات البحث

شكرا لك

رشيد بيدوسي · #5 10-02-2007, 02:01 PM

اقتباس:

المشاركة الأصلية كتبت بواسطة karem

www.karempo.com
www.karempo.com/robots.txt

هل الموضوع الان صحيح ثانيا ياريت تدلنى لو هناك اى شىء اقر اظبطه لاجعلها محببة لمحركات البحث

شكرا لك

الاعدادات المذكورة بالموضوع هي اعدادات صحيحة وانصح بها.
انصحك بقراءة جميع مواضيع هذه السلسلة وتطبيق كل النصائح حتى تكون مدونتك محببة لمحركات البحث.

بالنسبة لموقعك:

1. تركيبة العناوين غير جيدة , لاحظ الطريقة التي شرحتها بخصوص عناوين المواضيع والوصف. العناوين ستتغير لوحدها. الوصف يجب تغيير بشكل يدوي في كل موضوع من خلال خيارات الاضافة.

2. طريقة الروابط هذه لا انصح بها
www.karempo.com/الجواز/
او انك تعطي كل تدوينة اسم بالانجليزي او انك تختار نمط روابط اخر لا يوجد به عربي.

قم بهذه التغييرات من الان وموقعك لا زال ببدايته (حسب جوجل 50 تدوينة تقريبا) فهذا الشيئ سيساعدك في المستقبل.

karem · #6 10-02-2007, 08:37 PM

اقتباس:

المشاركة الأصلية كتبت بواسطة رشيد

الاعدادات المذكورة بالموضوع هي اعدادات صحيحة وانصح بها.
انصحك بقراءة جميع مواضيع هذه السلسلة وتطبيق كل النصائح حتى تكون مدونتك محببة لمحركات البحث.

بالنسبة لموقعك:

1. تركيبة العناوين غير جيدة , لاحظ الطريقة التي شرحتها بخصوص عناوين المواضيع والوصف. العناوين ستتغير لوحدها. الوصف يجب تغيير بشكل يدوي في كل موضوع من خلال خيارات الاضافة.

2. طريقة الروابط هذه لا انصح بها
www.karempo.com/الجواز/
او انك تعطي كل تدوينة اسم بالانجليزي او انك تختار نمط روابط اخر لا يوجد به عربي.

قم بهذه التغييرات من الان وموقعك لا زال ببدايته (حسب جوجل 50 تدوينة تقريبا) فهذا الشيئ سيساعدك في المستقبل.

الاضافة مركبها جديد لو تقصد All Seo
بخصوص الروابط هذه اسرع فى الانتشار ولكن اعلم انها اقل فائدة بخصوص الرانك وان شاء الله بعلم لكل تدوينة رابط انجليزى

اشكرك لمساعدتك ودعمك واى اقترحات اخرى اكون شاكر
تجياتى

E7SAAS · #7 11-24-2007, 12:28 PM

أخوي رشيد...سلسلة رائعة أفادتني كثيرا..

لكن ليتك تعدل رابط هذا الموضوع في موضوع الفهرس لهذه السلسلة..

وشكرا..

E7SAAS · #8 11-24-2007, 03:19 PM

اخوي رشيد هل ينفع أضع نفس ملف ال robots.txt الذي ذكرت..إذا كانت روابط مدونتي بالطرية التالية http://e7saas.ws/blog/archives/48

رشيد بيدوسي · #9 11-24-2007, 11:49 PM

اقتباس:

المشاركة الأصلية كتبت بواسطة e7saas

أخوي رشيد...سلسلة رائعة أفادتني كثيرا..

لكن ليتك تعدل رابط هذا الموضوع في موضوع الفهرس لهذه السلسلة..

وشكرا..

مشكور اخي على التنبيه. تم التعديل.

رشيد بيدوسي · #10 11-24-2007, 11:51 PM

اقتباس:

المشاركة الأصلية كتبت بواسطة E7SAAS

اخوي رشيد هل ينفع أضع نفس ملف ال robots.txt الذي ذكرت..إذا كانت روابط مدونتي بالطرية التالية http://e7saas.ws/blog/archives/48

ما شرحته في الموضوع هو الاساس. اذا كانت روابط مدونتك تختلف ايضا يجب ان يكون اختلاف في ملف الروبوت لكن الاختلاف غير جذري وانما بالروابط فقط.

عموما حاول ان تمنع ارشفة كل شيئ في المدونة ما عدا روابط المواضيع واذا في عندك تصنيفات معينة تجلب لك زوار فلا تحذفها. بهذه الوسيلة ستضمن ان كل "طاقات" الارشفة من قبل جوجل ستكون في المواضيع التي تكتبها.

E7SAAS · #11 11-25-2007, 12:47 PM

شكرا لك رشيد ويبدو لي الموضوع سهل جدا..

خلاف ماتوقعت للوهلة الأولى..

Mr.AyMaN · #12 02-16-2008, 10:26 AM

عذرا علي رفع الموضوع

اخي رشيد رابط مدونتي هو كالاتيhttp://www.3srk.com/blog

هل يمكن ان اضع ملف الrobots.txt الذي وضعته انت ؟ اي لن يتعارض مع شئ بما اني واضع مدونتي علي ملف في الموقع و ليس علي المسار الرئيسي

و سؤال اخر اعذرني : هل الخطوه التي نطلب فيها من جوجل ان يحذف بعض الروابط هل اضع نهايات الملفات الممنوع من ارشفتها و التي ذكرتها في ملف الrobots.txt ؟؟ ام انها ستختلف بما ان مدونتي علي ملف فرعي ؟؟

و تحياتي لك

رشيد بيدوسي · #13 02-17-2008, 04:25 PM

كنت افضل ان تكون مدونتك على دومين فرعي وبنظري هذا افضل من مجلد داخلي لانه الدومين الفرعي ينظر اليه جوجل كانه موقع مستقل.

في هذه الحالة عليك ان تضع ملف ال robots.txt في المجلد الرئيسي للموقع وليس في داخل المجلد.

بالنسبة لحذف الروابط من جوجل اعطيني مثال على روابط تريد حذفها حتى افهم قصدك بالضبط.

Mr.AyMaN · #14 02-18-2008, 01:31 AM

اقتباس:

المشاركة الأصلية كتبت بواسطة رشيد

كنت افضل ان تكون مدونتك على دومين فرعي وبنظري هذا افضل من مجلد داخلي لانه الدومين الفرعي ينظر اليه جوجل كانه موقع مستقل.

في هذه الحالة عليك ان تضع ملف ال robots.txt في المجلد الرئيسي للموقع وليس في داخل المجلد.

بالنسبة لحذف الروابط من جوجل اعطيني مثال على روابط تريد حذفها حتى افهم قصدك بالضبط.

ِشكرا اخي علي المتابعه

بالنسبه للحذف ليس هناك رابط معين و لكن كنت اريد ان احذف العنواين التي تفضلت انت ووضعتها في ملف ال robots.txt كممنوعه من الارشفه

اي حتي امسحها إذا كان جوجل قد ارشفها بالفعل قبل ان اضع ملف robots.txt

ارجو ان اكون قد اوصلت لك ما اريد ان اقوله

محمد السقاف · #15 03-09-2008, 11:46 AM

الأستاذ رشيد .. بالنسبة لي أحفظ أسماء التدوينات بالإنجليزية ..

وقمت بنقل الأكواد كما هي وأعطاني نجاح التسجيل 200 ..

فهل هناك احتمال وجود أي تعارض مستقبلا .. مدونتي ..

رشيد بيدوسي · #16 03-12-2008, 02:40 AM

اقتباس:

المشاركة الأصلية كتبت بواسطة محمد السقاف

الأستاذ رشيد .. بالنسبة لي أحفظ أسماء التدوينات بالإنجليزية ..

وقمت بنقل الأكواد كما هي وأعطاني نجاح التسجيل 200 ..

فهل هناك احتمال وجود أي تعارض مستقبلا .. مدونتي ..

حياك الله اخ محمد
بداية كنت انصحك ان تستعمل هذا المبنى من الروابط في حال انك قررت ان تتوقف عن استعمال الروابط الافتراضية:

www.example.com/category/postname

طبعا في هذه الحالة ملف ال robots.txt يجب ان يتلائم مع مبنى الروابط.

خذ بالحسبان انه في هذه الحالة عند استعمال الروابط الجديدة فان عناكب البحث سوف تقوم بارشفة رابطين لكل موضوع. مثلا:

www.example.com/category1/postname1
www.example.com/?p=1

في هذه الحالة عليك عمل بلوك لهذا المبنى من الروابط

كود:

disallow: /?p=

محمد السقاف · #17 03-16-2008, 09:14 AM

الأستاذ رشيد .. أصبح قوقل لايأرشف الموضوع الجديد مثل السابق ..

ما المشكلة ياترى ؟ هل هي في إحدى هذه الأوامر :

Disallow: /*page_id=
Disallow: /*?paged=

Disallow: /*paged=

رشيد بيدوسي · #18 03-16-2008, 11:59 PM

اقتباس:

المشاركة الأصلية كتبت بواسطة محمد السقاف

الأستاذ رشيد .. أصبح قوقل لايأرشف الموضوع الجديد مثل السابق ..

ما المشكلة ياترى ؟ هل هي في إحدى هذه الأوامر :

Disallow: /*page_id=
Disallow: /*?paged=

Disallow: /*paged=

ماذا تقصد ممكن مثال ؟

فحصت موضوع الهداف الاذكى ورأيت الارشفة تمام
ادخل حسابك في google web masters tools واطلع على الروابط المعمول لها بلوك بواسطة ملف الروبوت

محمد السقاف · #19 03-17-2008, 12:11 PM

الأستاذ أبوريان .. الموضوع الذي لم يدخل قوقل بعد إضافة الأكواد هو

http://www.saqaf.com/2008/03/16/goals-source/

وهذه صورة من الموقع للروابط المحجوبة ..

ليست لدي الخبرة الكبيرة ولكن ظني بأن هذا الرابط هو المسؤول :

http://www.saqaf.com/feed/

تقبل شكري لحسن تفاعلك وتواصلك ..

jawado88 · #20 10-11-2008, 02:09 AM

بوركت أخي رشيد وزادك الله علما ونفعا .. شرحك سلس ومفيد جدا .. تقبل حبي الكبير

Hisham · #21 11-02-2008, 06:12 AM

يا أستاذ رشيد , بالنسبة للمدونة التي اعتمدت عليها في الشرح فهي غير موجودة الآن..

فهمت بشكل مجمل الغرض من حذف الروابط ... ولكن التفاصيل لم استطع التعمق فيها لأن جميع الروابط الموجودة في الموضوع معطوبة .. بالتالي لم أتعرف تحديدا على الروابط التي يفترض وضعها في Remove URLs

أرجو - ان تكرمت - ان تصلح الأمر
وإذا كان ذلك صعب , فهذه مدونتي أرجو إن كنت تستطيع تعطيني خبر عن الروابط التي يجب إضافتها في الحذف
تحياتي

Mansour A.B · #22 11-14-2008, 12:35 AM

مرحبا رشيـد ..
فـي البدايـه أحب أهنيـك على شرحك الوافـي للسلسه ..
وأشكرك كـل الشكـر على إختصار مشاويـر طويـله ..
لا أقول إلا .. الله يزيـدك أكثر من الى أنت عليـه ..

وعندي سؤال بـس تعرقلت عنده ..

بالنسبـه للـrobots.txt ..
انا نسخت محتوى الكود الى انت واضعه ولصقته بالملف الى عندي وحملته ..
انت تقصد كذا عزيزي ؟
طبعا حذفت السطرين ..
الى فيهم
Allow: /*cat=6
Allow: /wp-content/uploads/

وشكرا ..

اقتباس:

المشاركة الأصلية كتبت بواسطة رشيد

بداية هذا هو مضمون ملف ال robots.txt الموجود في موقعي:

كود:

User-agent: Googlebot
Disallow: /wp-
Disallow: /search
Disallow: /feed
Disallow: /comments/feed
Disallow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /external%20files/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /*feed=
Disallow: /?feed=
Disallow: /comments/
Disallow: /private/
Disallow: /*tag=
Disallow: /*?tag=
Disallow: /*m=
Disallow: /*cat=
Disallow: /*&cp=
Disallow: /*page_id=
Disallow: /*?paged=
Disallow: /*comments_popup=
Disallow: /*paged=
Allow: /*cat=6
Allow: /wp-content/uploads/
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.cgi$

# disallow all files ending with these extensions
Disallow: /*.html$
Disallow: /*.doc$
Disallow: /*.flv$
Disallow: /*.swf$

في بداية الملف نكتب كما هو ظاهر لكم :

كود:

User-agent: Googlebot

.

embroidery-top,com · #23 11-14-2008, 06:32 PM

السلام عليكم
أزيك أخى رشيد ممكن أخذ رايك بالنسبه لهذا الأوامر

كود PHP:


			
User-Agent: *
Disallow: /license.txt/
Disallow: /readme.html
Disallow: /wp-admin.php
Disallow: /wp-atom.php
Disallow: /wp-blog-header.php
Disallow: /wp-comments-popup.php
Disallow: /wp-commentsrss2.php
Disallow: /wp-comments-post.php
Disallow: /wp-config-sample.php
Disallow: /wp-config.php
Disallow: /wp-cron.php
Disallow: /wp-feed.php
Disallow: /wp-links-opml.php
Disallow: /wp-login.php
Disallow: /wp-mail.php
Disallow: /wp-pass.php
Disallow: /wp-rdf.php
Disallow: /wp-register.php
Disallow: /wp-rss.php
Disallow: /wp-rss2.php
Disallow: /wp-settings.php
Disallow: /wp-trackback.php
Disallow: /xmlrpc.php
Disallow: /ABC_Designs_Embroidery_1986_index.html_top/
Sitemap: http://embroidery-top.com/sitemap.xml

أبوجهاد · #24 03-31-2009, 10:19 AM

السلام عليكمم
موضوع متميز جدا أخ رشيد

ولكن هل تسمح بالاضطلاع على التالي وتخربني باختصار شديد هل هو جيد ومكتوب صح
[HTML]
User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

User-agent: ia_archiver-web.archive.org
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /
[/HTML]

غراب · #25 06-13-2009, 03:32 AM

السلام عليكم و رحمه الله و بركاته
اخي الكريم رشيد ,,
لبعض المشاكل السابقة بموقعي قمت بطلب حذف كامل للأرشفة و منتظر الحذف لكي اقوم بتقديم موقعي + sitemap من جديد
ما اريده منك الآن هو كيف اقوم باعداد ملف robots بالطريقة السليمة
او بالاحري ما الذي يتوجب عليّ منعه من الأرشفة من خلال ملف robots ?
فقط ادرج لي ما هو اللازم منعه من الأرشفة لكي اقوم بمنعه من خلال صناعه ملف robots بواسطة جوجل ويب ماسترز.
و سؤال اخير هل الامر الذي يدل علي sitemap في ملف robots بهذه الطريقة صحيح ؟
sitemap: http://××××××.com/sitemap.xml
و اذا كان خاطئ ما هو امر الاشارة للخريطة داخل ملف الروبوتس ؟
و هذا هو رابط مدونتي
http://www.ghorab.ws
و تركيبة الروابط الدائمة لدي هي مخصصة مثل مدونتك
http://www.ghorab.ws/2009/06/13/sample-post//

أدوات الموضوع
مشاهدة صفحة طباعة الموضوع أرسل هذا الموضوع إلى صديق
انواع عرض الموضوع
العرض العادي الانتقال إلى العرض المتطور الانتقال إلى العرض الشجري

المواضيع المتشابهه
الموضوع	كاتب الموضوع	المنتدى	مشاركات	آخر مشاركة
[4] سلسلة جوجل : التحكم بظهور العناوين في جوجل	رشيد بيدوسي	مناقشة عامة	65	07-26-2010 11:46 PM
[3] سلسلة جوجل : عمل خارطة للمدونة \| Sitemap	رشيد بيدوسي	مناقشة عامة	135	07-07-2010 01:37 AM
سلسلة جوجل: الروابط الدائمة للمواضيع وطريقة تغييرها	رشيد بيدوسي	مناقشة عامة	17	07-03-2010 04:21 PM
سلسلة جوجل: المقدمة	رشيد بيدوسي	مناقشة عامة	9	09-14-2009 11:53 PM
نريد شرح أكثر عن حذف الروابط الغير مفيدة من جوجل	iGarni	مناقشة عامة	3	05-26-2009 11:55 AM

هؤولاء الاعضاء يشكرونك يا رشيد بيدوسي على هذه المشاركة:
-$ TaMeR $- (06-26-2010), Fahad_15 (03-17-2010), gt2 (09-22-2009), jo11 (07-02-2010), PeaceMaker (05-13-2010), toqtoq2000 (02-08-2010), نجم المحبه (09-15-2009)

الذين يشاهدون محتوى الموضوع الآن : 1 ( الأعضاء 0 والزوار 1)