May 30, 2015

Robots.txt ফাইল কি বা কেন এবং কিভাবে ব্লগে যুক্ত করতে হয়?

অনেক ব্লগারই আছেন যারা Robots.txt অপশন ভালভাবে বুঝেন না কিংবা কখনো এ অপশনটি নিয়ে মাথা ঘামান না।  তারা মনে করেন যে, এ অপশনটি কোন কাজের নয় বিাধয় এটি খালি রেখে দেন। সত্যি বলতে এ অপশনটি সার্চ ইঞ্জিন অপটিমাইজেশন করার জন্য খুবই গুরুত্বপূর্ণ ভূমিকা পালন করে। আর সার্চ ইঞ্জিন অপটিমাইজেশন না করে ব্লগিং চালিয়ে গেলে আপনার ব্লগে পর্যাপ্ত ভিজিটর পাওয়ার সম্ভাবনা কমে যায়। তবে এ অপশনটি একটিভ করতে গিয়ে আপনি যদি না বুঝেই অন্যের Robots.txt ফাইল  কপি অপশনটি চালু করেন তাহলে ভাল না হয়ে এর বিপরীত হতে পারে। এই জন্য এটি একটিভ করার আগে আপনাকে এ সম্পর্কে বিস্তারিত জেনে নিতে হবে। 
Robot.Txt-File
Robots.txt ফাইল কিঃ প্রত্যেক সার্চ ইঞ্জিনেরই নিজস্ব ওয়েব রোবট রয়েছে। আপনি হয়তো ভাবছেন এটি কি রজনি কান্তের হিন্দি সিনেমার রোবটের মত। আসলে এটি এই ধরনের কিছু না। এটি হচ্ছে সার্চ ইঞ্জিনের যত প্রকার ওয়েবসাইট আছে তা পরীক্ষা করার জন্য এক ধরনের ওয়েব ফাংশন, যাকে রোবট নামে আখ্যায়িত করা হয়। আর Robots.txt ফাইল এর মাধ্যমে ঐ রোবটদের নির্দেশ করা হয় যে, আপনার ব্লগ/ওয়েবসাটটি সে Crawl এবং Index করবে কি না। আপনি ইচ্ছে করলে এই Robot.txt ফাইল ব্যবহার করে রোবটকে Crawl এবং Index করার অনুমতি দিতে পারেন আবার নাও দিতে পারেন। আবার আপনি ইচ্ছে করলে আপনার প্রয়োজনমত কিছু পোষ্ট Crawl এবং Index করার অনুমতি দিতে পারেন আবার কিছু পোষ্ট Crawl এবং Index করার অনুমতি নাও দিতে পারেন।

কিভাবে এই Robots.txt ফাইল কাজ করেঃ Robots.txt ফাইল হচ্ছে বিমান বন্দরের ফ্লাইট ঘোষকের মত। সে যে ভাবে ফ্লাইট হওয়ার সময় হলে যাত্রীদের যথাসময়ে বিমানের উঠার জন্য বলে দেয়, তেমনি Robots.txt ফাইলও সার্চ ইঞ্জিন গুলির রোবট যখন Crawl করার সময় হয়, তখন তার ব্লগের নতুন পোষ্ট গুলি Index করার কথা বলে দেয়। ফলে আপনার সদ্য পোষ্ট করা নতুন আর্টিকেল সহজে সার্চ ইঞ্জিনে চলে আসে।
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.prozokti.com/sitemap.xml
বেশীর ভাগ ব্লগ এর Robots.txt ফাইল এই ধরনের হয়ে থাকে। হয়তবা আপনিও কখনো না বুঝে আপনার ব্লগে ব্যবহার করেছেন কিংবা এখনো করছেন। আমি চাচ্ছি আপনি এ বিষয়ে পুরোপুরি বুঝে তারপরে এটি ব্লগে যুক্ত করেন। আমি এটিকে দুটি ভাগে ভাগ করে আলাদাভাবে বুঝানো চেষ্ট করবো। প্রথমে আমি এই অংশ গুলিকে নিয়ে এবং পরে এর মধ্যে যে সাংক্ষেতি চিহ্ন আছে সে গুলি নিয়ে আলোচনা করবো।
  • User-agent: Mediapartners-Google: প্রথমত বলে রাখি User-agent এর মাধ্যমে রোবট সমূহ নির্দেশ করা হয়। এখানে Mediapartners-Google হচ্ছে Google Adsense এর একটি রোবট। আপনি যদি আপনার ব্লগে Google Adsense ব্যবহার করে থাকেন তাহলে এটি যুক্ত করতে হবে। যদি এই অপশনটি Disallow করে রাখেন তাহলে Adsense রোবট আপনার ব্লগের বিজ্ঞাপন সম্পর্কে কোন ধরনা পাবে না। আপনি যদি গুগল Adsense ব্যবহার করে না থাকেন, তাহলে এই লাল কালারের লাইন দুটি ডিলিট করে দেবেন।
  • User-agent:* এর মাধমে সকল ধরনের রোবটদের বুঝানো হচ্ছে। আপনি যখন User-agent এর পরে * চিহ্নটি ব্যবহার করবেন তখনই বুঝাবে যে, আপনি সকল ধরনের রোবটদের নির্দেশ দিচ্ছেন।
  • Disallow: /search এটি দিয়ে কিওয়ার্ডকে Disallow করার নির্দেশ দেওয়া হচ্ছে। অর্থাৎ আপনার ব্লগের ‍Search লিংক গুলিকে Crawl এবং Index না করার জন্য বলা হচ্ছে। যেমন-আপনার ব্লগের Label লিংক গুলি দেখলে দেখতে পাবেন যে, প্রত্যেকটি Label এর লিংকের আগে এই Search শব্দটি আছে। এই জন্য Label লিংক গুলি Crawl না করার জন্য রোবটকে নির্দেশ দেওয়া হচ্ছে। কারণ Label লিংক গুলি সার্চ ইঞ্জিনে Index করানোর প্রয়োজন হয় না।
  • Allow: / এটির মাধ্যমে কিওয়ার্ডকে Allow করার নির্দেশ দেওয়া হচ্ছে। এই '/' চিহ্নটির মানে হচ্ছে রোবট আপনার ব্লগের Home Page কে Crawl এবং Index করবে। যেমন-আপনি Google Webmaster Tools সাইট সাবমিট করার পর দেখতে পাবেন Google Webmaster Tools সবসময় আপনার পোষ্ট এর চাইতে একটি বেশী পোষ্ট Index করছে। আসলে বেশী নয়, এটি আপনার Home Page টিও গননা করছে।
  • Sitemap: আপনি যখন নতুন পোষ্ট করবেন তখন এটি রোবটদের বলে দেবে নতুন পোষ্ট গুলি Index করার জন্য। পত্যেক ডিফল্ট ব্লগারের একটি Sitemap থাকে। কিন্তু ডিফল্টভাবে ২৫ টির বেশী পোষ্ট Index করে না। এই জন্য এই Sitemap লিংকটি Robots.txt ফাইলে যুক্ত করার পাশাপাশি Google Webmaster Tools এ সাবমিট করতে হয়।
আরো ভালভাবে বুঝতে চাইলে এটি পড়ুন
নাম বর্ণনা
User-agent এটি মাধ্যমে রোবট সমূহ নির্দেশ করা হয়।
Disallow এটির মাধ্যমে বুঝানো হচ্ছে এর পরে যেই Directory থাকবে তা কোন রোবটই Crawl করবে না। নোটঃ Disallow এর পরে যদি কোন Directory না দেওয়া হয় তাহলে Disallow কাজ করবে Allow হিসেবে।
* এই চিহ্ন দ্বারা সকল ধরনের রোবটদের বুঝানো হয়।
Allow এটির মাধ্যমে বুঝানো হচ্ছে এর পরে যেই Directory থাকবে রোবট Crawl করবে।

কিভাবে ব্লগে যুক্ত করবেনঃ

  • ব্লগার ড্যাশবোর্ড হতে Settings > Search Preference এ ক্লিক করুন।
  • তারপর Custom Robots.txt এর Edit বাটনে ক্লিক করুন। নিচের চিত্রে -
Blogger-Robot-.Txt
  • এরপর Enable custom robots.txt conten এর Yes এ ক্লিক করলে একটি বক্স দেখতে পাবেন। এই বক্সে উপরের কোডগুলি কপি করে পেষ্ট করুন।
  • তারপর Save এ ক্লিক করে বেরিয়ে আসুন। That's All.
Subcribe to our all updates

and Share on
পূর্ববর্তী পোষ্ট
পরবর্তী পোষ্ট

14 টি মন্তব্য: Post Yours! Read Comment Policy ▼
লক্ষ্য করুনঃ
পোষ্টের সাথে সম্পৃক্ত নয় এমন কোন কমেন্ট করা যাবে না। কোন কারণ ব্যতীত আপনার ব্লগের লিংক শেয়ার করতে যাবেন না। সবসময় গঠনমূলক মন্তব্য প্রদানের চেষ্টা করবেন। আমরা সবার মতামত সমানভাবে মূল্যায়ন করি এবং যথাসময়ে প্রতি উত্তর দেয়ার চেষ্টা করি।

  1. গুগল ওয়েবমাস্টার টুল সম্বন্ধে জানতে চাই।

    ReplyDelete
    Replies
    1. ধন্যবাদ সিবাম, বিষয়টি আমার To Do List এ রাখলাম। আপাতত আমাদের এ দুটি পোষ্ট দেখতে পার।

      1. গুগল ওয়েবমাস্টার টুল
      2. Bing এবং Yahoo ওয়েবমাস্টার টুল

      Delete
  2. Sitemap: http://www.prozokti.com/feeds/posts/default?orderby=UPDATED

    onk jaigai dekhsi 'UPDATED' er aikhane '500' likha ase. konta dibo?

    ReplyDelete
    Replies
    1. হ্যাঁ, আপনি ঠিক ধরতে পেরেছেন। আপনি দুটি ভাবেই লিখতে পারেন। মূলত এই লাইনটি দিয়ে সার্চ ইঞ্জিনকে আপনার ব্লগ ইনডেক্স করার নির্দেশ দেয়া হয়ে থাকে। আপনি যেভাবেই লিখেন না কেন ভালভাবে এবং তাড়াতাড়ি ইনডেক্স হওয়ার জন্য আপনার ব্লগটি অবশ্যই সার্চ ইঞ্জিনের ওয়েবমাস্টার টুলে সাবমিট করতে হবে। আশাকরি আপনার ধারনা পরিষ্কার হবে। ধন্যবাদ...

      Delete
  3. সুন্দর লিখেছেন কিন্তু একটা কথা এখুন Robots.txt করার কোন দরকার হয় না মানে ব্যবহার না করলেও কোন ক্ষতি হয়না কারন গুগল নিজে থেকেই এখুন Robots.txt তৈরি করে নেই যেটা ওয়েবমাস্টার এ গেলেই বুঝতে পারবেন, আর UPDATED এর এখানে'500 এই সব এখুন আর ব্যবহার করার দরকার হয়না আর এখুন এগুল সব আগের আপডেট এখুন নতুন - Sitemap: http://www.blog.com/sitemap.xml, কিছু মনে করবেন না আমার জানা কিছু জিনিস বললাম হয়ত আমার জানাই ভুল থাকতে পারে

    ReplyDelete
    Replies
    1. হ্যা, আমিও আপনার সাথে একমত। তবে কিছুটা ভূল বলেছেন। গুগল নিজে থেকে Robots.txt তৈরি করবে না। আপনি যদি আপনার সাইটটি Google Webmaster Tools এ সাবমিট না করেন, তাহলে Robots.txt ফাইলের মাধ্যমে কিছুটা সহজ করে নিতে পারেন। তবে ব্লগার যেহেতু এ সুবিধাটি দিচ্ছে, সেহেতু এটি যুক্ত করে নেয়াটাই উত্তম হবে।

      সম্প্রতি ব্লগার Feed পোষ্ট 500 এর পরিবর্তে 150 পোষ্ট বা Page-1, Page-2 এ ভাবে ব্যবহার করছে। ফলে Google Webmaster Tools এ সাইট সাবমিট করার সময় সাইটম্যাপের সাথে 150 বা Page-1, Page-2 হিসেবে ব্যবহার করতে হবে। আশাকরি আপনার ধারনার পরিবর্তন হবে।

      Delete
    2. ধন্যবাদ আমার ব্লগে ৮০০+ পোস্ট আছে এবং আমি কোন রকম Robots.txt ব্যবহার করিনা শুধু মাত্র নতুন আপডেট সাইট ম্যাপ সাবমিট করেছি সঙ্গে এবং কোন রকম page-1 এই এখুনও ব্যবহার এর দরকার হয়নি , তবে সাইট ম্যাপ এরর দেখালে এগুল ব্যবহার করতে হবে , MBT এর MD এর সঙ্গে এই বিষয়ে জানতে চাইলে সে বলে শুধু মাত্র sitemap.xml ব্যবহার করলেই যথেষ্ট, এটাকে তর্ক হিসাবে নিবেন না আসলে এই বিষয়ে অনেকে অনেক রকম মোট দিচ্ছি তাই আপনার সঙ্গে আলোচনা করছি :) যেমনঃ Custom Robots Header Tags এ সবাই এমন কি আপনিও বলেছেন Noodp, all এই সব ব্যবহার করতে কিন্তু shoutmeloud বলছে শুধু মাত্র Archive and Search Page থেকে NoIndex এবং Noarchive করতে আমি বিশেষ করে এই বিষয়ে আপনার মতামত চাইছি

      Delete
    3. পুরো বিষয়টা আপনাকে বুঝানোর জন্য অনেক ব্যাখ্যা করা প্রয়োজন হবে, যেটা কমেন্টের মাধ্যমে সম্ভব নয়। তারপরও সংক্ষেপে বুঝানোর চেষ্টা করছি।

      Robots.txt ফাইল ব্যবহার না করার পক্ষে আমি কোনভাবেই সাপোর্ট দেব না। কারণ এটির মধ্যে Sitemap ছাড়াও আরো অনেক অপশন ব্যবহার করার প্রয়োজন হয়। আমি বলব এটা ব্লগারের জন্য অনেক বড় একটা অপশন। এটির মাধ্যমে খুব সহজে বিভিন্ন সার্চ ইঞ্জিন বটদের নিয়ন্ত্রন করা যায়।

      সম্প্রতি গুগল ওয়েবমাষ্টার টুলস Page নাম্বার ব্যবহার করার কারনে সরাসরি XML সাইটম্যাপ সাবমিট করার মাধ্যমে ব্লগের সকল পোষ্ট Index করা যাচ্ছে। আমি বিষয়টি এখনো পরীক্ষা করে দেখিনি। তবে XML সাইটম্যাপের মধ্যে Page-1, Page-2 এভাবে পাওয়া যাচ্ছে। বিষয়টি আপনার ব্লগের xml Sitemap ফাইল চেক করলে দেখতে পাবেন। তবে আমি পূর্বের নিয়মে 500 এর পরিবর্তে 150 ব্যবহার করে সাইটম্যাপ সাবমিট করে কাজ করছি। তবে নতুন এবং পুরাতন যে ভাবেই করুন না কেন, তার অর্থ একই হচ্ছে। নতুন পদ্ধতীতে page-1 এর মাধ্যমে 150 টি পোষ্ট Index হচ্ছে এবং এবং পুরাতন পদ্ধতীতে Atom Feed এর মাধ্যমে পেজের সংখ্যা নির্ধারনের মাধ্যমে প্রয়োজনীয় পোষ্ট Index করার জন্য বলা হচ্ছে। উল্লেখ্য যে, MBT দুটি পদ্ধতীকেই সঠিক বলে ব্যাখ্যা করেছে।

      Custom Robots Header ট্যাগের মাধ্যমে সার্চ ইঞ্জিনকে ব্লগের কনটেন্ট সম্পর্কে বিভিন্ন নির্দেশ দেয়া হয়ে থাকে। পুরো বিষয়টি নিয়ে আমি একটি বিস্তারিত পোষ্ট লিখেছি। এ ক্ষেত্রে কে কি বল্ল সেটা নিয়ে না ভেবে, পুরো বিষয়টি বুঝে আপনার কোন অপশনগুলি ব্যবহার করা উচিত, সেটা আপনি নিজেই সিদ্ধান্ত নিতে পারবেন। তবে আমি সেটিই সাজেস্ট করেছি, যেটি ব্যবহার করা ব্লগের জন্য সবচাইতে উত্তম।

      Delete
  4. ভাই আমার ওয়ার্ডপ্রেস সাইটে Structured Data ডাটা ইরর দেখাচ্ছে এবং গুগল ইন্ডেক্সডও শূন্য দেখাচ্ছে। গুগলে সার্চ দিলে ডোমেইনটা ছাড়া আর কিছু শো করছে না। আর আমি যদি আমার সাইট mytechbd/robot.txt লিখে সার্চ দেই তাহলে ইরর আসে। আবার ক্রলিং এ কোনো সমস্যা দেখাচ্ছে না। রোবোট নাকি ঠিক আছে ওয়েবমাস্টারে।

    ReplyDelete
    Replies
    1. এটি ওয়ার্ডপ্রেসের সাথে মিলবে না। আমি কেবলমাত্র বিষয়টি ব্লগারের জন্য লিখেছি। ধন্যবাদ

      Delete
  5. ভাই হয়ত আমি এই পোস্টটাই খুজছি, তবে পোস্টটি দেখার পর আমার মনে দুটি প্রশ্ন জন্ম নিয়েছে

    ১:- আমি webmaster tools এ আমার ব্লগটা www. ছাড়া সাবমিট করেছি। আমার প্রশ্নটা হলো কিভাবে করলে ভালো হতো? http : // www.myblogname .blogspot .com এভাবে? নাকি http : / / myblogname. blogspot .com এভাবে?

    প্রশ্ন ২ :- আমিতো www. ছাড়া সাভমিট করেছি, এখন যদি robot tex টাতে আমার ব্লগের নামের আগে www. না দেই তবে কোন সমস্যা হবে?
    যেমন :- User-agent: *
    Disallow: /search
    Allow: /
    Sitemap: http://www.myblogname.blogspot .com/ sitemap .xml

    ReplyDelete
    Replies
    1. www দেয়া বা না দেয়াটা কোন বিষয় নয়। তবে Robot.txt ফাইলে www দিয়ে Url গঠন করাটাই ভাল। কিভাবে কোন সাইট গুগল ওয়েব মাষ্টার টুলস এ সাবমিট করতে হয়, সে বিষয়ে বিস্তারিত এই লিংক থেকে দেখতে পারেন।

      Delete
    2. ভাই ব্যাপারটা জেনে খুশি জলাম ধন্যবাদ।

      এবার আপনার কাছে আমি অন্য একটা ব্যাপারে হেল্প চাচ্ছি, সেটা হচ্ছে mata tag যোগ করা। ভাই আমার ব্লগটা মূলত টিপস্ নিয়ে। যেমন :- ব্লগার টিপস্, ফেসবুক টিপস্, মাইওয়েপব্লগ ইত্যাদি। তো ভাই আমি mata description এ কি দিলে এবং mata keywords এ কি কি keywords গুলো দিলে সার্চ ইন্জিন ভালোভাবে কাজ করবে।
      ভাই প্রয়োজনে আরোএকটু ধারনা নিতে আমার ব্লগটা একটু কস্ট করে দেইখেন ( realtipsbd.blogspot.com)

      আপনে যেহেতু অভিজ্ঞ তাই আশাকরি হেল্পটুকু করবেন।

      Delete
    3. আমরা ইতোপূর্বে Meta Descriptions এবং Meta Keywords ট্যাগ নিয়ে দুটি পোষ্ট শেয়ার করেছি। আপনি পোষ্ট দুটি মনযোগ সহকারে পড়লে বিস্তারিত জানতে পারবেন। ধন্যবাদ...

      Delete

 
Subscribe for all Updates

Subscribe Now

কপিরাইট © 2015- প্রযুক্তি ডট কম ™, সর্বস্বত্ব সংরক্ষিত

Powered by: