Robots.txt ফাইলটার সম্পর্কে আমরা অনেকেই হয়ত অজানা। আপনারা যারা নতুন সাইট ডেভেলপমেন্ট করছেন বা অনেক আগে করেছেন তবে এই রোবট ফাইল ব্যবহার করেন না; তাদের জন্য আমার এই ম্যাসেজটি – ”রোবট ফাইল যেকোন সাইটের এসইও অপটিমাইজেশনের জন্য অনেক বেশি গুরুত্বপূর্ন”।
আমাদের আজকের এই পর্বে যা যা থাকছে –
- Robots.txt কি?
- রোবট ফাইল কিভাবে দেখতে হয়
- ওয়েবসাইট এসইও ক্ষেত্রে robots.txt ফাইলের গুরুত্ব ও কাজ
- Robots.txt ফাইলের কিছু সিনটেক্স পরিচিতি
- Robots.txt ফাইল কিভাবে সেটাপ করবেন
Robots.txt কি
Robots.txt হল একটি ফাইল যা আপনার ওয়েবসাইটের রুট ডিরেক্টরিতে থাকে। এটি সার্চ ইঞ্জিন ক্রলারের জন্য একটি নির্দেশিকা ম্যানুয়াল যা একটি সাইটের থেকে কোন কোন পৃষ্ঠা বা ফাইল ক্রল করতে হবে এবং কি ক্রল করতে হবে না তার একটি গাইডলাইন।
আমরা পূর্বের একটি আর্টিকেলে বর্ননা করেছি যে সার্চ ইঞ্জিন কিভাবে কাজ করে। একটি সাইট পরিদর্শন করার সময় সার্চ ইঞ্জিনগুলি প্রথমে যে জিনিসটি সন্ধান করে তা হল robots.txt ফাইলের বিষয়বস্তু খোঁজা এবং পরীক্ষা করা। কারন এই ফাইলে উল্লেখিত নির্দেশাবলীর উপর নির্ভর করে, তারা সেই ওয়েবসাইটের জন্য ক্রল এবং সূচী করতে পারে।
রোবট (Robots.txt) ফাইল কিভাবে দেখতে হয়
একটি ওয়েবসাইটে robots.txt ফাইল ব্যবহার করা একটি ওয়েব স্ট্যান্ডার্ড। যা একটি ওয়েবসাইটের হোস্ট ডিরেক্টরিতে (বা প্রধান ফোল্ডারে) robots.txt ফাইলটি থাকে। এই টেক্সট ফাইলটি সর্বদা “robots.txt” নামে পরিচিত। আপনি সহজেই একটি সাইটের রোবট ফাইল খুজে নিতে পারেন।
এই ফাইলটি এ্যাক্সেস করার জন্য যেকোন সাইটের প্রধান URL এর শেষে যোগ করুন robots.txt। উদাহরনটি দেখে নিন- https://techpoth.com/robots.txt ।
ওয়েবসাইট এসইও করার ক্ষেত্রে robots.txt ফাইলের গুরুত্ব ও কাজ
একটি ওয়েবসাইটের জন্য robots.txt ফাইল অনেক গুরুত্বপূর্ন। কারন একটি সাইটকে র্যাংক করার জন্য আমরা সাধারনত এসইও করে থাকি। সেই এসইও যদি সঠিকভাবে না করা হয় তাহলে আপনার সাইটের ভিজিটর দিন-দিন কমতে থাকবে।
এসইও এর মূল বাক্য একটি সাইটের কাঠামো সঠিক হওয়া। এই কাঠামো সম্পর্কে ধারনা রোবট টেক্সট ফাইল প্রদান করে থাকে। কারন সার্চ ইঞ্জিন রোবটের প্রধান কাজ হল যেকোন সাইটকে ক্রল করা। তবে যদি এই ক্রল করার জন্য কোন নির্দেশনা না দেওয়া হয় তাহলে সাইটটি কাঠামোগত দিক থেকে অসম্পূর্ন থেকে যায়। সেজন্য একটি সাইটটের রোবট টেক্সট ফাইল এসইও অপটিমাইজেশন এর পাশাপাশি সাইটটিকে র্যাংক করাতে সাহায্য করে থাকে।
Robots.txt ফাইলের কিছু সিনটেক্স পরিচিতি
একটি গুরুত্বপূর্ন কথা- রোবট ফাইলটি তৈরির পূর্বে খুব সতর্কতা অবলম্বন করতে হবে। কারন আপনি যদি না জেনে বুঝে কোন Disallow: কোড রোবট টেক্সট ফাইলে ব্যবহার করে থাকেন তাহলে দেখা যাবে আপনার সাইটটি অজান্তেই গুগলবট ব্লক করে দিয়েছে। পরবর্তীতে আপনার সাইটের কোন পেজ ইনডেক্স করতে চাইলে সমস্যাই পড়তে হবে। তাই অবশ্যই ফাইলটি তৈরির পূর্বে এর কিছু সিনটেক্স সম্পর্কে জেনে নিন-
- User-agent: এই সিনটেক্স এর মাধ্যমে যেকোন একটি সার্চ ইঞ্জিনকে নির্দেশাবলী দেওয়া হয় সাইটটি ক্রল করার জন্য। অথবা একসাথে সকল সার্চ ইঞ্জিনের জন্য ( * ) ব্যবহার করে দিলেও হয়। যেমন- User-agent: Googlebot অথবা User-agent: *
- Disallow: এই Disallow কমান্ডটি সার্চ ইঞ্জিনের বটকে নির্দেশ করে একটি নির্দিষ্ট URL ক্রল না করার জন্য। যেমন-Disallow: /ebooks/*.pdf। এখানে নির্দেশ দেওয়া আছে যে ebooks এর মধ্যে যত *.pdf ফাইল আছে সেগুলোকে Disallow বা ক্রল না করার জন্য।
- Allow (শুধুমাত্র Googlebot এর জন্য প্রযোজ্য ): এই Allow কমান্ডটি বটকে নির্দেশ করে একটি নির্দিষ্ট URL ক্রল করতে, এমনকি অন্যথায় অননুমোদিত ডিরেক্টরিতেও এর প্রভাব বিদ্যমান।
- Sitemap: সাইটম্যাপ সাধারনত সার্চ ইঞ্জিন রোবটকে একটি সাইটের প্রতিটা URL ক্রল করতে সাহায্য করে। এজন্য সাইটম্যাপ এর লিস্ট এই রোবট টেক্সট ফাইলের মধ্যে অন্তর্ভুক্ত করা প্রয়োজন। এর জন্য সবথেকে ভাল অভ্যাস হল robots.txt ফাইলের শেষে বা শুরুতে সাইটম্যাপ নির্দেশাবলী স্থাপন করা।
Robots.txt ফাইল কিভাবে সেটাপ করবেন
আমরা উপরেই আলোচনা করেছি যে রোবট ফাইল কি এবং কেন এত গুরুত্বপূর্ন। এখন আমরা দেখবো একটি ওয়েবসাইটের জন্য সঠিকভাবে robots.txt ফাইল লিখার নিয়ম বা কিভাবে অ্যাড করবেন। শুরু করার পূর্বে একটি কথা মনে রাখবেন আপনি যে প্লাটফর্মেই সাইট ডেভেলপমেন্ট করেন না কেন আপনাকে রোবট ফাইলটি আপনার সাইটের রুট ডিরেক্টরিতে রাখতে হবে।
ধাপ ০১ঃ প্রথমে একটি robots.txt ফাইল তৈরি করতে হবে। এর জন্য আমরা কম্পিউটারের নোটপ্যাড টুলস ব্যবহার করতে পারি। একটি নোডপ্যাড ফাইল ওপেন করে নিচের কোডগুলো লিখুন-
User-agent: *
Sitemap: https://www.yourdomain.com/sitemap.xmlঅথবা নিচে আমার সাইটের রোবট টেক্সট কোডগুলো একবার দেখে নিন
User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://techpoth.com/sitemap_index.xmlএমন আরো বিভিন্ন ধরনের কোড হতে পারে এই রোবট ফাইলের ভিতরে। তবে আপনি যদি একটি সাইটের সমস্ত ফাইল ও লিংক ক্রল করতে চান। তাহলে উপরের প্রথম কোডটি লিখলেই হবে। অন্যথায় ২য় কোডের মত করে কাস্টমাইজড করে দিতে পারেন।
এরপর, নোডপ্যাড ফাইলটি সেভ করুন robots.txt নামে।
ধাপ ০২ঃ এখন আমরা এই সেভ করা ফাইলটি আমাদের ওয়েবসাইটের রুটে আপলোড করবো। আপনার হোস্টিং যদি cPanel-এর হয়, তাহলে সি-প্যানেল লগিন করার পরে আমাদের কাজটি অনুসরন করুন – File Manager > public_html > এখন এই public_html এর মধ্যে রুটে আপনার সেভ করা robots.txt ফাইলটি আপলোড করুন।
ধাপ ০৩ঃ ফাইলটি সফলভাবে আপলোড হয়ে গেলে এখন আপনি চাইলে রোবট ফাইলটি চেক করতে পারেন। তবে রোবট ফাইলটি টেস্ট করতে অবশ্যই আপনার একটি গুগল কনসোলে একাউন্ট থাকতে হবে। চেক করতে ক্লিক করুন।
আপনি এখান থেকে আপনার ওয়েবসাইটের যেকোন লিংক চেক করতে পারবেন। যদি আপনার কোন লিংক গুগল থেকে ব্লক করে থাকে তাহলে এখানে ধরা পড়বে।
ধাপ ০৪ঃ এছাড়াও আপনি যদি আপনার রোবট ফাইলটি আপডেট করতে চান তাহলে এখান থেকে নিচে ডানদিকে সাবমিট বাটনে ক্লিক করতে হবে। ক্লিক করলে তিনটি অপশনের একটি পপ-আপ মেনু সামনে আসবে। এখান থেকে আপনি আপনার রোবট ফাইলটি ডাউনলোড করতে পারবেন অথবা নতুন রোবট ফাইল আপডেট এর রিকোয়েস্ট করতে পারবেন।
পরিশেষে কিছু কথা
অবশেষে আমরা প্রবন্ধটির একদম শেষ প্রান্তে, আশাকরি তোমরা বুঝতে পেরেছো যে কিভাবে একটি ওয়েবসাইটে রোবট ফাইল অ্যাড করতে হয়। এছাড়াও আমরা এই রোবট টেক্সট ফাইলের কিছু সিনটেক্স সম্পর্কে জানলাম যা আমাদের জন্য অনেক বেশি গুরুত্বপূর্ন।
এছাড়াও আরো নতুন নতুন টেকনোলজি আপডেট পেতে আমাদের সাথেই থাকুন।
