গুগল বট কী এবং এটি কীভাবে কাজ করে?

গুগল রোবট দ্বারা ক্রল না হওয়া পর্যন্ত কোনও ওয়েব পেজ (ব্লগ/ওয়েবসাইট) সার্চ ইঞ্জিনে ইনডেক্স করা যাবে না। যেসব বট গুগলের জন্য সারাবিশ্বে ইনডেক্স করার জন্য ওয়েবসাইট ক্রল করে তাদের বলা হয় গুগল বটস। আজকের আর্টিকেলে আমরা জানব গুগলবট কী এবং এটি কীভাবে কাজ করে?

গুগল বট কী? What is google Bot in Bangla

গুগলবট হল গুগল দ্বারা ব্যবহৃত ওয়েব ক্রলার সফটওয়্যার, যা গুগল সার্চ ইঞ্জিনের জন্য অনুসন্ধান যোগ্য সূচক তৈরির জন্য ওয়েব থেকে তথ্য সংগ্রহ করে। এটি গুগলের ওয়েব ক্রলারের একটি সাধারণ নাম। এই নামটি আসলে দুটি ভিন্ন ধরণের ওয়েব ক্রলারকে বোঝাতে ব্যবহৃত হয়।

• Desktop Crawler
• Mobile Crawler

একটি ডেস্কটপ ক্রলার একটি ব্যবহারকারীকে একটি কম্পিউটারে অনুকরণ করে, এবং একটি মোবাইল ক্রলার একটি মোবাইল ডিভাইসে একটি ব্যবহারকারীকে অনুকরণ করে।

বট হল এক ধরনের সফটওয়্যার, যা সফটওয়্যার রোবট বা স্পাইডার নামেও পরিচিত। কৃত্রিম বুদ্ধিমত্তা এবং মেশিন লার্নিং এর সাহায্যে বট তৈরি করা হয়েছে। এর প্রধান কাজ হল সার্চ ইঞ্জিনে যেকোন ওয়েব পেজে উপস্থিত সমস্ত বিবরণ সূচী/ক্রল করা। গুগল তার বিভিন্ন ক্রল সিস্টেমকে ইনডেক্স করার জন্য বিভিন্ন ধরনের গুগল বট তৈরি করেছে। যা আমাদের কাছে গুগলবট ফ্যামিলি নামেও পরিচিত।

বিভিন্ন ধরনের GoogleBots এর কাজ আলাদা। আপনি নিশ্চয়ই দেখেছেন, যখনই আপনি গুগলে কোন কিওয়ার্ড লিখে সার্চ করেন, তখনই বিভিন্ন গুগল মেনু আপনার সামনে চলে আসে। যেমন: – খবর, ছবি, ভিডিও, কেনাকাটা, মানচিত্র, বই ইত্যাদি। এই সমস্ত বিভাগের কাজগুলি আলাদা।

GoogleBot কিভাবে কাজ করে?

সব সার্চ ইঞ্জিনের আলাদা সার্চ কনসোল থাকে, যা আমরা ওয়েবমাস্টার টুল নামেও জানি। একই ভাবে গুগলের সার্চ কনসোল টুল রয়েছে। যখনই আপনি সার্চ কনসোলে আপনার ব্লগের কোনো পৃষ্ঠা, পোস্ট বা সম্পূর্ণ ওয়েবসাইট ক্রল করেন, গুগলবট ফ্যামেলি আপনার ব্লগে একটি গ্রুপ আকারে আসে। যেমনটি আমরা আপনাকে আগেই বলেছি যে, গুগল অনেক ধরনের বট তৈরি করেছে, যাদের কাজ আলাদা। যখন এই গুগলবট আপনার ব্লগে আসে, তখন সে চেক করে যে এই ব্লগে কোন ধরনের তথ্য দেওয়া হয়েছে। উদাহরণস্বরূপ, আপনি গুগল সার্চ কনসোলে আপনার আর্টিকেলটি যুক্ত করার জন্য অনুরোধ করেছিলেন, তারপর সমস্ত গুগলবট আপনার ব্লগে আসে এবং তারা দেখতে পায় যে এই পোস্টে পাঠ্য ছাড়াও ছবি, অডিও, ভিডিও, সংবাদ ইত্যাদি কোন কোন ধরনের কন্টেন্ট দেওয়া রয়েছে।

গুগলবট মূলত আপনার ব্লগ থেকে ডেটা কপি করে এবং এটি তার সার্ভারে সংরক্ষণ করে। যখন গুগলবটের পুরো কাজ শেষ হয়ে যায়, তখন গুগলবট আপনার ব্লগ ছেড়ে চলে যায়। গুগল বটের কাজ সম্পন্ন হওয়ার পর, আপনার ব্লগ পোস্টের ইউআরএল গুগল সার্চ ইঞ্জিনে ইনডেক্স হয়। এরপর যখনই কোনো ব্যবহারকারী গুগলে কীওয়ার্ড লিখে সার্চ করে, গুগল আপনার ওয়েবসাইটের র‍্যাঙ্কিং অনুযায়ী সার্চ রেজাল্টে আপনার কন্টেন্ট দেখায়।

আরও পড়ুনঃ কিভাবে ওয়ার্ডপ্রেসে ফাইল আপলোড সমস্যা ঠিক করবেন

GoogleBot কত প্রকার?

গুগল এখন পর্যন্ত অনেক ধরনের বট তৈরি করেছে, যা গুগল সার্চ রেজাল্টের জন্য আলাদা আলাদা কাজ করে থাকে। নীচে আপনি দেখতে পারেন কত ধরনের গুগলবট আছে এবং এই সব বট কি ধরনের কাজ করে থাকে

Desktop GoogleBot

গুগলের ডেস্কটপ বট, ডেস্কটপ ভার্সন হিসেবে যেকোনো ওয়েব পেজ ক্রল করে, যাতে সার্চ ইঞ্জিনে যেকোন ফলাফল দেখানো যায় এবং ব্যবহারকারীর অভিজ্ঞতা বাড়ানো যায়। এই বট শুধুমাত্র ডেস্কটপে ওয়েব পেজ ক্রল করে।

Mobile GoogleBot

ইন্টারনেট সবচেয়ে বেশি মোবাইল ব্রাউজার থেকে ব্যবহার করা হয়। গুগলের মোবাইল বট যে কোন ব্লগকে মোবাইল বান্ধব করার জন্য কাজ করে, যাতে মোবাইল ব্যবহারকারী সাহায্য পেতে পারে।

Image GoogleBot

যখনই আপনি আপনার ব্লগ পোস্টে কোন ছবি যোগ করেন, ঠিক তখনই গুগলের ইমেজ বট সেই ছবিটি কপি করে এবং গুগল সার্চ রেজাল্টে ইনডেক্স করে এবং ব্যবহারকারীকে ফলাফল দেখায়।

Videos GoogleBot

মূলত, যখন ব্লগ পোস্টে ইউটিউব ভিডিও বা অন্যান্য উৎস থেকে ভিডিও কন্টেন্ট যোগ করা হয়, তখন গুগলের ভিডিও বট এই ভিডিও গুলোকে ক্রল করে এবং গুগল ভিডিও সেকশনে প্রদর্শন করে।

News GoogleBot

যদি আপনার ব্লগ সংবাদ সম্পর্কিত হয় এবং আপনি গুগল নিউজে আপনার ব্লগ জমা দিয়ে থাকেন। তারপর যখনই ব্যবহারকারী কোন ধরনের খবর জানতে চায় এবং যদি তার কাঙ্ক্ষিত পোস্ট ইতিমধ্যে আপনার নিউজ ব্লগে প্রকাশিত হয় তাহলে গুগলের নিউজ সেকশনে আপনার ব্লগ পোস্ট ফলাফল হিসেবে প্রদর্শন করবে । আর এই নিউজ সম্পর্কিত ব্লগ পোস্ট গুলো ক্রলিং করে থাকে নিউজ গুগলবট ।

Adsense GoogleBot

এটি গুগলের অ্যাডসেন্স বট এর কাজ যে কোন নির্দিষ্ট পোস্টে আপনার ব্লগে কোন ধরনের কন্টেন্ট আছে। সেই অনুসারে, এটি অ্যাডসেন্স অনুমোদন ব্লগে অ্যাড প্রদর্শন করে।

Adword GoogleBot

অ্যাডওয়ার্ড হল গুগলের অ্যাড সার্ভিস, যা একসঙ্গে অ্যাডসেন্সের সাথে ব্লগে বিজ্ঞাপন দেখায়। অ্যাডওয়ার্ড বটের কাজ হল, যে ব্যবহারকারী এই ব্লগে ভিজিট করেছেন, তিনি কোন ধরনের ফলাফল পছন্দ করেন সেই অনুযায়ী এড প্রদর্শন করে।

Book GoogleBot

আপনি যদি আপনার ব্লগ পোস্টে কোন বই সম্পর্কে বলে থাকেন বা তার ডাউনলোড লিঙ্ক দিয়ে থাকেন, তাহলে এই বটের মাধ্যমে গুগল বুক মেনু সেকশনে বইটির ফলাফল দেখাতে পারবেন।

গুগল এমন ভাবে বিভিন্ন ধরণের বট দিয়ে আলাদা আলাদা কাজ সম্পন্ন করে থাকে। প্রতিনিয়ত GoogleBot আরও উন্নত করা হচ্ছে, যাতে ব্যবহারকারীর অভিজ্ঞতা আরও উন্নত করা যায়।

আরও পড়ুনঃ কিভাবে ওয়েবসাইট স্প্যাম স্কোর কমানো যায়

GoogleBot কিভাবে ব্লক করবেন

আপনি যদি চান GoogleBot সার্চ ইঞ্জিনে আপনার ব্লগে কিছু প্রাইভেট পেজ ক্রল না করে, তাহলে আপনি robots.txt এর মাধ্যমে সেটিকে ব্লক করতে পারেন। যার ফলে গুগল বট আপনার সেই পৃষ্ঠাগুলিকে ইনডেক্স করতে পারবে না।

যার উদাহরণ নীচের কোডে দেওয়া হয়েছে,

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /recommends/ (Affiliate links are disallowed)
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: /index.php
Disallow: /xmlrpc.php
User-agent: NinjaBot
Allow: /
User-agent: Mediapartners-Google*
Allow: /
User-agent-Googlebot-Image
Allow: /wp-content/uploads (Only we are allowing some specific folders for image indexing)
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /

যদি আপনি গুগল বটকে আপনার ওয়েবসাইট ক্রলিং করতে দিতে না চান তাহলে User-Agent: * এবং Disallow: আপনার ওয়েবসাইটের robots.txt file এ এড করুন।

শেষ কথা

সুতরাং আপনি দেখেছেন কিভাবে গুগলবট সার্চ ইঞ্জিনে আপনার ব্লগ ক্রল করে এবং এটি কিভাবে কাজ করে। একটি কথা মনে রাখবেন, যদি আপনি আপনার ব্লগে একটি নির্দিষ্ট সময়ে একটি পোস্ট প্রকাশ করেন, তাহলে গুগল বটস এটিকে সার্চ ইঞ্জিনে দ্রুত ইনডেক্স করে এবং আপনার ওয়েবসাইটের র‍্যাঙ্কিং বাড়াতেও সাহায্য করে। এই নিবন্ধে, আপনি গুগলবট কি, কত প্রকার আছে এবং এটি কিভাবে কাজ করে সে সম্পর্কে জেনেছেন। আর্টিকেলটি নিয়ে কোন প্রশ্ন বা মতামত থাকলে অবশ্যই কমেন্ট করে জানান ।