برای کشف، دسته‌بندی و رتبه‌بندی میلیون‌ها وبسایتی که در فضای اینترنت وجود دارند، موتورهای جستجو باید ابتدا بطور دقیق بفهمند چه نوع اطلاعاتی در دسترس است و در گام بعدی، آن اطلاعات را بطور منطقی به کاربران ارائه دهند. این فرآیند ازطریق 3 اقدام بنیادی انجام می‌پذیرد:
کرال کردن (Crawling)
ایندکس کردن (Indexing)
رتبه‌بندی کردن (Ranking)
با استفاده از این اقدامات، موتورجستجو محتواهای تازه منتشر شده را کشف می‌کنند، آن‌ها را در پایگاه داده خود ذخیره می‌کنند و در نهایت برای استفاده کاربران طبقه‌بندی می‌کنند. حال، اجازه دهید تا باهم به بررسی هر یک از این اقدامات بپردازیم:
کرال کردن: موتورهای جستجو ربات‌هایی در اختیار دارند که به خزنده (Crawler) و عنکبوت نیز معروفند. آن‌ها ربات‌های خود را برای ارزیابی محتوای وبسایت‌های تازه ایجاد شده و یا محتواهایی که به تازگی تغییر کرده باشند ارسال می‌کنند. وظیفه این ربات‌ها این است که صفحات وب را به دقت بررسی کنند تا دریابند که هر کدام در چه زمینه‌ای بوجود آمده‌اند و چه موضوعی دارند. سپس، با دنبال کردن لینک‌های موجود در صفحات، به صفحات دیگر رفته و آن صفحات را نیز کرال می‌کنند.