Web Directory adalah sebuah alat dalam mengelompokan berbagai situs yang ada di internet yang sesuai dengan kategori yang paling tepat dengan situs Anda. Tahukah Anda? Meskipun Search Engine lebih sering kita dengar daripada Web Directory, ternyata Web Directory lebih dulu hadir dalam membantu peselancar internet dalam menelusuri dunia yang maya ini. Ada 2 hal mendasar yang membedakan Web Directory dengan Search Engine, yaitu:

1. Web Directory tidak memiliki crawler/spider/robot/bot. Jadi, Anda harus mendaftarkan situs Anda secara manual. Sedikit menyulitkan sih, tetapi bila situs kita sudah terindeks maka kita tidak perlu melakukan submit ulang karena biasanya situs yang terdaftar dalam Web Directory akan bertahan lama Jadi, ga masalah kan?
2. Indexing dilakukan oleh manusia. Mungkin sedikit merepotkan, tetapi situs kita akan dikategorikan sesuai dengan kategori situs yang paling tepat tanpa adanya kesalahan, karena yang melakukan indexing adalah manusia. Namun, hal ini dapat berdampak informasi yang ada di Web Directory menjadi kadaluarsa karena tidak ada manusia yang melakukan checking secara intensif terhadap suatu situs, tetapi Search Engine menambal kekurangan ini dengan memberikan data tentang situs yang sudah tidak eksis lagi satu hal lagi yang menjadi ganjalan, situs kita akan lama diindeks oleh Web Directory karena jumlah situs yang masuk berlipat-lipat lebih banyak daripada orang yang bertugas mengindeks jadi ya mesti sabar

Dengan Web Directory juga Anda dapat meningkatkan link popularity situs Anda dan meningkatkan kemungkinan kunjungan spider dari Search Engine ke situs Anda Apakah Anda sudah pernah mendaftarkan situs Anda pada Web Directory?

Google dalam melakukan pencarian akan melakukan 3 langkah yang Anda kenal dengan istilah CIS (Crawling, Indexing, Serving). Saya akan menjelaskan secara lebih detail tentang ketiga langkah tersebut.

Crawling

Crawling adalah sebuah proses dimana Googlebot menemukan situs baru atau situs yang telah diupdate dan ditambahkan pada indeks Google.

Google menggunakan seperangkat besar komputer dalam melakukan crawling terhadap milyaran halaman situs. Program yang dibuat untuk melakukan tugas ini disebut Googlebot ( kadang ada yang menyebutnya robot, bot atau spider). Saat Googlebot mengunjungi sebuah situs, Googlebot akan mengunjungi setiap link yang terdapat pada situs tersebut (hal ini akan berhubungan dengan sitemap-topik yang akan saya bahas pada kesempatan yang lain) dan menempatkan tiap halaman pada daftar halaman yang akan di-Crawl. Menambahkan situs baru, mengganti situs yang terdahulu dan broken link akan dicatat pada langkah ini.

Google tidak menerima pembayaran untuk melakukan Crawling situs, dan Google secara profesional akan memisahkan hasil pencarian dengan iklan yang ada pada AdWord.

Indexing

Googlebot akan memproses setiap halaman yang telah di Crawl untuk disusun menjadi satu indeks yang sangat besar menurut kata kunci yang ditemukannya dan berdasarkan lokasi dari tiap halaman. Sebagai tambahan, Google memproses informasi kata kunci yang terkandung pada meta tags, title tags, dan atribut ALT yang terdapat pada img tags. Googlebot dapat memproses banyak, tapi tidak semua, jenis content. Sebagai contoh, Google tidak dapat memproses file media (*.flv,*.mp3,*.ogg dan lainnya) dan juga halaman dinamis (menggunakan bahasa pemrograman php,asp,java dan lainnya). Jadi, kata kunci pada media tersebut tidak dapat di proses oleh Google.

Serving

ketika user memasukkan kata kunci, mesin Google akan mencari halaman yang tepat pada databasenya sesuai dengan permintaan user dan akan menyajikan hasil yang paling relevan kepada user. Tingkat relevansi ini ditentukan oleh lebih dari 200 faktor, yang salah satunya adalah PageRank. PageRank adalah alat ukur seberapa baik halaman website Anda dengan berdasarkan pada link dari situs lain. Mudahnya, setiap link dari situs lain yang terhubung pada halaman situs Anda akan menambah PageRank situs Anda. Tidak semua link bernilai sama, Google sampai sekarang masih bekerja keras untuk memperbaiki penilaiannya dengan cara mengidentifikasi link spam dan tindakan negatif lain yang berdampak pada hasil pencarian. Jenis link yang paling baik adalah yang memeberikan link berdasarkan kualitas dari situs Anda.

Hmmm,, kalau begitu, apakah  Anda telah memudahkan Search Engine dalam melakukan tugas-tugasnya diatas?