Untuk mendukung pembuatan robots.txt yang akan anda buat, saya berikan daftar nama crawler pada Search Engine besar yang menjadi acuan dunia (Walaupun tidak menutup kemungkinan anda mencari artikel ini hanya karena rasa ingin berkenalan dengan nama-nama crawler dari Search Engine besar ). daripada berlama-lama membuat tulisan ngalor-ngidul lebih baik langsung saja pada daftar dibawah ini

Google — Googlebot

Google Image — Googlebot-Image

Yahoo — Yahoo Slurp

MSN — MSNbot

Ask — Teoma

Excite — Architext spider

Inktomi.com — Slurp

Alexa — ia_archiver

Altavista — Scooter

Lycos — T-Rex

Cuil — Twiceler (Search Engine Baru buatan mantan petinggi Google)

Looksmart — MantraAgent