クローラとは、はい回る、徐行する、などの意味を持ち一般の外来語としては、水泳の両手で交互に水をかいて進む泳法を意味している。

Webの分野では、ソフトウェアなどが自動的にホームページを収集する作業のことを意味している。

このとき、既知のWebページをダウンロードして解析を行い、別のページへのリンクが含まれる場合そのページをダウンロードする、という過程を繰り返して、次々にWebページを収集していく。

このような作業を行うソフトウェアを「クローラ」(crawler)「ロボット」(robot、縮めて「ボット」(bot)とも)、「スパイダー」(spider)などと呼び、検索エンジンなどがインターネット上のホームページを収集するのに利用している。