A crawler (más néven webcrawler, pók vagy keresőrobot) egy szoftver, amellyel a keresőmotorok bejárják és indexelik az interneten található weboldalakat. Fő feladata, hogy felkeresse a weboldalakat, elolvassa a tartalmukat, és információt gyűjtsön, amelyből a keresőmotorok indexet építenek. Ezt az indexet használják, amikor releváns találatokat adnak a keresésekre.
A crawler linkről linkre halad az oldalak között, és adatokat gyűjt az egyes oldalak tartalmáról, szerkezetéről és más fontos jellemzőiről. Ezekből az adatokból értik meg a keresőmotorok, miről szól egy weboldal, és így megfelelően rangsorolhatják a találatok között. A crawlereknek köszönhetően a keresőmotorok naprakész információkkal dolgoznak, és pontos, releváns találatokat adhatnak a felhasználóknak.