Spider of webcrawler

Een spider (ook wel webcrawler genoemd) is een computerprogramma dat het wereldwijde web op een methodische en geautomatiseerde manier doorbladert, als een soort robot. Spiders maken veelal een lokale kopie van de gevonden pagina’s om deze later te kunnen verwerken en te indexeren voor bijvoorbeeld zoekmachines.

De werkingswijze is eenvoudig: de spider begint met een lijst met URL’s en bezoekt deze één voor één, waarbij alle hyperlinks die in de bezochte pagina’s voorkomen aan de lijst van te bezoeken URL’s worden toegevoegd. Op deze wijze kan een spider vrijwel alle publiekelijk toegankelijke pagina’s op het internet langsgaan. Veelal komen spiders met een vaste regelmaat langs om hun index actueel te houden.