웹스파이더란 무엇인가요?

웹스파이더는 참 생생한 이름이다. 인터넷을 거미줄에 비유한다면 거미는 웹 위를 기어다니는 거미입니다. 웹 스파이더는 웹 페이지의 링크 주소를 통해 웹 페이지를 검색하며, 웹 페이지의 특정 페이지(보통 홈페이지)에서 시작하여 해당 웹 페이지의 내용을 읽고 웹 페이지에서 다른 링크 주소를 찾아 이를 사용합니다. 다음 웹페이지를 찾기 위해 주소를 링크하세요. 이 웹사이트의 모든 웹페이지가 크롤링될 때까지 루프가 계속됩니다. 전체 인터넷을 하나의 웹사이트로 간주한다면 웹 스파이더는 이 원리를 이용해 인터넷의 모든 웹페이지를 크롤링할 수 있습니다.

——이렇게 보면 웹 스파이더는 웹 페이지를 크롤링하는 프로그램인 크롤러입니다.