검색엔진이란 무엇이며 검색엔진은 어떻게 작동하나요?
검색 엔진이란 인터넷에서 특정 전략에 따라 정보를 수집하고 특정 컴퓨터 프로그램을 사용하여 정보를 정리하고 처리한 후 검색 서비스를 제공하고 사용자에게 관련 정보를 검색하는 시스템을 말합니다. 사용자에게 정보를 제공합니다. 검색 엔진에는 전문 색인, 디렉토리 색인, 메타 검색 엔진, 수직 검색 엔진, 컬렉션 검색 엔진, 포털 검색 엔진 및 무료 링크 목록 등이 포함됩니다.
작동 방식
1단계: 크롤링
검색 엔진은 특정 패턴의 소프트웨어를 사용하여 웹페이지의 링크를 추적하고 한 링크에서 다른 링크로 크롤링합니다. 링크는 거미줄을 기어다니는 거미와 같아서 "거미"라고도 불리며 "로봇"이라고도 불립니다. 검색 엔진 스파이더의 크롤링은 특정 규칙에 입력되며 일부 명령이나 파일 내용을 따라야 합니다.
2단계: 크롤링 및 저장
검색 엔진은 스파이더 추적 링크를 통해 웹페이지를 크롤링하고 크롤링된 데이터를 원본 페이지 데이터베이스에 저장합니다. 페이지 데이터는 사용자의 브라우저에서 얻은 HTML과 정확히 동일합니다. 검색 엔진 스파이더는 또한 페이지를 크롤링할 때 특정 중복 콘텐츠 감지를 수행합니다. 표절, 수집 또는 복사된 콘텐츠가 많고 비중이 낮은 웹사이트를 발견하면 크롤링을 중단할 가능성이 높습니다.
3단계: 전처리
검색 엔진은 스파이더가 크롤링한 페이지를 다양한 단계로 전처리합니다.
⒈텍스트 추출
⒉중국어 단어 분할
⒊불용어 제거
⒋노이즈 제거(검색 엔진은 이러한 노이즈를 식별하고 제거해야 합니다. 저작권 표시 텍스트, 탐색 표시줄, 광고 등...)
5. 순방향 인덱스
6. 링크 관계 계산
8. 특수 파일 처리
검색 엔진은 일반적으로 HTML 파일 외에도 PDF와 같은 다양한 텍스트 기반 파일 형식을 크롤링하고 색인을 생성할 수 있습니다. , Word, WPS, XLS, PPT, TXT 파일 등 검색 결과에서도 이러한 파일 형식을 자주 볼 수 있습니다. 그러나 검색 엔진은 아직 이미지, 비디오, 플래시 등 텍스트가 아닌 콘텐츠를 처리할 수 없으며 스크립트 및 프로그램을 실행할 수도 없습니다.
4단계: 순위
사용자가 검색창에 키워드를 입력하면 순위 프로그램이 색인 데이터베이스 데이터를 호출하고 순위를 계산하여 사용자에게 순위를 표시합니다. 프로세스는 사용자와 직접 상호 작용합니다. 그러나 검색 엔진의 엄청난 양의 데이터로 인해 매일 작은 업데이트가 이루어질 수 있지만 검색 엔진의 순위 규칙은 일반적으로 다양한 규모의 일간, 주간 및 월간 단계를 기반으로 업데이트됩니다.
웹사이트 콘텐츠와 관련성
검색 횟수가 많고 경쟁이 낮음
주요 키워드, 너무 광범위하지 않음
을 선택하세요.너무 특별하지 않은 주요 키워드
상업적 가치
텍스트 추출
중국어 단어 분할
불용 단어 제거
노이즈 제거
중복 제거
순방향 인덱스
역 인덱스
링크 관계 계산
특수 파일 처리