robots 파일 생성

robots. txt 파일은 무엇입니까?
검색 엔진 은 일종의 프로그램 " 거 미 " ( 일 명 스 파이 더) 를 통해 인터넷 의 웹 페이 지를 자동 으로 액세스 하고 웹 페이지 정보를 얻 습니다 .웹 사이트에 robots . t xt 라는 일반 텍스트 파일을 만들 수 있습니다 . 이 파일 에는 스 파이 더 가 액세스 하지 않으 려는 웹 사이트 의 부분을 명시 하여 웹 사이트 의 일부 또는 전부 가 검색 엔진 에 액세스 하거나 포함 되지 않도록 하거나 robots . t xt 를 통해 검색 엔진 이 지정 된 콘텐츠 만 포함 하도록 지정 할 수 있습니다 .검색 엔진 이 웹 사이트를 크 롤 링 하는 첫 번째 파일 은 robots . t xt 입니다 .

robots. txt 파일을 자세히 설명해 주시겠습니까?
파일 위치
robots. txt 파일은 웹 사이트의 루트 디렉토리에 있어야 합니다.예를 들어, 검색 엔진이 웹 사이트를 방문하면 먼저 robots. txt 파일이 웹 사이트에 있는지 확인하고 로봇이 파일을 찾으면 파일의 내용에 따라 액세스 권한의 범위를 결정합니다. WordPress 로봇 파일 위치는 WordPress 사이트 루트 프로그램에서 robots. txt 를 업로드하지 않았습니다, 검색 엔진과 사용자가 파일을 방문 할 때, WordPress 프로그램은 적극적으로 검색 엔진과 사용자에게 robots. txt 를 생성합니다; 우리가 웹 사이트 루트 프로그램에 robots. txt 를 업로드하면, 사용자와 검색 엔진 거미가 방문하는 것은 우리가 업로드 한 파일입니다, WordPress 는 더 이상 그 파일을 생성하지 않습니다. WordPress 는 서버가 로봇을 찾을 수 없을 때만 이 파일을 생성합니다.
파일 형식
" rob ots . t xt " 파일 에는 빈 행 (CR , CR / NL 또는 NL 로 끝) 으로 구분 된 하나 이상의 레 코 드가 포함되어 있으며 , 각 레 코 드는 다음과 같은 형 식 입니다 : "<field>:<optionalspace><value><optionalspace>" 이 파일 에는 UN IX 에서 일반적으로 사용되는 것처럼 # 을 사용하여 주 석 할 수 있습니다 .이 파일 의 레 코 드는 일반적으로 하나 이상의 사용자 에이 전 트 행 으로 시작 되며 , 그 뒤 에는 다음과 같은 디 사 용 행 이 추가 됩니다 : 사용자 에이 전 트 : 이 항목 의 값 은 검색 엔진 봇 의 이름을 설명 하는 데 사용됩니다 . " rob ots . t xt " 파일 에서 여러 사용자 에이 전 트 레 코 드가 있으면 여러 로봇 이 프로토 콜 의 적용 을 받 습니다 .따라서 robots . t xt 파일 에는 적어도 하나의 사용자 에이 전 트 레 코 드가 있어야 합니다 .이 항목 의 값 이 * (와 일 드 카 드) 로 설정 되면 프로토 콜 은 모든 검색 엔진 봇 에 대해 유효 합니다 . " rob ots . t xt " 파일 에는 " U ser - agent : * " 과 같은 레 코 드가 하나 만 있을 수 있습니다 . Dis al low : 이 값 은 전체 경 로 또는 부분 경 로 일 수 있으며 Dis al low 로 시작하는 모든 URL 이 로봇 에 의해 액세스 되지 않을 수 있는 URL 에 액세스 되지 않 기를 원하는 URL 을 설명 합니다 .예를 들어 , " D isal low : / help " 는 검색 엔진 이 / help . ht ml 과 / help / index . ht ml 에 액세스 할 수 있도록 허용 하지 않으며 , " D isal low : / help /" 는 로봇 이 / help . ht ml 에 액세스 할 수 있도록 허용 하지만 / help / index . ht ml 에 액세스 할 수 없습니다 .비 어 있는 Dis al low 레 코 드는 웹 사이트 의 모든 부분이 액세스 할 수 있으며 "/ robots . t xt " 파 일에 적어도 하나의 Dis al low 레 코 드가 있어야 한다는 것을 의미합니다 . "/ robots . t xt " 가 빈 문서 인 경우 사이트 는 모든 검색 엔진 로봇 에 열려 있습니다 .
일반 차폐
개인 정보 보호 페이지, 백그라운드 랜딩 페이지, 캐시 페이지, 이미지 디렉토리, CSS 디렉토리, 템플릿 페이지, 이중 페이지의 콘텐츠를 차단하고 동시에 일부 품질이 낮은 페이지를 차단할 수 있습니다. 예를 들어, 모든 회원 사용자 공간 페이지, dz 의 동적 링크도 차단할 수 있습니다. Disallow: 명령으로 설정합니다.