Next.js에서 Metadata 크롤링 거부 방법

웹 크롤링은 데이터를 수집하고 분석하는 중요한 도구지만, 모든 웹사이트가 크롤링을 허용하는 것은 아닙니다. 특히 민감한 정보나 개인 데이터를 보호하기 위해 일부 웹사이트는 메타데이터에 대한 접근을 제한해야 할 필요가 있습니다.

 

메타데이터 크롤링은 웹페이지의 메타데이터, 예를 들어 페이지 설명, 키워드, 저자 정보 등을 수집하는 과정을 의미합니다. 메타데이터는 검색 엔진 최적화(SEO)와 콘텐츠 관리에 중요한 역할을 하지만, 잘못 사용될 경우 개인정보 침해나 보안 위협이 발생할 수 있습니다.

 

메타데이터 크롤링을 거부해야 하는 이유

1. 개인정보 보호:

   • 웹페이지 메타데이터에는 저자 정보나 페이지 작성 시간 등 개인 정보를 포함할 수 있습니다. 이러한 정보가 외부에 유출되면 개인정보 침해가 발생할 수 있습니다.

2. 보안:

   • 메타데이터를 통해 웹사이트 구조나 민감한 정보에 대한 힌트를 얻을 수 있습니다. 이는 해커가 웹사이트를 공격하는 데 이용될 수 있습니다.

3. 저작권 보호:

   • 특정 메타데이터는 저작권이 있는 자료와 연결될 수 있습니다. 무단으로 수집하고 사용하는 것은 저작권 침해에 해당될 수 있습니다.

 

Next.js에서 Metadata 크롤링 거부 방법

Next.js를 사용하면 metadata 객체를 통해 메타데이터 설정을 간단하게 관리할 수 있습니다. 메타데이터 크롤링을 거부하려면 robots 설정을 활용할 수 있습니다.

 

import { Metadata } from 'next'

export const metadata: Metadata = {
  title: "Privacy Policy",
  robots: {
    index: false,
    follow: true
  }
}

const 개인정보페이지 = () => {
  return (
    <div>
      <h1>개인정보</h1>
      <p>개인 정보가 적혀있는 페이지</p>
    </div>
  )
}

export default PrivacyPage

 

robots.txt 파일을 사용하여 전체 사이트 또는 특정 경로에 대한 크롤링을 제한할 수 있습니다.

User-agent: *
Disallow: /privacy