컨플루언스 클라우드를 구글 검색에 노출시키기
‘클라우드플레어 터널을 사용해 컨플루언스 클라우드에 커스텀 도메인 설정’에서는 아틀라시안이 처음 문제가 제기된 다음 2023년 현재 12년 째 해결하지 않고 있는 CLOUD-6999에 대응해 컨플루언스에 커스텀 도메인을 설정하는 방법을 실행해 보았습니다. 검색을 포함해 여러 가지 매크로를 사용할 수 없게 됐고 또 클라우드플레어 터널을 서비스 하는 별도 서버를 유지해야 하는 단점이 있지만 개인적으로는 이 단점에도 불구하고 컨플루언스에 커스텀 도메인을 붙여 서비스 할 수 있다는 장점이 더 컸습니다.
한편 컨플루언스를 커스텀 도메인을 통해 서비스 하면서 얻을 수 있는 또 다른 장점은 구글 검색에 노출시킬 수 있는 점인데 오늘은 커스텀 도메인을 통해 컨플루언스를 서비스 할 때 구글 검색에 노출 시키는 간단한 방법을 설명하겠습니다.
컨플루언스 클라우드는 한동안 구글 검색을 막지 않았습니다. 컨플루언스 서버 버전을 사용할 수 있던 시대에는 직접 robots.txt를 고칠 수 있어 검색 가능 여부를 설정할 수 있었고 또 플러그인을 사용해 편집할 수도 있었습니다. 하지만 클라우드로 이전하면서 아틀라시안은 atlassian.net의 모든 서브도메인에서 robots.txt가 같은 응답을 하도록 했습니다.
한동안은 이 같은 응답을 하던 설정이 구글 검색을 막지 않았지만 대략 2022년 말에서 2023년 초 사이의 어느 시점에 설정이 바뀌어 더 이상 구글 검색을 할 수 없게 됩니다. 2023년 봄 현재 atlassian.net의 아무 서브도메인의 robots.txt를 요청해도 모두 아래와 같이 설정 되어 있어 컨플루언스 위키를 검색에 노출 시킬 수 없습니다. 또한 이 설정에 접근할 방법을 제공하지도 않았습니다.
# This robots.txt content is autogenerated
User-agent: *
Disallow: /wiki/
Disallow: /sr/
Disallow: /si/
Disallow: /charts
Disallow: /secure/ConfigureReport.jspa
Disallow: /secure/ConfigureReport!default.jspa
Disallow: /secure/admin/
Disallow: /l/cx/
Disallow: /login
Disallow: /logout
하지만 컨플루언스를 커스텀 도메인을 통해 제공하면 간단히 구글 검색에 노출 시킬 수 있습니다. 핵심은 구글 검색이 robots.txt를 읽을 때 이 주소에 리다이렉션이 있으면 최대 다섯 번 까지 리다이렉션을 따라간다는 점입니다. 그래서 커스텀 도메인을 사용한다면 주소를 내가 제어할 수 있으니 기존 커스텀 도메인 상의 robots.txt 주소를 요청하면 같은 도메인 상의 다른 위치로 리다이렉트 시켜 버리면 문제를 해결할 수 있습니다.
먼저 리다이렉션 후 읽을 robots.txt를 만들어야 합니다. 기존 아틀라시안이 구글 검색을 차단하는데 사용한 설정을 그대로 가져와 /wiki/ 경로만 검색을 허용하도록 설정을 변경하고 이를 Github Pages에 올려놓고 CNAME을 통해 도메인 하위 주소로 접근할 수 있게 설정했습니다.
지난번에 컨플루언스를 커스텀 도메인을 통해 서비스하도록 설정할 때 도메인 설정을 클라우드플레어를 통해 제어할 수 있게 해서 다른 설정 없이 바로 클라우드플레어의 리다이렉트 룰을 만들어 커스텀 도메인을 통해 서비스 하는 컨플루언스 경로의 robots.txt를 바로 위에서 만든 다른 주소로 리다이렉트 하도록 설정할 수 있습니다. 만약 클라우드플레어를 통해 도메인을 제어하지 않더라도 특정 서브도메인의 네임 서버만 변경하면 될 거라고 예상합니다.
Rules -> Redirect Rules에 기존 robots.txt를 요청하면 수정한 주소로 리다이렉트 하도록 설정합니다. 이 설정에 따라 https://docs.woojinkim.org/robots.txt를 요청하면 수정한 https://woojinkim.org/robots.txt로 리다이렉트 되어 구글 검색을 허용할 수 있습니다.
구글 서치 콘솔로 이동해 테스트 주소를 넣고 ‘실제 URL 테스트’를 해 보면 다음과 같이 구글 검색에 정상적으로 노출 가능한 상태임을 확인할 수 있습니다.
결론. 컨플루언스 클라우드와 구글 검색에 관해 검색해보면 구글 검색에 노출 시키는 요구사항보다는 구글 검색으로부터 제거하기를 원하는 요구사항이 더 많습니다. 그래서 아틀라시안은 모든 클라우드 사이트에 대한 구글 검색을 차단하도록 설정한 것이 아닐까 싶지만 공개된 스페이스에 한해 검색 가능하도록 설정하고 싶은 사용자가 없지는 않았을텐데 이런 식으로 모든 사이트의 검색을 차단하도록 설정한 것은 여러 모로 아쉬움이 남습니다. 다행히 장기적으로 유지 가능한 방법인지에 대해서는 의구심이 들지만 한동안은 구글 검색에 컨플루언스 위키를 노출 시킬 수 있게 되었습니다.