아틀라시안 때문에 cloak.ist 드랍

‘cloak.ist’는 커스텀 도메인을 지원하지 않는 웹 서비스를 대상으로 커스텀 도메인으로 랩핑 해 주는 서비스입니다. 전에 CLOUD-6999에 대해 이야기하면서 커스텀 도메인의 필요성을 언급했는데 아틀라시안 제품 말고도 기업용 제품이면서도 커스텀 도메인을 지원하지 않는 서비스가 많아진 상황입니다. 그럼에도 여전히 커스텀 도메인을 필요로 하는 사람들이 있고 장점도 있기 때문에 등장한 서비스인 것 같습니다.

DNS가 이 서비스를 가리키도록 해 놓고 이 서비스에서 커스텀 도메인으로 랩핑할 주소를 지정하면 도메인을 요청할 때 이 서비스가 중간에서 실제 주소를 읽어 커스텀 도메인을 통해 접근할 수 있게 해 줍니다. 중간에서 데이터를 가로채는 역할을 하므로 로그인이 필요한 위치에는 적용할 수 없습니다. 기술적으로 적용이 불가능하지는 않을 것 같지만 중간에서 모든 것을 보고 있는 이 서비스의 특성 상 보안 문제를 일으킬 수 있어 아예 지원하지 않는 모양입니다.

현재 이 웹사이트는 컨플루언스 클라우드를 그대로 사용하고 있습니다. 다른 괜찮은 도구도 있는데 굳이 컨플루언스 위키를 괴팍하게 그대로 사용하는 가장 큰 이유는 평소에 기억과 사고 대부분을 의탁하는 도구를 그대로 웹사이트를 운영하는데도 사용하면 좋을 것 같아서입니다. 한편으로는 몇 년 전에 어떤 웹사이트를 본 경험 때문입니다. 몇 년 전 어떤 논문을 찾으려고 구글링을 하던 중에 어느 교수님의 웹사이트를 열게 됩니다. 지금은 지원하지 않지만 당시 드랍박스는 특정 디렉토리에 웹사이트 게시에 필요한 파일을 올려 놓고 이 디렉토리를 공유한 다음 공유 주소로 접근하면 웹사이트를 보여줬습니다.

그런데 이 교수님의 웹사이트가 이런 식으로 운영되고 있었습니다. 도메인은 있었지만 도메인을 통해 리다이렉트 된 페이지는 드랍박스의 공유 주소였고요. 이걸 보는 순간 이런 대단한 논문을 내는 교수님들도 이렇게 단순한 방법으로 웹사이트를 운영하는데 고작 내가 뭐라고 돈을 들여 서버를 운영하고 거기에 보잘 것 없는 컨텐츠를 제공하는데 이렇게 큰 시간과 노력을 기울이고 있는지 생각해보니 몹시 부끄러웠습니다. 그래서 이 때부터 웹사이트를 운영하기는 하지만 여기에 너무 자원을 많이 들이지 않기로 결심했습니다. 현재 컨플루언스 위키로 동작하는 웹페이지는 여기서 시작된 것입니다.

한편 커스텀 도메인을 통해 서빙하기로 했던 가장 큰 이유는 구글 검색 때문입니다. 이 웹사이트는 어느 메이저 플랫폼에도 속하지 않았기 때문에 인터넷 사용자 대부분으로부터 발견될 가능성이 없습니다. 사실상 이른바 딥 웹과 전혀 다르지 않습니다. 웹사이트가 사람들에 발견되게 하려면 구글 검색에 노출 시킬 수밖에 없었는데 아틀라시안 클라우드 도메인인 atlassian.net은 구글 서치 콘솔에 도메인 소유 증명을 통과할 수 없었기 때문에 크롤링을 요청할 수가 없었습니다. 그래서 ‘cloak.ist’를 통해 랩핑한 다음 이 랩핑한 주소를 구글에 제출해 검색에 나타나기 시작했습니다. 한편으로는 커스텀 도메인을 통해 주소를 제공하는 것도 나쁘지 않았고요.

최근 아틀라시안은 예고 없이 아틀라시안 클라우드 도메인 하위의 robots.txt를 수정해 모든 클라이언트에 대해 Disallow: /wiki/를 선언해버립니다. 그래서 도메인을 랩핑했더라도 여전히 같은 크롤링 정책을 사용하므로 구글 서치 콘솔에서 크롤링이 불가능해졌다는 알림을 받았습니다. 이 설정을 바꿀 수 있게 해 달라는 지라 태스크 역시 아주 오랜 기간 동안 방치되어 있어 단기간 안에 이 문제를 해결할 수 없겠다는 결론에 도달했습니다. 실은 앞단에 클라우드플레어를 붙여 robots.txt를 요청하면 포워딩 해 별도로 만든 파일이 응답하게 할 생각이었지만 올바른 방법 같지는 않아 보였습니다.

결국 ‘cloak.ist’ 사용을 중단하고 커스텀 도메인은 아틀라시안 클라우드 주소로 포워딩 시킨 다음 클라우드 플레어에서 기존 커스텀 도메인 기반 주소를 요청하면 아틀라시안 클라우드 주소로 포워딩 하도록 설정했고 다행히 기존에 배포한 퍼머링크를 깨지 않을 수 있었습니다.

한 1년 만에 이제 다시 구글에 의해 검색이 불가능한 상태로 돌아왔습니다. 어디부터 잘못된 것인지 잘 모르겠습니다. 글 제목을 ‘아틀라시안 때문에 cloak.ist 드랍’이라고 했는데 애초에 ‘cloak.ist’를 사용하기 시작한 것도 CLOUD-6999를 해결하지 않는 아틀라시안 때문이 아니었나 하는 생각을 하니 또 분노 게이지 상승하고요.