728x90
반응형

robots.txt 를 무시하는 MS의 bingbot


어제 새벽 미국에서 사내 인트라넷에 접속하여 로그인한 기록이 발견되어 회사가 발칵 뒤집혀졌다. 안그래도 요즘 업계에 보안사고때문에 흉흉한데 임원분 계정으로 접속한게 확인되어 다들 분석을 하고있었는데 일단 접속한 IP는 40.77.167.5 였다.

구글링을 통해 검색해보니 MS의 bingbot 이라고 검색이 되어 우리 사내 인트라넷은 robots.txt가 걸려있는데 왜 크롤러가 접근했는지 궁금하여 더 확인하다보니 재밌는걸 알아냈다. 



첨부한 이미지 내용중에서 흥미로운 부분은 Respect robots.txt 라는 필드인데 이 필드의 값이 'no' 이다. 

말그대로 robots.txt 를 존중하지않는다. robots.txt를 무시하고 크롤링하면 저작권 문제나 다른 법적문제가 뒷따를수도 있을거 같은데 (이부분은 확실하지않다.) MS는 그런걸 별로 신경쓰지 않는모양이다. 

728x90
반응형

'개발잡담' 카테고리의 다른 글

왜 메시지큐를 사용해야 하는가  (0) 2016.06.07

+ Recent posts