사이트 크롤링이 어려운 case

 

ajax-script로 HTML 작성했을 때

이미지를 jpg, png, bmp, gif 속성이 없는 주소로 되어있는 이미지

예)http://abc.co.kr/imgs/a213123dsfas

 

python requests로 접속시도하면 해당 IP차단

검색봇(구글,네이버,네이트 등)을 이용해서 허용경로만 웹페이지 볼 수 있도록 할 때 (어뷰징)

 

[차단 우선순위]

Front-end (Ajax, react, vue, angular 이용)

Back-end (API서버 증설 (Rest,Restful API)