웹 크롤링 가능 여부 파악

특정 사이트에서 데이터를 추출하려고 할 때,

웹 크롤링 가능한지를 알아보아야 겠습니다.

다음 방법이면 쉽게 파악할 수 있습니다.

도메인 주소/robots.txt 를 확인하면 크롤링 가능 여부를 파악할 수 있습니다.

참고하세요.

네이버 증권

프로그래머스

 

다음포털