본문 바로가기
IT-개발,DB

웹 크롤링 가능 여부 파악

by SB리치퍼슨 2021. 10. 8.


특정 사이트에서 데이터를 추출하려고 할 때,

웹 크롤링 가능한지를 알아보아야 겠습니다.

다음 방법이면 쉽게 파악할 수 있습니다.

도메인 주소/robots.txt 를 확인하면 크롤링 가능 여부를 파악할 수 있습니다.

참고하세요.

네이버 증권
프로그래머스

 

다음포털

반응형

댓글0