본문 바로가기
IT-개발,DB

웹 크롤링 가능 여부 파악

by SB리치퍼슨 2021. 10. 8.


특정 사이트에서 데이터를 추출하려고 할 때,

웹 크롤링 가능한지를 알아보아야 겠습니다.

다음 방법이면 쉽게 파악할 수 있습니다.

도메인 주소/robots.txt 를 확인하면 크롤링 가능 여부를 파악할 수 있습니다.

참고하세요.

네이버 증권
프로그래머스

 

다음포털

반응형

'IT-개발,DB' 카테고리의 다른 글

Python extension loading 문제  (0) 2022.03.15
node.js 외부모듈 설치 및 사용하기  (0) 2022.02.28
go lang convert struct to interface{}  (0) 2021.08.31
Go 루틴 (goroutine)  (0) 2021.08.23
go 채널을 사용하는 좋은 예제  (0) 2021.08.19

댓글