반응형 robots.txt1 웹 크롤링 가능 여부 파악 특정 사이트에서 데이터를 추출하려고 할 때, 웹 크롤링 가능한지를 알아보아야 겠습니다. 다음 방법이면 쉽게 파악할 수 있습니다. 도메인 주소/robots.txt 를 확인하면 크롤링 가능 여부를 파악할 수 있습니다. 참고하세요. 2021. 10. 8. 이전 1 다음 반응형