반응형 웹크롤링2 웹 크롤링 가능 여부 파악 특정 사이트에서 데이터를 추출하려고 할 때, 웹 크롤링 가능한지를 알아보아야 겠습니다. 다음 방법이면 쉽게 파악할 수 있습니다. 도메인 주소/robots.txt 를 확인하면 크롤링 가능 여부를 파악할 수 있습니다. 참고하세요. 2021. 10. 8. 크롤링/스크래핑 ? 무슨 차이지? 크롤링/스크래핑 크롤링? 스크래핑? 요즘 뿐만이 아니라 오래전부터 사용해오던 IT계의 용어입니다. 그런데. 이 차이를 명확히 아는 사람들이 없죠. 저도 알고보니 월드컵이 있던 2002년쯤 크롤링을 해봤었네요. 그 당시에는 스크래핑이라는 단어를 사용하지 않았습니다. 저는 근래에 웹크롤링에 대해서 공부를 하고 있습니다. 그 때와 지금 사용하는 개발언어가 다르기 때문입니다. 그럼, 크롤링과 스크래핑에 대하여 알아볼까요. 크롤링과 스크래핑은 비슷한 목적이지만 상황에 따라 다르게 사용합니다. 그 목적은 다른 웹페이지의 정보를 가져와 활용하기 위한 것인데, 크롤링은 크롤링 서버에서 대상 서버로 요청을 보내 html 형태로 결과물을 가져올 수 있으면 이를 분석해서 원하는 데이터로 변환할 수 있어 상대적으로 간단한데,.. 2021. 1. 20. 이전 1 다음 반응형
