ScrapyScrapy는 BeautifulSoup 처럼 단순히 HTML 또는 XML 문서를 파싱하기 위한 라이브러리가 아니라,웹 스크래핑과 크롤링을 위해 설계된 종합적인 도구이다.비동기 처리, 분산 처리, 내장 파이프라인 등의 특징으로 작업을 효율적으로 처리할 수 있다.또한, 자동으로 해당 웹사이트의 robots.txt를 파싱하여 규칙을 준수한다는 장점이 있다.Scrapy 아키텍처SchedulerURL을 스크래핑할 순서를 제어Downloader인터넷에서 웹페이지를 가져와 Spider에 전달ResponseDownloader가 가져온 웹페이지의 HTML 내용SpiderResponse를 처리하고 데이터를 추출하며 새로운 스크래핑 작업 생성Item Pipeline추출한 데이터를 처리하고 저장하는데 사용Scrap..
