|
안녕하세요 초보 개발자입니다.
웹 크롤러를 서버상에 업로드하여 동작시키는 것에 대해 여러분의 의견을 듣고자 합니다.
우선 제가 크롤링 하려는 데이터는 쇼핑몰의 제품명입니다. 따라서 각 제품마다
카테고리로 분류되어 있고 그 량도 상당히 많습니다.
구글링을 해봐서 파이썬과 beautifulsoup4를 활용한 웹 크롤러를 구성하였고
이를 동작시켰으나, 크롤링 동작시간, 웹페이지의 수 등이 문제가 되는지
크롤링 수행시간이 오래 걸리더군요, 이 점으로 한참을 고민하다.
다른 분들은 구글 앱 엔진을 활용하여 크롤링을 한다는 이야기를 접하게 되었고
결국 크롤러를 구글 앱엔진에 업로드 하고, 웹 크롤러를 동작시켰으나
request deadline에 걸려 얼마 지나지 않아 500 에러가 발생하였습니다ㅜ.ㅜ
서론이 너무 길었는데 질문을 드리려고 합니다.
>>많은 량의 페이지를 크롤링 하고자 할때 어떠한 방법을 활용하여 크롤링 작업을 수행하나요?
-저의 경우는 로컬로 웹 크롤러를 동작시켰더니 수행 시간이 많이 필요하여 웹 서버에서 동작시켰고 그 외에도 빠르게 크롤링을 하는 방법을 찾고 있습니다.
>>구글 앱엔진에서 크롤링 수행시 request deadline 제한으로 에러가 발생하였는데 다른 웹 호스팅에서 크롤러를 동작시키면 문제 없이 크롤링이 수행될 수 있을까요?
| 
등록안내
0
0
망상소년
