체계적인 계획 없이 진행한 대용량크롤링는 한계를 드러내기 쉽습니다.

실무 기준에서 대용량크롤링는 관리 체계가 핵심 요소입니다.
실무 기준으로 보면, 대용량크롤링를 단순 작업으로 접근하면 한계에 부딪히기 쉽습니다.
대용량크롤링는 한 번의 작업으로 끝나는 영역이 아닙니다. 많은 경우 대용량크롤링의 문제는 관리 부재에서 발생합니다.

대용량크롤링는 단기적인 성과보다 누적 효과가 중요합니다.