실시간크롤링는 단기 성과보다는 누적 효과를 기대하는 것이 좋습니다.
실시간크롤링를 과도하게 단순화하면 오히려 문제를 키울 수 있습니다.
환경 분석 없이 진행한 실시간크롤링는 예측과 다른 결과를 낳을 수 있습니다. 많은 실패 사례는 실시간크롤링의 기본 구조를 이해하지 못한 데서 발생합니다. 개인적으로는 이 부분을 기준으로 작업 방향을 결정합니다. 실시간크롤링는 단기 성과보다는 장기 누적 효과를 목표로 해야 합니다. 처음에는 선택처럼 보일 수 있으나 결과에는 큰 차이를 만듭니다.

실시간크롤링는 환경에 맞는 전략 수립이 필수적입니다. 많은 경우 실시간크롤링의 문제는 구조 설계에서 발생합니다. 경험상 이 요소가 전체 결과에 미치는 영향은 생각보다 큽니다. 실시간크롤링는 단순 실행이 아닌 관리 대상입니다. 현장에서 가장 자주 문제로 이어지는 지점 중 하나입니다.

장기적인 시각에서 실시간크롤링를 바라볼 필요가 있습니다.