고객의 문의 내용을 재구성한 포스트입니다.

 

질문

야구 경기 일정 정보를 긁어와서 웹사이트에 넣고 싶습니다.
예를 들어, http://www.koreabaseball.com/Schedule/ScheduleResult.aspx 이곳에 야구경기 일정이 있습니다.
이 웹사이트에서 경기일정 부분만 뽑아서, 제 웹사이트에 넣고 싶습니다.
그리고, 업데이트는 매일 이루어 졌으면 좋겠습니다.

 

 

답변

질문을 보니 웹 스크래핑이 필요한 상황인 것 같습니다.
웹에서 데이터를 추출해 원하는 형태로 가공해 저장하는 것을 “웹 스크래핑”이라고 하는데
이를 구현하는 방법이 여러 가지 있습니다. 간단히 설명해 보겠습니다.

 

(1) 사람이 직접 Copy & Paste하는 방법
비용을 들이지 않고 해결할 수 있는 방법입니다.
데이터의 양이 적다면 직접 Copy & Paste하는 방법이 좋습니다만
데이터의 양이 많거나 시간이 많이 걸리는 구조라면 다른 방법을 이용해야 합니다.

그런데 매일 데이터가 업데이트가 되어야 하니, 수작업으로 처리하기란 만만치 않을 것 같습니다.

 

(2) 프로그래밍 구현
프로그래밍해서 직접 소프트웨어를 만드는 방법이 있습니다.
실제로 질문하신 분께서 원하는 만큼 만들기 위해서는
많은 프로그래밍 경험과 시간이 필요할 것으로 보입니다.

 

(3) 전문 서비스 이용
손으로 작업하기에는 양이 많고, 그렇다고 프로그램을 직접 만들 수 있는
상황이 되지 않는다면 전문 서비스를 이용하는 방법이 있습니다.
질문자께서는 데이터를 얻는 것 자체가 중요한 것이 아니라,
얻은 데이터를 사업에 활용하시는 것이기 때문에
무엇보다 빠르고 정확하게 데이터를 얻는 것이 중요할 것입니다.
현명하게 판단하시겠지만 전문 서비스를 이용하여
시간과 비용을 절약하는 것이 어떨까 생각해봅니다.

국내 웹 스크래핑 서비스로 Data Delivery가 있습니다.
https://datadelivery.co.kr

원하시는 답변이 됐는지 모르겠네요.