질문
정부에서 제공하는 공공 사이트에 있는 데이터를 활용하고 자 합니다.
일일히 수작업으로 데이터를 복사해서 정리하려니 너무 오래 걸리고
누락되는 데이터도 많습니다.
이런 작업을 빠르고 정확하게 할 수 있는 방법이 있나요?
답변
안녕하세요.
질문하신 것을 보니 웹 스크래핑이 필요한 상황인 것 같네요.
웹에서 데이터를 추출해 원하는 형태로 가공해 저장하는 것을 “웹 스크래핑”이라고 하는데
이를 구현하는 방법이 여러 가지 있습니다. 간단히 설명해 보겠습니다.
(1) 사람이 직접 Copy & Paste하는 방법
비용을 들이지 않고 해결할 수 있는 방법입니다.
데이터의 양이 적다면 직접 Copy & Paste하는 방법이 좋습니다.
데이터의 양이 많거나 시간이 많이 걸리는 구조라면 다른 방법을 이용해야 합니다.
(2) 프로그래밍 구현
C++, PHP 등으로 프로그래밍해서 직접 소프트웨어를 만드는 방법이 있습니다.
실제로 질문하신 분께서 원하는 만큼 만들기 위해서는
많은 프로그래밍 경험과 시간이 필요할 것으로 보입니다.
(3) 전문 서비스 이용
손으로 작업하기에는 양이 많고, 그렇다고 프로그램을 직접 만들 수 있는
상황이 되지 않는다면 전문 서비스를 이용하는 방법이 있습니다.
질문자께서는 데이터를 얻는 것 자체가 중요한 것이 아니라,
얻은 데이터를 통해서 벤치마킹하여 사업구상을 하실 것이기 때문에
무엇보다 빠르고 정확하게 데이터를 얻는 것이 중요할 것입니다.
현명하게 판단하시겠지만 전문 서비스를 이용하여
시간과 비용을 절약하는 것이 어떨까 생각해봅니다.
국내 웹 스크래핑 서비스로 Data Delivery가 있습니다.
https://datadelivery.co.kr
원하시는 답변이 됐는지 모르겠네요.
사업 번창하시기 바랍니다.
