질문
쇼핑몰을 창업하려고 시장조사를 하고 있습니다.
몇몇 쇼핑몰이 제가 운영하고 싶은 이미지와 맞아서
그 곳에 있는 상품을 좀 자세히 조사하고 싶어졌습니다.
상품하고 가격만이라도 쭉 뽑아서 보고 싶은데,
일일히 손으로 하기에는 너무 많네요…
상품이 1000개 이상되는 것 같습니다.
혹시 이런 것을 자동으로 해주는 프로그램이 있나요?
답변
안녕하세요.
질문하신 것을 보니 웹 스크래핑이 필요한 상황인 것 같네요.
웹에서 데이터를 추출해 원하는 형태로 가공해 저장하는 것을 “웹 스크래핑”이라고 하는데
이를 구현하는 방법이 여러 가지 있습니다. 간단히 설명해 보겠습니다.
(1) 사람이 직접 Copy & Paste하는 방법
비용을 들이지 않고 해결할 수 있는 방법입니다.
데이터의 양이 적다면 직접 Copy & Paste하는 방법이 좋습니다.
데이터의 양이 많거나 시간이 많이 걸리는 구조라면 다른 방법을 이용해야 합니다.
(2) 프로그래밍 구현
C++, PHP 등으로 프로그래밍해서 직접 소프트웨어를 만드는 방법이 있습니다.
실제로 질문하신 분께서 원하는 만큼 만들기 위해서는
많은 프로그래밍 경험과 시간이 필요할 것으로 보입니다.
(3) 전문 서비스 이용
손으로 작업하기에는 양이 많고, 그렇다고 프로그램을 직접 만들 수 있는
상황이 되지 않는다면 전문 서비스를 이용하는 방법이 있습니다.
질문자께서는 데이터를 얻는 것 자체가 중요한 것이 아니라,
얻은 데이터를 통해서 벤치마킹하여 사업구상을 하실 것이기 때문에
무엇보다 빠르고 정확하게 데이터를 얻는 것이 중요할 것입니다.
현명하게 판단하시겠지만 전문 서비스를 이용하여
시간과 비용을 절약하는 것이 어떨까 생각해봅니다.
국내 웹 스크래핑 서비스로 Data Delivery가 있습니다.
https://datadelivery.co.kr
원하시는 답변이 됐는지 모르겠네요.
사업 번창하시기 바랍니다.
