자본주의생존법, DB수집 프로그램 잘퍼주는최사장은사실 영업 경력이 꽤 된다. (8년 영업 경력)영업사원들이 '영업을 해야지!'마음먹고 가장 먼저 하는 일은 바로'DB(데이터 베이스) 수집'DB 수집을 하는 방법은 굉장히 많지만가장 널리 알려진 방법은 웹 크롤링,웹스크래핑 방식이다.*웹 크롤링(web scraping) : 인터넷 상의웹사이트에서 정보를 자동으로 수집하는 기술​*웹 스크래핑(Scraping) : 컴퓨터 프로그램이 웹 페이지에 DB수집 프로그램 접속하여 데이터를자동으로 추출하는 것을 뜻한다.​*웹 크롤링과 웹 스크래핑에 차이​웹 크롤링은 여러 웹 페이지를 자동으로탐색하며 데이터를 광범위하게 수집하는 데목적이 있다.​반면, 웹 스크래핑은 특정 웹 페이지나특정 요소에서 필요한 정보를 정확하게추출하는 데 중점을 둔다.​※그러나 중요한 건 이 두 가지를 실행하려면파이썬(Python)이라는 프로그래밍언어를 할 줄 알아야 한다는 점...(일반인은 DB수집 프로그램 사용하기 어려운 허들 존재)이번에 아는 지인의 부탁으로'어린이 영어학원ɺnd '국제학교'DB 수집을 의뢰받아어떻게 하면 효율적으로 DB 수집을할 수 있을까?고민하던 중 몇 가지를 시도해 보고그중 가장 시간 대비 효율적이고,가성비 좋은 방법을 소개한다.노코드 웹크롤링 스크래핑 Octoparse우선 내가 Octoparse를 선택한 이유는단 한 가지 =노코드 툴이라는 점​사실 웹 크롤링, DB수집 프로그램 웹 스크래핑은개발자들의 전유물이었다.그들만 할 수 있었고, 그들이 아니라면돈을 주고 외주로 이용하던지, 아니면파이썬(Python)을 직접 배워 진행해야 했다.​그러나 시대가 변했다.ai의 발전으로 이제 누구나웹 스크래핑, 웹 크롤링을 할 수 있다.(아마 찾아보면 노코드 툴 Octoparse말고도 또 다른 스크래핑 툴도 많을 것이다)​내가 찾은 노코드 웹 스크래핑 크롤링 툴은'Octoparse'인데 DB수집 프로그램 네이버나 구글에 치면 바로상위 노출되어 홈페이지에 접속할 수 있다.(공식 홈페이지에 접속하면 위와 같은 모습)옥토퍼스 스크래핑 템플릿(Octoparse Web Scraping Templates) 사용 : 네이버 지도스크래퍼 (Naver Map Scraper(by Keyword))옥터퍼스(Octoparse) 사이트에서 회원가입을하면 위와 같이 소트웨어를 제공받아 사용이가능하고,​여기서 옥토퍼스 스크래핑 템플릿(Octoparse Web Scraping Templates)을사용하게 되면 남이 만들어 DB수집 프로그램 놓은 스크래핑툴을 그대로 사용이 가능하다.(내가 굳이 알고리즘을 짜지 않아도 된다)​여기서 내가 사용했던 템플릿은'네이버 지도 스크래퍼(Naver Map Scraper(by Keyword))'키워드로 DB수집하기 in 네이버 지도이번에 내가 의뢰받았던 추출 정보는'국제학교, 어린이 영어학원'이라서​난 input(입력값=키워드)을위와 같이 작성해 주었고,​작성 뒤 오른쪽 상단에'Start'버튼을 눌러주었다.​(실제 Octoparse Web Scraping 작동 모습↓)그럼 위와 같이 DB수집 프로그램 내 입력값(input)에 맞춰서결과값(output)이 나온다.(한 5분 정도면 나옴)추출형태도 내 입맛대로제일 좋았던 부분은 추출된 결과값을내 입맛에 맞게 데이터화 할 수 있다는 점이었다.​엑셀(Exel)로 추출할 수도 있고,CSV, HTML, JSON, XML 등등여러 가지 형태로 추출이 가능하다.옥토퍼스 스크래핑(Octoparse Web Scraping) 가격가격은 스텐다드, 프로페셔널,기업 플랜 이렇게 3가지로 나눠져 있는데​각각 한 DB수집 프로그램 달에 99달러, 249달러, 따로 문의로 되어 있었다.​난 이번 외주작업 1건만 진행하면 됐었기에체리피커처럼 14일 무료 사용만 딱 이용하고빠졌다. (구독 취소함)총평 &amp느낀 점'세상 많이 좋아졌구나'​라는 것 다시 한번깨닫게 된 순간이었으며​'내 의지만 있으면 이젠 뭐든할 수 있는 시대가 아닌가'​생각해 볼 수 있었던외주 작업이었던 것 같다.콘텐츠 잘 DB수집 프로그램 만드는 방법이궁금하다면 자본주의생존법에문의해 주세요.