자기개발 37

[데이터분석] 국토부 아파트 실거래가 분석 - 2. 데이터 수집(2)

공공데이터 아파트 실거래 데이터 수집(2) 이전 글에서는 공공데이터 포털을 통해서 국토부 아파트 실거래가를 수집하는 방법에 대해서 알아봤는데요. 이번에는 이전글에서 작업 연장선상으롱 구글 드라이브에 다운받은 CSV 파일을 하나의 데이터프레임에 모으는 작업을 해보도록 하겠습니다. 함수 파라미터를 통해서 조회시작과 종료 기간 정보를 넘겨받고, 조회기간 내 해당하는 CSV 파일 읽어(read_csv) 하나의 데이터프레임(DataFrame)으로 합치도록 하겠습니다. 함수작성 Pandas 에서는 데이터를 합치는 방법으로는 concat과 merge가 있습니다. concat과 merge에 대해서는 다음에 다루도록 하겠습니다. 다만 for 문으로 통해서 바로 데이터프레임을 concat 하는 방식이 아닌, 우선, LIS..

[GIS] 브이월드 지오코딩 - 공간정보 오픈플랫폼 브이월드 활용법

브이월드(vWorld) 카카오맵, 네이버맵과 같은 지도정보 서비스 중 하나입니다. 다만, 서비스 운영을 공공기관(공간정보산업진흥원, 국토부 위탁)에서 하는 차이가 있습니다. www.vworld.kr/v4po_main.do 공간정보 오픈플랫폼 포털 커뮤니티 지역에 대한 정보습득과 정보공유를 목적으로 하며, 지도기반의 다양한 정보를 효과적으로 공유 할 수 있습니다. www.vworld.kr 지오코딩 우리는 브이월드에서 제공하고 있는 기능 중에서 지오코더(Geocoder) API를 통해 주소정보에서 GPS 정보로 변환하는 지오코딩을 해보려고 합니다. 지오코딩이란? 지오코딩(Geocoding)은 고유명칭(주소나 산,호수의 이름등)을 가지고 위도와 경도의 좌표값를 얻는 것을 말한다. - 위키백과 사전 중에서.....

[데이터분석] 국토부 아파트 실거래가 분석 - 2. 데이터 수집(1)

공공데이터 아파트 실거래 데이터 수집(1) 이전 글에서는 국토부 아파트 실거래가 수집에 앞서 공공데이터 계정 생성 및 서비스키 발급을 진행하였습니다. 1. 요청변수 확인 오픈API 참고문서 또는 미리보기 기능으로 제공되는것처럼 필수 요청변수는 아래와 같습니다. LAWD_CD(각 지역별코드) DEAL_YMD(월 단위 신고자료) 그리고 발급받은 서비스키 보통 오픈API 활용을 위해 명세서(가이드)가 제공이 되며, 문서를 참고하여 개발을 하게 됩니다. 2. python 활용한 데이터 수집 특정시점(예를들어 12년 7월)부터 현재까지 아파트 실거래 데이터를 수집하고 CSV파일로 저장하는 기능을 구현해 볼게요. 구글 코랩(colab)을 활용하며, 최종코드는 맨 아래 첨부파일로 올려드릴게요. 아래는 코드에 대한 설..

[정보공유] 데이터 분석 경진대회 사이트

각종 데이터 분석 경진대회, 공모전이 열리는 사이트를 정리해 보겠습니다. 일단 캐글은 워낙 유명해서 제외하고 나머지 국내 경진대회, 공모전 위주로 정리해봤습니다. 그리고 대회일정이 지난 경진대회도 함께 공유해봅니다. 1. DACON - dacon.io 다양한 종류의 데이터 분석 경진대회가 열립니다. 데이콘은 경우 유투브 계정도 있으며, 튜토리얼 영상이 있으니 학습에 도움이 될거 같습니다. 개인적으로는 구글 colab 영상이 도움이 많이 되었습니다. (감사합니다 ^^ 덕분에 잘씁니다.) 데이터사이언티스트 AI 컴피티션 3만 AI팀이 협업하는 인공지능 플랫폼 dacon.io www.youtube.com/channel/UCo1vJRg2ANyaVHV1A98MQNA/about 데이콘 © 2021 Google LL..

[데이터분석] 국토부 아파트 실거래가 분석 - 1. 계정생성 및 서비스키 발급 신청

공공데이터 계정신청 & 서비스키 발급 공공데이터 로그인 계정이 없다면 계정을 우선 신청해주세요. www.data.go.kr "국토부 아파트 실거래가"로 검색시 아래와 같이 오픈API로 제공되는 목록을 확인 할 수 있습니다. 국토교통부 아파트매매 실거래자료 이동 후 [활용신청] 클릭 활용신청을 하고 서비스키가 발급된다고 하더라도 바로 사용할 수 없고 일정시간(몇 시간 단위?) 후에 사용이 가능합니다. 자기전에 신청하고 그냥 자고 일어나서 하면 된다 생각하면 마음 편하죠. 마이페이지에서 신청이 정상적으로 됐는지 확인 가능합니다. 저는 이미 운영계정으로 넘겼고, 처음 신청한 상태인 분들은 개발계정에서 신청목록을 확인 할 수 있습니다. 발급된 서비스키는 [일반인증키]에 해당하는 값을 사용하시면 됩니다. 같은 화..

[정보공유] 인공지능, 블록체인, 데이터 분석 교육 안내

교육안내 지자체별 인공지능, 블록체인, 데이터 분석 분야 전문가 양성을 위한 예산을 많이 확보한 것으로 보입니다. 코로나19 상황으로 인해 오프라인이 아닌 온라인(Zoom 등 활용) 환경에서 수업 수강이 가능해 다양한 교육에 대한 접근성이 높아졌습니다. 무엇보다 교육비가 전액 무료라는 것이 가장 큰 장점이자 기회가 아닐까 싶네요! 전국구 뿐만 아니라 대전,충남권역에서 실시 또는 예정되어 있는 인공지능, 블록체인, 데이터 분석 등 관련 교육신청 정보를 공유하니 필요하신 분들은 이번 기회를 통해서 DT(디지털 트렌스포메이션) 에 성공하셨으면 합니다! 1. 전국구 ICT 이노베이션 스퀘어 전국구 모든 ICT 이노베이션 스퀘어가 총 망라되어 있습니다. ictinnovation.kr/ ICT 이노베이션스퀘어 ic..

[책책책] 문과생, 데이터 사이언티스트 되다

이과를 전공한 사람들만 데이터 사이언티스트가 되는 세상은 아니다. 문과생은 현업에서 어떤 데이터 사이언티스트 역할을 하는지 궁금했고, 가볍게 읽을 수 있었다. 두껍지 않은 책에서 저자(차현나)는 계속해서 학습하고, 부족한 부분들을 채우려 노력해야 한다고 강조한다. 하지만 나왔던 내용의 반복성은 독자로 하여금 조금 더 새로운 내용, 유익한 걸 원했던 갈증을 채워주기엔 아쉽게 느껴졌다. 현업 프로젝트 예시를 통해 전체적인 데이터 사이언티스트로서 역할과 업무 프로세스를 알 수 있었다. 컴퓨터 앞에 앉아 데이터만 보는게 아니라 유관업무 부서와의 긴밀한 커뮤니케이션은 프로젝트 기획에서 부터 종료 그리고 다음 프로젝트 구상까지 중요한 부분이라 생각된다. 단순 데이터 분석 결과값만 던져주는게 아니라 분석결과를 통해 ..