![]()
주제 : 지진데이터 시각화버전 : Pandas 1.4.4. / Folium.0.14.0.작성일 : 2023-01-10수정일 : 2024-07-15 (본문스타일 변경)안녕하세요, 개발자 우성우 입니다.요즘 "백두산 폭발 임박"이라는 키워드가 자주 등장하고 있습니다. 백두산의 폭발주기는 약 100년 주기이다 보니 많은 학자들이 2025년에는 폭발 가능성이 농후하다는 의견들을 심심치 않게 볼 수 있는데요. 이에 오늘은 전 세계에서 발생하고 있는 지진 위치정보를 시각화해보도록 하겠습니다.1. 데이터 준비우선, 전세계의 지진정보를 데이터를 다운로드하여보도록 하겠습니다. 데이터는 기상청과 EMSC에서 다운로드가 가능하지만, 필자는 EMSC에서 다운로드하여서 사용하였습니다.1.1. 기상청 국외지진 정보우리나라 기상..
![]()
주제 : GeoPandas 라이브러리 설치 작성 : 2023-01-06 업데이트 : 2023-04-19 1. GeoPandas 1.1. 소개 GeoPandas는 Geography + Pandas로 파이썬에서 지리정보 데이터처리를 기하학적 연산과 시각화 등의 작업을 돕는 벡터 데이터 작업을 위한 라이브러리입니다. 파이썬에 대해 접해본 적이 있는 경우, Pandas는 익숙하실 텐데요. 이는 pandas와 유사하나, 다만 geometry형태를 지원한다는 점에서 그 차이가 있습니다. 2. 사전준비 이번에 맥북으로 갈아타면서 느낀 점은 window에서보다 os기반에서는 패키쥐구동에 오류가 적다고 생각이 듭니다. 하지만, 맥북의 경우에도, 패키쥐 및 라이브러리의 업그레이드에 따라 호환이 안 돼 오류가 발생하는 경우..
1st level. Titanic: Machine Learning from Disaster 타이타닉 튜토리얼 1 - Exploratory data analysis, visualization, machine learning EDA To Prediction(DieTanic) Titanic Top 4% with ensemble modeling Introduction to Ensembling/Stacking in Python 2nd level. Porto Seguro’s Safe Driver Prediction Data Preparation & Exploration Interactive Porto Insights - A Plot.ly Tutorial XGBoost CV (LB .284) Porto Seguro ..
![]()
개발자L 주 제 : 차원 축소(Dimension Reduction) 작성일 : 2022.02.06 1. 차원 축소(Dimension Reduction) 차원축소란 매우 많은 피처로 구성된 다차원 데이터의 차원을 축소하여 새로운 차원의 데이터를 생성하는 것으로 의미합니다. 일반적으로 수많은 피처로 구성된 데이터셋은 상대적으로 적은 차원에 학습된 모델보다 예측 신뢰도가 떨어지게됩니다. 또한, 피처가 필요이상으로 많은 경우, 피처간의 상관관계가 높아져 모델의 예측 성능이 저하됩니다. ※ 선형회귀에서는 입력변수간의 상관관계를 확인하기위해 다중 공선성(VIF)를 확인하며, 통상 10을 기준점으로 판단함 차원축소는 피처 선택(Feature Selection)과 피처 추출(Feature Extraction)으로 나눌..
![]()
주 제 : 데이터 병합 데이터 : 기상자료개방포털(데이터>날씨예보>동네예보>실황분석자료의 1시간 자료) 관측소지역은 강릉의 21개지역 1. 데이터 병합 상기 기상자료개방포털을 통해서 강릉의 21개의 관측소 데이터를 다운로드할 수 있습니다. 제가 지금부터 작업하고자 하는 것은 하나의 station의 최근 8년간의 데이터로 Boxplot*를 그리고자 합니다. 데이터는 연도별로 다운로드할 수 있으며, 8년간의 데이터를 가지고 Boxplot를 그리려면 데이터 병합하는 작업이 필요합니다. 그럼, 2가지 방법으로 데이터 병합을 진행해보도록 하겠습니다. 1.1. 박스플롯(Boxplot*) 우선, 박스플롯에 대해 간단하게 짚고 넘아가겠습니다. 어원에서 파악할 수 있듯이 박스플롯은 "박스"로 수치적 자료를 표현하는 그래..
![]()
개발자L 주제 : 코랩(Google Colab)으로 GPU, TPU 사용법 업데이트 일자 : 2022.02.01 1. 코랩(Colab) ? 구글 코랩(Google Colaboratory)는 Google Colaboratory의 줄임말로, 구글에서 무상으로 제공하는 클라우드 기반 Jupyter Notebook 개발환경입니다. 코랩의 가장 큰 장점은 자신의 컴퓨터가 GPU이 없거나 저사양인 경우에 런모드 유형 변경을 통해서 사용이 가능하며, 개인PC에 개발환경을 구축하는 수고를 덜어주어 개발에 시간을 투자 할수 있다는 점입니다. 최근, 머신러닝 및 딥러닝 학습에 많이 사용되고 있습니다. - 개인PC의 개발환경에서 라이브러리 업데이트 및 설치시, 버젼이슈로 충돌되는 경우가 발생함 - 코랩은 이러한 이슈로부터 ..
![]()
개발자L 주제 : 머신러닝과 딥러닝의 전반적인 이해 4차 산업에서 중요한 것 바로 데이터(Data)입니다. 최근 데이터에 중요성이 강조되면서 데이터 분석가, 머신러닝 및 인공지능 업종에 대한 수요도 지속적으로 늘어나고 있습니다. 그렇다면 데이터 분석이란 무엇이며, 머신러닝과 딥러닝은 무엇인지 한번 알아보도록 하겠습니다. 1. 데이터분석(Data Analytics) 데이터 분석과 관련해서 검색을 하다 보면, 데이터마이닝이라는 표현을 들어본 적이 있으실 겁니다.사실상 데이터 분석과 데이터마이닝은 유사한 표현입니다. 단지 해당 분야에 따라서 일컫는 방식이 다를 뿐이죠. 통계냐? 머신러닝이냐? 그렇다면 데이터 분석이란 무엇일까요? 데이터 분석이란 데이터의 특징을 확인하는 것이라고 할 수 있습니다. 여기서 데이..
![]()
개발자 L 주제 : Python &Machine Learning, Numpy, Pandas (파이썬과 머신러닝, 넘파이, 판다스) 데이터 : EM-DAT(The International Disaster Database) https://public.emdat.be/about 안녕하세요, 개발자L 입니다. 2022년 임인년 새해가 밝았습니다. 모두들 한해동안 이루고 싶은 목표 모두 이루시기를 바랍니다. 오늘부터 진행되는 [SS-P2201-000] 시리즈는 "파이썬 머신러닝 완벽 가이드(권철민, 2019)" 을 참고하여 공부한 내용입니다. 1. 우리들의 삶, 데이터 우리는 인지/자각하기전부터 수많은 데이터를 생성, 사용, 및 활용하며 살아가고 있습니다. 사람들마다 모두 각기 다른 생활패턴과 루틴으로 살아가지만..
![]()
개발자D 주제 : os 또는 glob를 활용한 파일리스트 가져오기 모든 데이터가 하나의 파일로 되어있다면 편하겠지만, 일반적으로 그렇지 않습니다. 그래서 해당 특정파일 이름을 리스트로 가져오는 작업을 진행하고자 합니다. 1. import os os를 활용하여 해당파일위치에서 .csv로 끝나는 모든 파일명을 가져올수 있습니다 import os DIR_IN = "데이터위치 절대경로" file_list = os.listdir(DIR_IN) for file in file_list: # 코드간결화 작업전 if file.endswith(".csv"): print(file) 또는 아래와 같이 코드를 간결화하여 사용 가능합니다 import os DIR_IN = "데이터위치 절대경로" file_list = os.list..
![]()
주제 : 모델자료 활용한 일기도 묘화 작업 데이터: 국지예보모델(LDAPS) 기상자료개방포털 ▶ 데이터 ▶수치모델 ▶ 국지예보모델(LDAPS) data.kma.go.kr/data/rmt/rmtList.do?code=340&pgmNo=65 버 젼 : conda 4.9.0 / Python 3.8.3 / numpy 1.19.2 / pandas 1.1.3 - cartopy 설치 : conda install -c conda-forge cartopy - pygrib 설치 : conda install pygrib ※ conda 및 pip를 병행하여 사용하는 경우, 충돌 가능성이 있음으로 개발자는 하나로 통일하여 사용하기를 권장 [Python/Basemap]모델자료를 활용한 일기도 묘화 개발자 D 주제 : 모델자료를 ..
![]()
주제 : 모델자료를 활용한 일기도 묘화 작업 데이터 : 국지예보모델(LDAPS) 기상자료개방포털 ▶ 데이터 ▶수치모델 ▶ 국지예보모델(LDAPS) data.kma.go.kr/data/rmt/rmtList.do?code=340&pgmNo=65 버 젼 : conda 4.9.0 / Python 3.8.3 / numpy 1.19.2 / pandas 1.1.3 - basemap 설치 : conda install basemap - pygrib 설치 : conda install pygrib - conda 업데이트 주의 (conda update -n base conda) * (2020.11.01 기준) 업데이트 시, basemap 지원 문제로 충돌 발생 ※ conda 및 pip를 병행하여 사용하는 경우, 충돌 가능성이..
![]()
개발자 D 주제 : Basemap를 활용한 기상관측망 시각화 작업 데이터 : 종관기상관측(ASOS), 방재기상관측(AWS) 기상자료개방포털 ▶ 데이터 ▶ 메타데이터 ▶ 관측지점정보 (data.kma.go.kr/tmeta/stn/selectStnList.do?pgmNo=123) 버 젼 : conda 4.9.0 / Python 3.8.3 / numpy 1.19.2 / pandas 1.1.3 - basemap 설치 : conda install basemap - conda 업데이트 금지 (conda update -n base conda) *(2020.11.01 기준) 업데이트 시, basemap 지원문제로 충돌 발생 ※ conda 및 pip를 병행하여 사용하는 경우, 충돌 가능성이 있음으로 개발자는 하나로 통일..
