전체 글99 3. QGIS 래스터 데이터 분석 - 래스터 데이터 분석 1) merge 2) warp reproject 3) clip raster by extent 4) clip raster by mask layer 5) export : 렌더링 적용 유무 체크 확인(시각화 목적 시 체크 O/데이터 전달 시 체크 X), 주로 GeoTIFF 사용 6) raster calculator 7) NDVI(Normalized Difference Vegetation Index) : 식생지수, (Band 5 - Band 4) / (Band 5 + Band 4) 8) NBR(Normalized Burn Ratio) : 화재비율, (Band 5 - Band 7) / (Band 5 + Band 7) 9) rearrange bands 10) DEM 11).. 2025. 8. 7. 10:46 2. QGIS 벡터 데이터 분석 - QGIS : 오픈소스 GIS 프로그램, 다양한 플러그인 활용 가능 - QGIS 플러그인 : TMS for korea ... 한국 TMS 지도 설치 - 벡터 데이터 분석 1) merge vector layers 2) create spatial index 3) reproject layer 4) buffer 5) difference 6) clip & intersection 7) dissolve & delete holes 8) create grid 9) centroids 10) export 11) create points layer from table 12) select by location 13) join attributes by location 14) join by locati.. 2025. 8. 7. 10:34 1. GIS 정의 - GEOINT : 지형공간정보, 특정 대상/현상 등에 대해 공간적으로 해석 - GIS (Geographic Information System) : 지리정보시스템, 위치정보+도형정보+속성정보를 연결하여 처리하는 시스템 - GIS 작업 과정 1) 데이터 수집 2) 데이터 저장 및 관리 : DB 저장 3) 데이터 갱신 : update 4) 데이터 변환 : 좌표계/포맷 변환 5) 데이터 분석 6) 데이터 계통화 7) 결과 출력 - GIS 데이터 유형 1) 공간 데이터 ① 벡터 데이터 -- 실세계의 다양한 대상물/현상을 점/선/면으로 표현 -- 장단점 : 고해상도 제공, 저장공간이 작음, 속성정보 추출,갱신 용이 // 데이터 구조 복잡, HW/SW 비용.. 2025. 8. 7. 10:01 python 생존자 예측 분석 모델링 연습 python 분석 연습처음 혼자 해본거라 잘못 처리한 부분이 많을 수 있습니다. - 사용 데이터셋 : kaggle spaceship-titanic- 연습 목표 : 전체 process 코드 짜보고 해석해보기- 다음 목표 : 코드 한줄씩 뜯어보면서 그 필요성과 의미 이해하기 첫술에 배부를 수 없다. ## spaceship-titanic 데이터셋## https://www.kaggle.com/competitions/spaceship-titanic/data## 목표 : 생존자(Trainsported) 예측을 위한 최적의 모형 찾기#############################################################################3# 1. 데이터 파악import pandas .. 2024. 12. 9. 22:37 AWS 빌드, 배포, 모니터링 내용 정리 Amazon API Gateway서비스 액세스 API 생성/관리/모니터링 AWS Step FunctionsAWS 서비스 워크플로우 관리 (airflow랑 비슷한 서비스인듯) Amazon Cognito인증 & 권한 관리 (IAM와 다르게 애플리케이션에 대한 보안과 관련)사용자 풀 : 서드 파티 연동 및 회원가입/로그인 정책 구현자격증명 풀 : 사용자별 권한 부여 (Role 수임) 모니터링모니터링 : 데이터를 실시간으로 관찰할 수 있는 수준의 작업관측가능성 : 모니터링 + 문제 발생 원인 + 실시간 문제 해결을 위한 작업Amazon CloudWatch : AWS 리소스 및 애플리케이션 모니터링 … 중앙집중로깅AWS X-Ray : AWS 애플리케이션 처리 과정 전반 데이터 수집 2024. 11. 27. 17:07 AWS DynamoDB, Lambda 내용 정리 스토리지 작업멀티파트 업로드 : 대용량 파일 병렬 처리 가능 Amazon DynamoDB파티션 : 스토리지별 구분되어 저장되는 단위파티션키 : 어떤 스토리지에 저장할지 결정하는 속성, 성능을 좌우하므로 IO가 잘 분산될 수 있는 속성으로 설정하는게 중요pk = 파티션키 or 파티션키+정렬키 (파티션키만으로 유일성 보장이 안되는 경우)보조 인덱스 : pk가 아닌 키에도 쿼리를 하는 경우에 사용로컬 보조 인덱스 : 파티션키 + 속성으로 구성, 파티션 내부에 생성글로벌 보조 인덱스 : 속성만으로 구성, 파티션 외부에 생성 AWS LambdaLambda function 먼저 생성handler 함수를 포함한 코드를 .zip으로 업로드구성 정보 추가이벤트 트리거 설정 (직접 호출 아니고 이벤트 기반일 때)처음 호출.. 2024. 11. 26. 17:36 AWS Infra, IAM, Storage 내용 정리 AWS Infra리전 : 3개 이상의 가용영역을 포함가용영역 : 2개 이상의 데이터센터를 포함 VPC 생성 시 해당 리전의 모든 가용영역이 포함됨각 가용영역 내에 서브넷은 개별적으로 생성됨독립되어있는 public VPC의 인터넷 사용을 위해 라우트테이블을 통해 IGW와 연결리소스 레벨에 따른 구분글로벌 (ex. IAM user)리전 (ex. vpc, S3 bucket)가용영역 (ex. EC2 instance, RDS, subnet) ** 모던 어플리케이션 특징마이크로서비스 … 실행환경의 독립(컨테이너) + 요청과 응답의 기술적 독립(REST API)데브옵스서버리스→ 비즈니스 변화에 빠르게 대응하기 위함 AWS 개발 환경AWS 콘솔AWS CLISDK (python-boto3 …) IAMAWS 최초 가입 시.. 2024. 11. 25. 18:00 Machine Learning / Deep Learning 내용 정리 * 틀린 부분이 있을 수 있습니다. 1. Machine Learning인공지능 개념인공지능 : 사람이 할 일을 기계가 대신하는 모든 스크립트 기반 자동화 방식머신러닝 : 데이터셋을 통해 기계를 학습시킨 후 일반화된 모델을 통해 학습 데이터 외에 다른 데이터에 대답할 수 있도록 함 (data-driven 방식)딥러닝 : 인간의 두뇌(신경)와 비슷한 방식으로 데이터를 처리하도록 기계를 가르치는 방식** 훈련 데이터와 평가 데이터 비율은 8:2 (평가 데이터 분류는 선택이 아닌 필수) 관련 용어y = wx + b모델 : w와 b값의 집합(저장)모델 학습(훈련) = 파라미터(w, b)를 찾는 과정y : 알고리즘을 사용해 모델이 예측한 값x : feature, 학습을 위해 입력된 데이터w : feature별.. 2024. 11. 13. 19:06 크롤링 내용 정리 EDA 프로젝트 시 진행했던 크롤링 내용 정리 - 외부 데이터 로드 방식1) json (파일 또는 API) : json 패키지를 통해 변환2) xml (파일 또는 API) : beautifulsoup 모듈을 통해 tag 변환3) 직접 홈페이지에서 긁어오기 : beautifulsoup 또는 selenium 사용 - 방식별 주요 코드1) json import urllib.request ## OpenAPI로 데이터 가져올 때 필요한 통신 관련 모듈 ... http 통신 요청import jsonurl = ''pg = utllib.request.urlopen(url)cntnt = json.loads(pg.read().decode("utf-8"))cntnt['movieListResult']['movieLis.. 2024. 10. 29. 22:19 이전 1 2 3 4 ··· 11 다음