전체 글96 python 생존자 예측 분석 모델링 연습 python 분석 연습처음 혼자 해본거라 잘못 처리한 부분이 많을 수 있습니다. - 사용 데이터셋 : kaggle spaceship-titanic- 연습 목표 : 전체 process 코드 짜보고 해석해보기- 다음 목표 : 코드 한줄씩 뜯어보면서 그 필요성과 의미 이해하기 첫술에 배부를 수 없다. ## spaceship-titanic 데이터셋## https://www.kaggle.com/competitions/spaceship-titanic/data## 목표 : 생존자(Trainsported) 예측을 위한 최적의 모형 찾기#############################################################################3# 1. 데이터 파악import pandas .. 2024. 12. 9. 22:37 AWS 빌드, 배포, 모니터링 내용 정리 Amazon API Gateway서비스 액세스 API 생성/관리/모니터링 AWS Step FunctionsAWS 서비스 워크플로우 관리 (airflow랑 비슷한 서비스인듯) Amazon Cognito인증 & 권한 관리 (IAM와 다르게 애플리케이션에 대한 보안과 관련)사용자 풀 : 서드 파티 연동 및 회원가입/로그인 정책 구현자격증명 풀 : 사용자별 권한 부여 (Role 수임) 모니터링모니터링 : 데이터를 실시간으로 관찰할 수 있는 수준의 작업관측가능성 : 모니터링 + 문제 발생 원인 + 실시간 문제 해결을 위한 작업Amazon CloudWatch : AWS 리소스 및 애플리케이션 모니터링 … 중앙집중로깅AWS X-Ray : AWS 애플리케이션 처리 과정 전반 데이터 수집 2024. 11. 27. 17:07 AWS DynamoDB, Lambda 내용 정리 스토리지 작업멀티파트 업로드 : 대용량 파일 병렬 처리 가능 Amazon DynamoDB파티션 : 스토리지별 구분되어 저장되는 단위파티션키 : 어떤 스토리지에 저장할지 결정하는 속성, 성능을 좌우하므로 IO가 잘 분산될 수 있는 속성으로 설정하는게 중요pk = 파티션키 or 파티션키+정렬키 (파티션키만으로 유일성 보장이 안되는 경우)보조 인덱스 : pk가 아닌 키에도 쿼리를 하는 경우에 사용로컬 보조 인덱스 : 파티션키 + 속성으로 구성, 파티션 내부에 생성글로벌 보조 인덱스 : 속성만으로 구성, 파티션 외부에 생성 AWS LambdaLambda function 먼저 생성handler 함수를 포함한 코드를 .zip으로 업로드구성 정보 추가이벤트 트리거 설정 (직접 호출 아니고 이벤트 기반일 때)처음 호출.. 2024. 11. 26. 17:36 AWS Infra, IAM, Storage 내용 정리 AWS Infra리전 : 3개 이상의 가용영역을 포함가용영역 : 2개 이상의 데이터센터를 포함 VPC 생성 시 해당 리전의 모든 가용영역이 포함됨각 가용영역 내에 서브넷은 개별적으로 생성됨독립되어있는 public VPC의 인터넷 사용을 위해 라우트테이블을 통해 IGW와 연결리소스 레벨에 따른 구분글로벌 (ex. IAM user)리전 (ex. vpc, S3 bucket)가용영역 (ex. EC2 instance, RDS, subnet) ** 모던 어플리케이션 특징마이크로서비스 … 실행환경의 독립(컨테이너) + 요청과 응답의 기술적 독립(REST API)데브옵스서버리스→ 비즈니스 변화에 빠르게 대응하기 위함 AWS 개발 환경AWS 콘솔AWS CLISDK (python-boto3 …) IAMAWS 최초 가입 시.. 2024. 11. 25. 18:00 Machine Learning / Deep Learning 내용 정리 * 틀린 부분이 있을 수 있습니다. 1. Machine Learning인공지능 개념인공지능 : 사람이 할 일을 기계가 대신하는 모든 스크립트 기반 자동화 방식머신러닝 : 데이터셋을 통해 기계를 학습시킨 후 일반화된 모델을 통해 학습 데이터 외에 다른 데이터에 대답할 수 있도록 함 (data-driven 방식)딥러닝 : 인간의 두뇌(신경)와 비슷한 방식으로 데이터를 처리하도록 기계를 가르치는 방식** 훈련 데이터와 평가 데이터 비율은 8:2 (평가 데이터 분류는 선택이 아닌 필수) 관련 용어y = wx + b모델 : w와 b값의 집합(저장)모델 학습(훈련) = 파라미터(w, b)를 찾는 과정y : 알고리즘을 사용해 모델이 예측한 값x : feature, 학습을 위해 입력된 데이터w : feature별.. 2024. 11. 13. 19:06 크롤링 내용 정리 EDA 프로젝트 시 진행했던 크롤링 내용 정리 - 외부 데이터 로드 방식1) json (파일 또는 API) : json 패키지를 통해 변환2) xml (파일 또는 API) : beautifulsoup 모듈을 통해 tag 변환3) 직접 홈페이지에서 긁어오기 : beautifulsoup 또는 selenium 사용 - 방식별 주요 코드1) json import urllib.request ## OpenAPI로 데이터 가져올 때 필요한 통신 관련 모듈 ... http 통신 요청import jsonurl = ''pg = utllib.request.urlopen(url)cntnt = json.loads(pg.read().decode("utf-8"))cntnt['movieListResult']['movieLis.. 2024. 10. 29. 22:19 IT 매거진 추천 1. 요즘IThttps://yozm.wishket.com/magazine/ 요즘 사람들의 IT 매거진, 요즘IT매일 업데이트되는 요즘 사람들의 IT 이야기! 개발, 디자인, 기획, 다양한 IT 콘텐츠와 함께 성장해보세요.yozm.wishket.com 2. 랠릿 - 읽을거리https://www.rallit.com/contents 읽을거리 - 랠릿커리어 및 기술 성장에 도움이 될 글들을 만나보세요.www.rallit.com 3. 커리어리 - 트렌드https://careerly.co.kr/trends 커리어리 트렌드지난 한 달 동안 가장 도움이 된 게시글은?careerly.co.kr 2024. 10. 29. 16:38 SQL Server Linked Server 연결된 서버 SQL Linked Server 연결된 서버 사용법 [다른 서버에 있는 데이터 가져오기]** 서버 연결 과정이 선행되어있어야 함. 1. 서버 연결 후 FROM절에 IP주소 또는 서버명칭 포함하여 조회SELECT *FROM [서버명칭].[DB명].[스키마명].[테이블명]-- 또는 SELECT *FROM [xxx.xxx.xxx.xxx].[DB명].[스키마명].[테이블명] 2. 서버 연결 후 OPEN QUERY 방식으로 참조SELECT * FROM OPENQUERY (서버명, 'SELECT * FROM [DB명].[스키마명].[테이블명]') ※ Linked 사용 시 성능 저하되므로 임시테이블에 필요한 것만 저장해 가져오는 습관 들이기 2024. 10. 23. 14:48 Qlik Sense 자격증 Qlik Sense Certifications (인증) / Qualifications (자격) 1. Business Analyst Certification : 요구사항 식별, 앱 설계, 데이터 준비 및 로드, 앱 개발 능력https://www.testpreptraining.com/tutorial/qlik-sense-business-analyst-certification/ Qlik Sense Business Analyst Certification - Testprep Training TutorialsValidate your skills and advance your career with the Qlik Sense Business Analyst exam. Start your preparations now w.. 2024. 10. 23. 14:40 이전 1 2 3 4 ··· 11 다음