ETC18 캐싱 전략 1. 캐시 (Cache) 데이터를 미리 복사해놓는 임시 저장소 Cache Lookup : 데이터 주소를 바탕으로 캐시에 접근하는 과정 ... Cache Hits와 Miss로 이어짐 Cache Hits : 캐시에 찾는 데이터가 존재하는 경우 Cache Miss : 캐시에서 데이터를 찾을 수 없는 경우 Cache Replacement : 캐시가 가득 차서 이전 개체를 제거해야 하는 경우 > Cache Hits 시 캐시 스토어에서 바로 가져온다. > Cache Miss 시 해당 처리 시에는 DB에서 가져온 후, 그 이후는 캐시의 데이터를 업데이트하여 Hits 할 수 있도록 함. 2. 캐시 종류 - 로컬 캐시 서버 내에서 접근하는 캐시 속도 빠름 쓰기 동작 시 데이터 일관성 깨지므로 캐시 동기화 비용 발생 - .. 2024. 2. 22. 14:22 데이터 분석가 요구 역량 데이터 분석가가 갖춰야 할 9가지 역량 - Hard Skill 1) 사용 언어 - SQL : 데이터 추출 및 분석 시 활용 - Python : 전처리 + 요인 분석, 예측 모델링 등의 심화 분석 시 활용 2) 통계학 - 상관관계, 회귀분석, 인과관계 등의 통계적 개념 - 가설 검정 관련 기초 통계학 3) 도메인 및 비즈니스에 대한 이해 - 산업에 따라 정의되는 문제가 상이해짐 - 비즈니스 지표 및 KPI 성공 지표에 대한 파악은 서비스 전반 이해에 꼭 필요함 4) 분석 툴 - SaaS 툴 : 구글 애널리틱스, 앰플리튜드 등 - BI 툴 : 태블로 등 * 분석 툴 활용 시에 필요한 데이터 마트 설계 및 구축 자동화 방법 습득도 도움 5) 데이터 엔지니어링 - 업무 자동화 스킬 : 일회성 분석(Ad-hoc).. 2024. 2. 21. 13:31 Windows 성능모니터 카운터 성능 측정 시 주요 사용하는 Windows 성능모니터 카운터 리스트 \Processor(_Total)\% Processor Time \Processor Information(_Total)\% Processor Time \Memory\% Committed Bytes In Use \Memory\Available Bytes \Network Interface(*)\Bytes Total/sec \PhysicalDisk(_Total)\% Disk Time \PhysicalDisk(_Total)\% Disk Read Time \PhysicalDisk(_Total)\% Disk Write Time \LogicalDisk(_Total)\% Disk Read Time \LogicalDisk(_Total)\% Disk Wr.. 2024. 2. 14. 15:49 A/B 테스트 2023.06.23 (금) 본 게시물은 위키독스 『A/B 테스트 따라하기』 를 참고하였습니다. 1. A/B 테스트란? - 기존 소프트웨어와의 변경 사항이 유의미한지 검증하는 무작위 대조 실험 - 무작위 대조 실험에서 독립변수는 최대한 통제하고, 통제할 수 없는 독립변수는 무작위화함 -> A/B 테스트를 하는 목적 1) 인과관계 추론 : 상관 관계를 인과관계로 오인하는 오류를 막기 위 2) 예상치 못한 영향 감지 2. A/B 테스트 조건 - 지표 정의 1) 목표 지표 (=성공 지표=핵심 지표) : 정량화된 궁극적인 지표 2) 요인 지표 (=사인 포스트 지표=간접 지표=예측 지표) : 목표 지표의 한계 보완, 목표 지표와 상관 관계, 목표 지표보다 더 민감하게 움직임 3) 방어 지표 (=가드레일 지표) : .. 2024. 2. 14. 15:13 Cold Start 문제 및 해결 방안 2023.08.03 Cold Start란? ▶ 새로운 사용자에 대한 충분한 정보가 수집되지 않아 적절한 제품을 추천해주지 못하는 문제 ▶ 초기 구축 시 데이터가 없는 경우, 신제품이 출시되어 사용자 정보가 없는 경우, 새로운 사용자의 접근으로 인해 정보가 없는 경우 등에서 발생 해결 방법 ▶ 기존 유저와 신규 유저에 대해 상이한 추천 시스템 적용 (=하이브리드 추천 시스템) ▣ 읽어보면 좋을 자료 https://medium.com/uplusdevu/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%EC%8B%9C%EA%B3%84%EC%97%B4-%EC%98%88%EC%B8%A1%EC%9D%98-cold-start-%EB%AC%B8%EC%A0%9C-%ED%95%B4%EA%B2%B0-e06.. 2024. 2. 14. 13:30 애자일 (Agile) 방법론 1. 애자일 (Agile) 애자일 (Agile) = 좋은 것을 빠르고 낭비없게 만드는 것 프로젝트의 생명주기 동안 반복적인 프로토 타입 개발을 통해 단계적 개선을 촉진하는 프로세스 기존 방법론인 폭포수 모델* 과 구별되는 가장 큰 차이점은 문서를 통한 개발 방법이 아닌 실질적인 코딩을 통한 방법론(code-oriented)이라는 점 * 폭포수 모델 특징 - 일반적으로 요구사항 기술 > 소프트웨어 설계 > 소프트웨어 구현 > 테스트 및 배포 > 유지보수 순서를 따름. - 일련의 차례와 탄탄한 계획을 기반으로 개발 진행 ▶ 작은 단위의 결과를 빠르게 구현하여 요구사항에 빠르게 접근하고자 하므로, 잦은 Release가 이루어짐 익스트림 프로그래밍 (eXtreme Programming, XP) 12개 가량의 구.. 2023. 5. 10. 22:15 NLP 01 - 환경 세팅 01. NLP 처리란? Natural Language (자연어) : 일상 생활에서 사용하는 언어 Natural Language Processing (자연어 처리) : 일상 생활 언어를 컴퓨터가 처리할 수 있도록 하는 가공 작업 NLP 예시 ... 음성 인식, 번역, 감성 분석, 텍스트 분류, 챗봇 NLP 모델 ... 뒷 파트에서 서술 01-01. 아나콘다/코랩 환경 세팅 파이썬 배포판 아나콘다 설치 진행 ... 아래 페이지에서 적당한 버전으로 설치 https://repo.anaconda.com/archive/ 아나콘다 프롬프트 실행 및 파이썬 패키지 최신 버전 업데이트 > conda update -n base conda ... done > conda update --all ... Retrieving no.. 2023. 4. 30. 20:48 Kafka 01 - 정의 및 특징 정의 오픈소스 분산 메시지 스트리밍 플랫폼 Pub/Sub 모델을 지향하는 형태 Publisher / Subscriber 모델 중앙 집중형 메시지 관리 방식 : 메시지 생성/소비가 완전히 독립되어있는 구조 (비동기 처리) Publisher에서 메시징 플랫폼에 메시지를 발행(push)하면 Subscriber가 데이터를 수신(pull) 수신자가 정해져있지 않음 → 송신자가 ‘전송’ 하는게 아니라 수신자가 ‘Polling’ 하는 방식 Kafka 아키텍쳐 요소 Zookeeper : 분산 코디네이팅 시스템, Kafka Borker 정보 및 Topic 메타정보를 보유함. Broker : 메시지 관리자, Kafka가 실질적으로 구동되는 서버단 Producer : 메시지 생산자, 토픽의 Leader Partition을 .. 2023. 2. 23. 20:14 DEVOCEAN 테크데이 - Kafka 서비스 활용 스터디 사례 참석 후기 2023.02.17 지난주 금요일에 진행되었던 DEVOCEAN Kafka 서비스 활용 스터디 사례에 다녀온 후기를 간단하게 써보고자 한다. 팀 내에서 Kafka 도입을 위해 기술 스터디 겸 R&D를 하면서 열심히 공부하던 중, 이런 행사가 있는데 참석해보라는 팀장님의 추천에 미리 사전등록 후 재택근무 끝나고 판교로 향했다! 날씨가 너무 좋아서 기분도 업된 상태로 30분 만에 도착 😊 10분 정도 일찍 도착했는데 앞에 커피랑 쿠키가 놓여져있어서 하나씩 챙겨와서 앉았더니 꼬마집사님이 DEVOCEAN 홍보도 해주셔서 어플도 깔고 뱃지도 받았다! 2시 되자마자 시작했고, DEVOCEAN 측에서 간단하게 본 행사 소개 후 고승범님의 KAFKA 사용자 모임 소개가 이어졌다. [실전 카프카 개발부터 운영까지] 책으로.. 2023. 2. 20. 23:11 이전 1 2 다음
