ETC18 Spark - 윈도우10에서 빅데이터 실습 세팅 및 시작하기 ## 네이버 블로그에 포스팅한 내용 옮겨오기 Spark 실습 환경 구성하기 1. java 설치-- 1.7, 1.8 둘 다 깔려있으면 1.7로 인식하는 듯? (scala 설치 시 1.7 경로에 설치됨.) 기존거 삭제하고 1.8로 다시 설치함. 2. scala 설치-- spark 사용하려면 경로 따로 설정해줘야 함. 아래 URL에서 msi 파일 다운받아서 설치하기. (github에 올려져있는 파일 옮겨도 될 것 같긴한데 우선 안전하게 설치파일로......) https://www.scala-lang.org/download/2.13.3.html Scala 2.13.32.13.3 Release Notes • Changelog • API Docs Are you looking for anot.. 2024. 5. 3. 13:11 Windows 작업 스케줄러 - 실행시간 간격 조정 ## 네이버 블로그에 포스팅한 내용 옮겨오기 평일 특정시간(09시-18시)에 1시간마다 돌아가는 작업 스케줄러 생성 1. 작업 생성 2. 설정 -> 트리거 탭에서 매주 클릭 후, 월/화/수/목/금에 체크 3. 작업 반복 간격 - 1시간 클릭 4. 기간 - 9시간 입력 (1시간이나 12시간 클릭 후 숫자 부분을 타이핑) 5. 실행 여부 확인 대표사진 삭제사진 설명을 입력하세요. 2024. 5. 3. 12:51 Windows 베치 파일 - 요일 구하기 ## 네이버 블로그에 포스팅한 내용 옮겨오기 윈도우 배치파일로 요일구하기 1. 첫번째 방법: 보편적으로 나와있는 방법인데 나 포함 Windows 7 이상에는 안먹히는 듯함echo %date:~0,1%요일 2. 두번째 방법: 구글에 'cmd 요일 구하기' 검색 후 가장 위에 있는 네이버 블로그 참고 (제가 쓴 글이 아니라 커맨드를 맘대로 복사해오기 어렵습니다) 2024. 5. 3. 12:49 Windows 배치 파일 - 폴더 압축 (zip, tar, jar, rar, 7-zip) ## 네이버 블로그에 포스팅한 내용 옮겨오기 1. zip: zip.exe 실행 파일을 C:\Windows\System32 폴더에 옮겨줘야 함.zip -r(하위폴더까지 포함하여 압축) 압축파일저장경로 압축할폴더경로 -i(특정 확장자/파일명을 압축 시 포함) -e(특정 확장자/파일명을 압축 시 미포함)zip -r D:\backup\%date%.zip C:\Program Files\AAA -i %date% -e 2020 자세한 옵션은 zip 커맨드로 확인 가능 2. tar: Windows 10 이상 버전에만 기본으로 설치되어있어, 하위 버전은 tar.exe 실행 파일을 C:\Windows 폴더에 옮겨줘야 함.tar.exe -c(새 tar 파일 생성) -v(압축 과정 출력) -f(압축 파일 이름 지정) 압.. 2024. 5. 3. 12:47 Windows 배치 파일 - 파일 삭제 (forfiles) ## 네이버 블로그에 포스팅한 내용 옮겨오기 1. forfiles: 파일/폴더에 명령을 실행 옵션을 활용하면 삭제 시 유용하게 활용 가능 forfiles /p 검색경로 /m 검색파일확장자 /d 해당파일날짜 /c 명령문 /rd(파일이 남아있는 폴더 포함) /q(화면에 메시지를 띄우지 않음) /s(하위폴더 포함) /c "cmd /c @file"가 기본값임--폴더 삭제forfiles /p D:\backup /m * /d -30 /c "cmd /c rd @path /q /s"--파일(임의의 확장자) 삭제forfiles /p D:\backup /m *.txt /d -30 /c "cmd /c del @path" 자세한 옵션은 forfiles /?커맨드로 확인 가능함 2024. 5. 2. 14:43 Windows 배치 파일 - 파일 복사 (copy, xcopy, robocopy) ## 네이버 블로그에 포스팅한 내용 옮겨오기 1. copy: 하나 이상의 파일을 복사 가장 기본적인 파일 복사 명령어 (하위 폴더 복사는 X) 확장자가 없는 파일도 확장자를 임의로 추가하여 복사할 수 있음copy "복사할 파일 경로" "붙여넣기할 폴더 경로(파일명 지정 가능)"copy "C:\Program Files\AAA\file" "D:\backup\%date%\file.txt" 2. xcopy: 파일과 디렉토리 트리를 복사 copy 명령어에서 폴더 복사 기능을 포함한 명령어xcopy "복사항 파일 경로" "붙여넣기할 폴더 경로"xcopy "C:\Program Files\AAA" "D:\backup\%date%" 3. robocopy: 견고한 파일 복사 기본 제공되는 copy 명령어 중 멀티.. 2024. 5. 1. 13:20 Spark 설치 Process 2022.12.05Spark 설치 Process 기록 1. java 17 설치 및 환경변수 설정 2. spark 설치 및 환경변수 설정 (버전 : spark-3.0.3-bin-hadoop3.2) 3. winutils.exe - Hadoop 폴더에 다운 및 환경변수 설정 (하둡 버전 3.2로 맞춰야함-확인) 4. Scala 3 설치 및 환경변수 설정 <b.. 2024. 4. 4. 22:30 CentOS 7에 Docker 설치 CentOS 7에 Docker 설치하기 1. Docker 설치 -- 저장소 설정 sudo yum install -y yum-utils sudo yum-config-manager \ --add-repo \ https://download.docker.com/linux/centos/docker-ce.repo -- Docker 엔진 설치 sudo yum install docker-ce docker-ce-cli containerd.io docker-compose-plugin yum list docker-ce --showduplicates | sort -r sudo yum install docker-ce-18.03.1 docker-ce-cli-18.03.1 containerd.io docker-compose-plu.. 2024. 3. 28. 20:52 콘웨이 법칙 콘웨이 법칙 시스템을 설계하는 조직은 그 조직의 의사소통 구조를 닮은 구조의 디자인을 만들게 된다. -> 조직의 결합도(의사소통)가 제품의 품질의 영향을 미친다. ※ 역콘웨이 법칙 : 시스템 구조에 따라 조직 구조를 변경 참고자료 https://yozm.wishket.com/magazine/detail/1494/ 2024. 3. 11. 15:50 이전 1 2 다음
