2022.12.05
Spark 설치 Process 기록
1. java 17 설치 및 환경변수 설정
2. spark 설치 및 환경변수 설정
(버전 : spark-3.0.3-bin-hadoop3.2)
3. winutils.exe - Hadoop 폴더에 다운 및 환경변수 설정
(하둡 버전 3.2로 맞춰야함-확인)
4. Scala 3 설치 및 환경변수 설정
(버전 : scala3-3.1.1)
--- 환경변수 적용을 위한 재부팅 ---
spark-shell로 확인
-- java 오류... 아마도 버전오류인듯 함.
exception in thread main java.lang.exceptionininitializererror
-->17로 깔려있는거 1.8.0으로 재설치, 환경변수 재설정
-- winutils.exe 오류... 경로 잘못 설정했나??
did not find winutils.exe
-->C:\Hadoop 폴더에 bin 폴더 생성 안했음... 생성해서 다시 넣기
-- spark session 생성 못하는 오류 ㅎㅎㅎㅎ....
-->환경변수 문제는 없는데... 하둡을 3.2버전으로 해서 뭔가 안맞나 싶어서
spark 부터 하둡 2.7로 재설치, winutils.exe 2.7.2버전으로 다시 복사
[압축풀기 명령어]
tar -xzvf 파일명.tgz
참고자료
https://spidyweb.tistory.com/199
https://rooney-song.tistory.com/13
