idea构建spark maven项目需要的Windows Hadoop环境,依赖

idea构建spark maven项目需要的Windows Hadoop环境,依赖 1.windows配置Hadoop环境

1. 下载Hadoop安装包,https://hadoop.apache.org/releases.html,点击binary即可,下载下来的是归档压缩文件,直接解压
2. 环境配置,
   
   
3. 常见错误,如果Java安装文件夹是默认的C盘文件夹,会因为权限不够无法访问,此时可以将D:Hadoophadoop-2.10.1etchadoophadoop-env.cmd里的Java环境变量改掉
   
4. bin文件夹下要添加winutils.exe,不然spark项目能编译成功但会报错

2.spark所需依赖

1. 主要 spark依赖

            org.apache.spark
            spark-core_2.11
            2.3.2
            
             
        

2. 日志 log4j依赖

            log4j
            log4j
            1.2.17
            
        

3. 指定编译环境插件

                maven-compiler-plugin
                2.3.2
                
                    1.8
                    1.8
                    UTF-8
                
            

4. 打包插件

                maven-assembly-plugin
                
                    
                        jar-with-dependencies
                    
                
                
                    
                        make-assembly
                        package
                        
                            assembly