使用Eclipse构建Spark Java集成开发环境

最近在eclipse构建spark java开发环境走了很多坑，把步骤记录下来。

第一步、从spark官网上下载spark安装包，我下载的为spark-1.5.1-bin-hadoop2.6

直接解压缩即可，在环境变量path中配置为你解压缩的路径+\bin，我的path为D:\spark-1.5.1-bin-hadoop2.6\bin，在cmd中输入spark-shell

第二步、在eclipse中新建一个工程，添加依赖jar包（在解压缩spark文件夹的lib目录下，我的为D:\spark-1.5.1-bin-hadoop2.6\lib）。

注意：从spark 2.0开始没有这个jar包，需要将lib文件夹下的所有jar包添加。

第三步、使用java 8的lambda表达式编写经典的wordcount。

import java.util.Arrays;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import scala.Tuple2;
public class test {
	public static void main(String[] args) {
		SparkConf conf = new SparkConf().setMaster("local[4]").setAppName("word count");
		JavaSparkContext sc = new JavaSparkContext(conf)；	
		sc
		.textFile(test.class.getResource("").toString()+"README.md")
		.flatMap(x -> {
			return Arrays.asList(x.split(""));
		}) 
		.mapToPair(x -> {
			return new Tuple2<>(x,1);})
		.reduceByKey((x,y) ->{
			return x+y;})
		.foreach(x ->
		{
			System.out.println(x._1+"出现了"+x._2);
		});
		sc.close();
	}
}
 

运行会报错failed to locate the winutils binary in the hadoop binary path，并不影响结果，解决方法去下载对应版本的hadoop binary，我们这里去下载hadoop-2.6.0，添加环境变量path：D:\hadoop-2.6.0\bin，再次运行成功，结果截图一部分为：