IDEA 全称 IntelliJ IDEA,是java编程语言开发的集成环境。IntelliJ在业界被公认为最好的java开发工具,它的旗舰版本还支持HTML,CSS,PHP,MySQL,Python等,免费版只支持Java,Scala等少数语言。如果只开发Java和Scala,去官网下载社区版即可:https://www.jetbrains.com/idea/.
Java本文使用版本为:java 8
编程语言,不解释。在IDE之外运行Java程序的方式如下:
javac HelloWord.java // 先编译源码 ---->java HelloWord.class java.exe HelloWord // 直接运行实际开发中每个java程序都会依赖其他的包,也就是jar,这种情况你必须告诉java.exe 你的jar包都在哪里,告诉java的方式就是通过classpath指定,通常我们都会在系统环境变量中建立一个CLASSPATH的环境变量,这样java会在这里寻找你程序依赖的包。当然也可以在运行时指定,这样的话程序执行的方式就是下面的样子:
java.exe -classpath "D:\Program Files\java-se-8u41-ri\jre\lib\charsets.jar;..." HelloWord // -classpath: Java程序以来包或包的路径,Windows下用 ; 分开。可以自己下载安装Javaj的JDK,也可以直接从IDEA上下载和管理,建议使用后者。
File -> Project Structure -> Platform Setting -> SDKs -> + -> Download JDK可以下载多个版本,对不同的程序使用不同的配置,很方便。
Scala本文使用版本为:Scala 2.11.12
Scala是一门多范式的编程语言,一种类似java的编程语言 ,设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。它一方面吸收继承了多种语言中的优秀特性,一方面又没有抛弃Java这个强大的平台,它运行在Java虚拟机(JavaVirtualMachine)之上,轻松实现和丰富的Java类库互联互通。
基于Java的编程语言,支持多种运行方式:
像python一样,交互式运行
// scala scala> println("HelloWorld") HelloWorld // python python> print("HelloWorld") HelloWorld像python一样命令运行
// scala scala script.scala // python python script.py用scalac或fsc编译为.class 或 jar 再用java命令运行,每次scalac编译都需要启动一个JVM
Scala可以自行安装下载,也可以利用IDEA中的插件自行下载,推荐后者,下载方式为:
File -> Project Structure -> Platform Setting -> Global Libraries -> + -> Download...同时,也需要下载scala的插件:
File -> Settings... -> Plugins -> Marketplace ... -> [ Search Scala ]所以,Scala像是一门新的编程语言,又和Java有着密不可分的联系。
Maven管理依赖,和构建Java项目的工具,不多介绍,可以自行下载也可以直接使用IDEA中自带的版本,插件下载方式:
File -> Settings... -> Plugins -> Marketplace ... -> [ Search Maven ] Spark本文使用版本为:spark 2.4.5
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。SparkSpark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。Spark既不是SDK也不是Global Libriaries,在IDEA中可以像使用普通的包一样使用spark。如果想使用spark-shell,可以自行下载。
综上可知:Spark用Scala实现,Scala又构建于JVM之上,和Java之间可以密切互通。所以要想开发Spark程序,必须对三者及其关系有一定的了解。
在IntelliJ IDEA中创建和运行java/scala/spark程序 创建并运行Java程序新建项目
选择 Create Project 创建Java/Scala程序,这一步关键是要选择你的JDK。如果你下载或安装了多个版本的JDK且被IDEA识别,那么你可以用下拉列表选择合适的JDK的版本。
新建Package
在 src目录上右键,选择新建Package,也就是你的代码所在的包名,这一步可以跳过。
新建Class
在包所在的目录上右键,新建Java/Scala Class
设置源码目录
这一步也很重要,需要把src目录设置成源码目录,因为IDEA只会在源码目录下找你的程序。
编写代码