使用IntelliJ IDEA编写Scala在Spark中运行
使用IntelliJ IDEA编写Scala在Spark中运行
使用Scala写一个测试代码:
object Test {
def main(args: Array[String]): Unit = {
println("hello world")
}
}
就把这个Test视为类,项目组织结构如:
然后设置编译选项:
然后在项目文件夹下面可以找到编译好的Jar包:
复制到Spark指定的目录下(自己建的):
启动Spark,然后提交任务:
spark-submit --class Test --master spark://localhost:7077 /home/data/myjar/Hello.jar
从上面控制台中已经能够看到执行的输出信息,同样,我们也可在web管理器中查看任务信息:
接下来的事情就只剩下编写Scala程序实现自己的算法了。
Scala 的详细介绍:请点这里
Scala 的下载地址:请点这里
相关推荐
TheBigBlue 2020-07-05
loveyouluobin 2020-09-29
ScarlettYellow 2020-10-12
crazyhulu 2020-09-20
81477515 2020-09-10
yangkang 2020-09-10
huolan 2020-08-18
xwb 2020-08-17
liusarazhang 2020-08-16
Keepgoing 2020-08-03
Unimen 2020-07-19
CaptainCTR 2020-07-09
Jacry 2020-07-04
滴水穿石点石成金 2020-06-14
haidaoxianzi 2020-06-10