使用fabric解决百度BMR的spark集群各节点的部署问题(2)

在这里,我要自动部署的是:
1 下载Python第三方库jieba
2 在本地解压下载好的jieba压缩包
3 在本地,进入到解压好的文件夹中,安装jieba
4 将下载好的压缩包传送到Slaves节点上
5 在远程端,解压下载好的jieba压缩包
6 在远程端,进入到解压好的文件夹中,安装jieba

将上面步骤转化为代码,即

def job(): local_command = "wget https://pypi.python.org/packages/71/46/c6f9179f73b818d5827202ad1c4a94e371a29473b7f043b736b4dab6b8cd/jieba-0.39.zip#md5=ca00c0c82bf5b8935e9c4dd52671a5a9" local(local_command) jieba_unzip = "unzip jieba-0.39.zip" jieba_path = "/root/jieba-0.39/" jieba_install = "python setup.py install" local(jieba_unzip) with lcd(jieba_path): local("ls") local(jieba_install) with lcd('/root/'): put("jieba-0.39.zip", '/root') run(jieba_unzip) with cd(jieba_path): run("ls") run(jieba_install) 结言

最后,在我上篇文章提到的shell脚本中,最前面加上

yum -y install fabric && fab --fabfile=job.py job

输入./start-hadoop-spark.sh,即可无忧无虑地部署好我要使用的程序运行环境。因为懒,因为麻烦,于是用Python外加shell写了自动部署的脚本。在这个过程中,学习到不少知识,也遇到不少麻烦,写下文章,希望可以减轻大家配置的烦恼~

使用fabric解决百度BMR的spark集群各节点的部署问题

结果如下:
Master:

Slaves1:

使用fabric解决百度BMR的spark集群各节点的部署问题

Slaves2:

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/fc8f90aaca624733d06c632fa89bec19.html