在集群上独立运行Alluxio

下载Alluxio

下载Alluxio tar文件并解压:

$ wget http://alluxio.org/downloads/files/1.5.0/alluxio-1.5.0-bin.tar.gz
$ tar xvfz alluxio-1.5.0-bin.tar.gz

配置Alluxio

${ALLUXIO_HOME}/conf目录下,从模板创建conf/alluxio-site.properties配置文件。

$ cp conf/alluxio-site.properties.template conf/alluxio-site.properties

更新conf/alluxio-site.properties中的alluxio.master.hostname为你将运行Alluxio Master的机器的主机名。添加所有worker节点的IP地址到conf/workers文件。最后,同步所有信息到worker节点。你可以使用

$ ./bin/alluxio copyDir <dirname>

来同步文件和文件夹到所有的alluxio/conf/workers中指定的主机。

EC2集群上使用Spark

如果使用Spark启动EC2集群,Alluxio会默认被安装和配置。

Need help? Ask a Question