在集群上独立运行Alluxio

下载Alluxio

下载Alluxio tar文件并解压:

$ wget http://alluxio.org/downloads/files/1.6.1/alluxio-1.6.1-bin.tar.gz
$ tar xvfz alluxio-1.6.1-bin.tar.gz

配置Alluxio

${ALLUXIO_HOME}/conf目录下,从模板创建conf/alluxio-site.properties配置文件。

$ cp conf/alluxio-site.properties.template conf/alluxio-site.properties

更新conf/alluxio-site.properties中的alluxio.master.hostname为你将运行Alluxio Master的机器的主机名。添加所有worker节点的IP地址到conf/workers文件。 如果集群中存在多节点,你不可以使用本地文件系统作为Allxuio底层存储层。你需要在所有Alluxio服务端连接的节点启动共享存储,共享存储可以是 网络文件系统(NFS),HDFS,S3等。例如。你可以参照Configuring Alluxio with S3按照说明启动S3作为Alluxio底层存储。

最后,同步所有信息到worker节点。你可以使用

$ ./bin/alluxio copyDir <dirname>

来同步文件和文件夹到所有的alluxio/conf/workers中指定的主机。如果你只在Alluxio master节点上下载并解压了Alluxio压缩包,你可以使用copyDir命令同步worker节点下的Alluxio文件夹,你同样可以 使用此命令同步conf/alluxio-site.properties中的变化到所有worker节点。

启动 Alluxio

现在,你可以启动 Alluxio:

$ cd alluxio
$ ./bin/alluxio format
$ ./bin/alluxio-start.sh # use the right parameters here. e.g. all Mount
# Notice: the Mount and SudoMount parameters will format the existing RamFS.

为了确保Alluxio正在运行, 访问 http://<alluxio_master_hostname>:19999, 检查文件夹alluxio/logs下的日志, or 或者运行简单程序:

$ ./bin/alluxio runTests

注意: 如果你使用EC2, 确保master节点上的安全组设置允许来自alluxio web UI 端口的连接。

Need help? Ask a Question