GeoAnalyticsServer在Linux下集群部署手册

by giser · 2019-04-02

1 GeoAnalyticsServer分布式部署架构图

此次使用三台机器进行矢量大数据服务器分布式部署，与单机部署不同，此次部署剥离比较消耗硬件资源的大数据计算节点、存储节点，这两节点均可在后续进行横向扩展。

2 准备工作

2.1 配发虚拟机说明

此次分布式安装部署的三台机器已拷贝至\\192.168.0.111\nas3\ant\Archive目录。三台机器已预先安装好了操作系统、拷贝了软件安装包及许可文件。文件存放于/home/esrixa/arcgis1051。

在架构图中机器与虚拟机对应如下：

1、esrixa.portal.com对应虚拟机名为ArcGIS Enterprise

2、ga1.portal.com对应的虚拟机名为ga1

3、es1.portal.com对应的虚拟机名为es1

2.2 软件准备

一、 Linux操作系统

CentOS-7，安装包CentOS-7-x86_64-DVD-1511.iso

二、 JDK

JDK8，安装包jdk-8u151-linux-x64.tar.gz

三、 Web容器

Tomcat 8.5.23，安装包apache-tomcat-8.5.23.zip

四、 ArcGIS软件

a) Portal for ArcGIS 10.5.1(Linux)，安装包：

Portal_for_ArcGIS_Linux_1051_156440.tar.gz

b) ArcGIS Server 10.5.1(Linux) ，安装包：

ArcGIS_Server_Linux_1051_156429.tar.gz

c) WebAdaptor 10.5.1(Linux) ，安装包：

Web_Adaptor_Java_Linux_1051_156442.tar.gz

d) ArcGIS DataStore 10.5.1(Linux) ，安装包：

ArcGIS_DataStore_Linux_1051_156441.tar.gz

3 部署步骤

3.1 安装操作系统

三台机器安装CentOS7，步骤略。

3.2 用户组创建

[root@esrixa home]#groupadd arcgis

[root@esrixa home]#useradd -g arcgis -m arcgis

[root@esrixa home]#passwd arcgis

3.3 拷贝软件安装包

将各安装包移动至/home/arcgis/arcgis1051。

[root@esrixa home]# mv/home/esrixa/arcgis1051 /home/arcgis/

3.4 解压缩软件安装包

解压缩.tar.gz结尾的各安装包待用。

[root@esrixa home]# tar-zxvf包名

解压缩.zip结尾的安装包待用。

[root@esrixa home]# unzip

3.5 机器名配置

ArcGISEnterprise的安装要求计算机名是完全限定域名的形式。这一修改可通过编辑/etc/hostname和/etc/hosts两个文件实现。

3.5.1 编辑/etc/hostname

[root@esrixa home]# vim/etc/hostname

在文件写入机器名，此处以esrixa机器为例，写入esrixa.portal.com

3.5.2 编辑/etc/hosts

[root@esrixa home]# vim/etc/hosts

文件内容如下：

127.0.0.1 localhost

192.168.0.128esrixa.portal.com

192.168.0.129ga1.portal.com

192.168.0.130es1.portal.com

3.6 网络配置

3.6.1 修改IP

[root@esrixa home]# vim /etc/sysconfig/network-scripts/ifcfg-eno16777736

修改以下内容

BOOTPROTO=dhcp修改为BOOTPROTO=static

增加如下内容

IPADDR=192.168.0.128

GATEWAY=192.168.0.2

DNS1=192.168.0.2

重启网络服务

[root@esrixa home]# servicenetwork restart

重启网络服务（新命令）

[root@esrixa home]# systemctlrestart network.service

3.6.2 测试网络

[root@esrixa home]# ping www.baidu.com

若有数据包返回，则网络配置成功。

3.6.3 附：VM虚拟机网络配置

点击“虚拟网络编辑器”

点击“更改设置”

配置VMnet8为NAT模式，IP段填写为192.168.0.0，子网掩码255.255.255.0。

3.7 修改文件权限

chmod -R 777/home/arcgis/arcgis1051

3.8 关闭防火墙

关闭三台机器防火墙。

[root@esrixa home]# systemctl stop firewalld.service

3.8.1 禁用防火墙开机启动

[root@esrixa home]# systemctl disable firewalld.service

3.9 安装和配置ArcGIS for Server

3.9.1 编辑/etc/security/limits.conf

[root@esrixa home]# vim /etc/security/limits.conf

添加如下内容：

arcgis soft nofile 65535

arcgis hard nofile 65535

arcgis soft nproc 25059

arcgis hard nproc 25059

安装ArcGIS for Server

切换至arcgis账户

[root@esrixa home]# suarcgis

3.9.2 安装

[arcgis@esrixa home]$./Setup -m console

一路回车，显示如下信息，说明安装成功。

Congratulations. ArcGISServer10.5 has beensuccessfully installed to: /home/arcgis/arcgis/server You will be
able toaccess ArcGIS Server Manager by navigating tohttp://agsenterprise.esrichina … ager.
PRESS <ENTER> TOEXIT THEINSTALLER:

3.9.3 配置

创建站点步骤略。

3.10 安装和配置Portal for ArcGIS

3.10.1 安装

[arcgis@esrixa home]$ cdPortalForArcGIS/

[arcgis@esrixa home]$./Setup -m console

如显示如下信息，说明安装成功。

Congratulations. Portalfor ArcGIS
10.5 has beensuccessfully installed to: /home/arcgis/arcgis/portal You will be able toaccess Portalfor ArcGIS
10.5bynavigating tohttps://localhost:7443/arcgis/home.

3.10.2 配置

创建新Portal略。

创建初始化账户略。

3.11 安装和配置ArcGIS DataStore

3.11.1 安装环境配置

设置vm.swappiness和vm.max_map_count的值，以满足时空大数据分析需要。

[root@esrixa arcgis]# echo ‘vm.max_map_count = 262144’ >>/etc/sysctl.conf

[root@esrixa arcgis]# echo ‘vm.swappiness = 1’ >> /etc/sysctl.conf

运行命令使上述变更生效

[root@esrixa arcgis]#/sbin/sysctl -p

3.11.2 安装

切换到arcgis账户

[root@esrixa arcgis]# su – arcgis

安装

[arcgis@esrixa ~]$ cdArcGISDataStore_Linux/

[arcgis@esrixaArcGISDataStore_Linux]$ ./Setup -m silent -l Yes

3.11.3 配置

有两台机器需要安装DataStore，一台是esrixa.portal.com，一台是es1.portal.com。esrixa.portal.com配置关系型，es1.portal.com配置时空大数据存储。

3.11.3.1 esrixa.portal.com下的DataStore配置

3.11.3.2 es1.portal.com下的DataStore配置

3.12 安装Web Adaptor

WebAdaptor需要Web容器来进行配置，在Linux下可以选择Tomcat进行部署，为了安装Tomcat，必须先安装JDK，而CentOS7操作系统自带OpenJDK，我们需要先卸载OpenJDK，安装Sun公司的JDK后，再进行Tomcat、WebAdptor的配置。

3.12.1 卸载OpenJDK安装SunJDK

3.12.1.1 查看自带的OpenJDK

[root@esrixa arcgis]# java -version

显示JDK为 openjdk，版本为”1.8.0_65”

3.12.1.2 查询已安装的JDK包

[root@esrixa arcgis]# rpm -qa|grep java

3.12.1.3 删除OpenJDK

注意，nodeps前有两个“-”。

[root@esrixa arcgis]# rpm -e –nodeps java-1.7.0-openjdk-headless

[root@esrixa arcgis]# rpm -e –nodeps java-1.7.0-openjdk

[root@esrixa arcgis]# rpm -e –nodeps java-1.8.0-openjdk-headless

[root@esrixa arcgis]# rpm -e –nodeps java-1.8.0-openjdk

3.12.1.4 检测是否删除成功

[root@esrixa arcgis]# java -version

如显示下图说明已成功删除。

3.12.2 安装SunJDK

3.12.2.1 拷贝JDK

将JDK安装包内容拷贝至/usr/local目录

[root@esrixa arcgis]# mv /jdk1.8.0_151 /usr/local

3.12.2.2 配置JDK环境变量

[root@esrixa arcgis]# vim/etc/profile

增加下列几行内容

JAVA_HOME=/usr/local/jdk1.8.0_151

JRE_HOME=/usr/local/jdk1.8.0_151/jre

CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jarPATH=$JAVA_HOME/bin:$PATH

export JAVA_HOMECLASSPATH PATH

使JDK环境变量配置生效

[root@esrixa arcgis]# source/etc/profile

3.12.2.3 验证JDK

[root@esrixa arcgis]# java-version

显示如下信息则说明配置成功

3.12.3 配置Tomcat

3.12.3.1 拷贝安装包

在/usr/local/下创建tomcat8文件夹

[root@esrixa home]# mkdir/usr/local/tomcat8

将tomcat安装包拷贝至/usr/local/tomcat8

[root@esrixa home]# mvapache-tomcat-8.5.23/* /usr/local/tomcat8

3.12.3.2 创建私钥和证书请求

[root@esrixa home]# openssl req -newkey rsa:2048 -nodes -keyout /usr/local/tomcat8/esrixa.key-x509 -days 365 -out /usr/local/tomcat8/esrixa.crt

填写内容，注意，CommonName这里一定要填写域名

Country Name (2 lettercode) [XX]:cn

State or Province Name(full name) :sx

Locality Name (eg, city)[Default City]:xa

Organization Name (eg,company) [Default Company Ltd]:arcgis

Organizational Unit Name(eg, section) :arcgis

Common Name (eg, yourname or your server’s hostname) :esrixa.portal.com

Email Address :esrixa@esrichina.com.cn

3.12.3.3 创建自签名证书

[root@esrixa home]# openssl pkcs12 -inkey /usr/local/tomcat8/esrixa.key -in/usr/local/tomcat8/esrixa.crt -export -out /usr/local/tomcat8/esrixa.pfx

输入密码arcgis

3.12.3.4 配置Tomcat

开启https

[root@esrixa home]# vim/usr/local/tomcat8/conf/server.xml

修改为如下内容：

3.12.3.5 启动和验证Tomcat

修改root启动tomcat的权限。

[root@esrixa home]# chmod-R 777 /usr/local/tomcat8

启动tomcat

[root@esrixa home]# cd/usr/local/tomcat8/bin

[root@esrixa home]# ./startup.sh

验证tomcat

在浏览器中输入https://esrixa.portal.com

成功有如下界面：

3.12.4 安装WebAdaptor

[arcgis@esrixa home]# cd/usr/local/arcgis1051/WebAdaptor

[arcgis@esrixa home]# ./Setup-m silent -l yes

显示上图时，安装完成。

3.12.5 Web Adaptor配置

拷贝arcgis.war包至Tomcat下。

[root@esrixa home]# cp /home/arcgis/webadaptor10.5.1/java/arcgis.war

/usr/local/tomcat8/webapps/

[root@esrixa home]# cp /home/arcgis/webadaptor10.5.1/java/arcgis.war

/usr/local/tomcat8/webapps/server.war

arcgis.war用作Portal for ArcGIS的Web Adaptor，server.war用作ArcGIS Server的Web Adaptor。

3.12.6 验证Web Adaptor

浏览器输入

https://esrixa.portal.com/arcgis

https://esrixa.portal.com/server

若页面打开正常，则表明安装无误。大家自行对server及portal配置Web Adaptor

3.13 ArcGIS Enterprise配置

3.14 注册联合服务器

将esrixa.portal.com下的ArcGIS Server与ga1.portal.com下的ArcGIS Server注册为Portal的联合服务器。

备注：Server配置有webadaptor的，填写webadaptor的地址，ArcGIS Server没有webadaptor的，按如下填写。

3.15 配置托管服务器

将esrixa.portal.com下的ArcGIS Server配置为托管服务器。

3.16 配置大数据分析服务器

选择已联合的ga1.portal.com中的ArcGIS Server作为大数据分析服务器。

配置完成后，点击“保存”。

3.17 配置NFS

在没有共享存储的环境下，可以在局域网内配置NFS服务器做共享存储，但只建议用于测试环境，生产环境建议使用专业存储。

CentOS 7已经安装了nfs软件，只需要启动。在此次分布式部署中，将NFS服务器配置于es1.portal.com机器。

将/usr/local/nfstest文件夹作为共享内容，其他机器将此文件夹挂载至/data。

3.17.1 NFS服务器端配置

3.17.1.1 设置共享文件夹及共享权限

编辑/etc/exports

[root@es1 home]# vim /etc/exports

增加如下内容

/usr/local/nfstest*(insecure,rw,sync,no_root_squash)

3.17.1.2 启动服务

重启rpc服务

[root@es1 home]# systemctlrestart rpcbind.service

重启nfs服务

[root@es1 home]# systemctlrestart nfs.service

3.17.2 NFS客户端配置

查询可挂载内容

[root@ga1 home]#showmount -e 192.168.0.130

在esrixa.portal.com，ga1.portal.com两台机器上执行以下命令挂载。/data文件夹需要自己新建。/data在根目录下

[root@ga1 home]# mkdir/data

[root@ga1 home]# mount -tnfs 192.168.0.130:/usr/local/nfstest /data

3.18 配置NAS盘做共享存储

略

4 矢量大数据分析功能测试步骤

4.1 拷贝分析数据至共享存储

拷贝分析数据至共享目录，此案例中拷贝分析数据至es1.portal.com的“/usr/local/nfstest”下，测试数据可以发邮件至lizf@esrichina.com.cn跟我索要。

4.2 注册大数据文件共享

进入ArcGISServer manager页面，点击“站点”。

点击“DataStore”-“注册”-“大数据文件共享”

4.2.1 注册文件共享

填写如下内容：

注意：这里/nas为共享目录。“名称”不能随意起，这里填写的“taxi”对应着/data/taxi文件夹

填写完成后点击“创建”。

4.2.2 注册HDFS数据

填写格式参考默认格式即可。

4.2.3 注册Hive数据