doris部署

Doris 部署

下载：

Doris 运行在 Linux 环境中，推荐 CentOS 7.x 或者 Ubuntu 16.04 以上版本，同时你需要安装 Java 运行环境（JDK 版本要求为 8），要检查你所安装的 Java 版本，请运行以下命令：

地址：https://doris.incubator.apache.org/zh-CN/download/ 这里选择2.1版本

image-20240415145252208

上传服务器然后解压：

1
tar -xvf apache-doris-2.1.1-bin-x64.tar.gz

修改名称：

1
mv apache-doris-2.1.1-bin-x64 doris-2.1.1

配置 Doris

配置 FE

我们进入到 apache-doris-x.x.x/fe 目录

1
cd doris-2.1.1/fe

修改 FE 配置文件 conf/fe.conf ，这里我们主要修改两个参数：priority_networks 及 meta_dir ，如果你需要更多优化配置，请参考 FE 参数配置说明，进行调整。

  1. 添加 priority_networks 参数 默认值：空
1
2
#为那些有很多 ip 的服务器声明一个选择策略。 请注意，最多应该有一个 ip 与此列表匹配。 这是一个以分号分隔格式的列表，用 CIDR 表示法，例如 10.10.10.0/24。 如果没有匹配这条规则的ip，会随机选择一个。
priority_networks=192.168.1.0/24

注意：

这个参数我们在安装的时候是必须要配置的，特别是当一台机器拥有多个 IP 地址的时候，我们要为 FE 指定唯一的 IP 地址。

这里假设你的节点 IP 是 172.23.16.32，那么我们可以通过掩码的方式配置为 172.23.16.0/24。

在网络配置中，IP地址后面的“/”后面的数字表示子网掩码的位数，而不是IP地址的位数。在CIDR（无类域间路由）表示法中，/24表示子网掩码为255.255.255.0，即前24位为网络位，后8位为主机位。因此，172.23.16.0/24表示网络地址为172.23.16.0，子网掩码为255.255.255.0，可以包含该网络下的所有IP地址（从172.23.16.0到172.23.16.255）。如果使用0/32，表示只包含单个IP地址0.0.0.0，而不是表示一个网络范围。

  1. 添加元数据目录
1
meta_dir=/data/doris-meta

注意：

这里你可以不配置，默认是在你的 Doris FE 安装目录下的 doris-meta，

单独配置元数据目录，需要你提前创建好你指定的目录

启动 FE

在 FE 安装目录下执行下面的命令，来完成 FE 的启动。

1
./bin/start_fe.sh --daemon

查看 FE 运行状态

你可以通过下面的命令来检查 Doris 是否启动成功

1
curl http://127.0.0.1:8030/api/bootstrap

这里 IP 和 端口分别是 FE 的 IP 和 http_port（默认 8030），如果是你在 FE 节点执行，直接运行上面的命令即可。

如果返回结果中带有 "msg":"success" 字样，则说明启动成功。

你也可以通过 Doris FE 提供的 Web UI 来检查，在浏览器里输入地址

http:// fe_ip:8030 密码：

可以看到下面的界面，说明 FE 启动成功

image-20220822091951739

注意：

  1. 这里我们使用 Doris 内置的默认用户 root 进行登录，密码是空
  2. 这是一个 Doris 的管理界面，只能拥有管理权限的用户才能登录，普通用户不能登录。

登录后，可以通过以下命令修改root密码：

1
2
mysql> SET PASSWORD FOR 'root' = PASSWORD('your_password');
Query OK, 0 rows affected (0.00 sec)

your_password是为root用户设置的新密码，可以随意设置，建议设置为强密码增加安全性，下次登录就用新密码登录。

1
[root@doris ~]# mysql -h FE_HOST -P9030 -utest -ptest_passwd

连接 FE

我们下面通过 MySQL 客户端来连接 Doris FE，下载免安装的 MySQL 客户端

解压刚才下载的 MySQL 客户端，在 bin/ 目录下可以找到 mysql 命令行工具。然后执行下面的命令连接 Doris。

1
mysql -uroot -P9030 -h127.0.0.1

注意：

  1. 这里使用的 root 用户是 doris 内置的默认用户，也是超级管理员用户，具体的用户权限查看 权限管理
  2. -P：这里是我们连接 Doris 的查询端口，默认端口是 9030，对应的是 fe.conf 里的 query_port
  3. -h：这里是我们连接的 FE IP 地址，如果你的客户端和 FE 安装在同一个节点可以使用 127.0.0.1。

执行下面的命令查看 FE 运行状态

1
show frontends\G;

然后你可以看到类似下面的结果：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
mysql> show frontends\G
*************************** 1. row ***************************
              Name: fe_ec1d48ae_d234_42d4_9918_a2ea1fddce78
              Host: 192.168.1.1
       EditLogPort: 9010
          HttpPort: 8030
         QueryPort: 9030
           RpcPort: 9020
ArrowFlightSqlPort: -1
              Role: FOLLOWER
          IsMaster: true
         ClusterId: 1030010866
              Join: true
             Alive: true
 ReplayedJournalId: 117
     LastStartTime: 2024-04-15 15:10:34
     LastHeartbeat: 2024-04-15 15:18:05
          IsHelper: true
            ErrMsg: 
           Version: doris-2.1.1-rc05-9f2520537f
  CurrentConnected: Yes
1 row in set (0.01 sec)

如果 IsMaster、Join 和 Alive 三列均为 true，则表示节点正常。

停止 FE 节点

Doris FE 的停止可以通过下面的命令完成

1
./bin/stop_fe.sh

配置 BE

我们进入到 apache-doris-x.x.x/be 目录

1
cd /data/doris-2.1.1/be

修改 BE 配置文件 conf/be.conf ，这里我们主要修改两个参数：priority_networks 及 storage_root ，如果你需要更多优化配置，请参考 BE 参数配置说明，进行调整。

  1. 添加 priority_networks 参数
1
priority_networks=172.23.16.0/24

注意：

这个参数我们在安装的时候是必须要配置的，特别是当一台机器拥有多个 IP 地址的时候，我们要为 BE 指定唯一的 IP 地址。

  1. 配置 BE 数据存储目录
1
storage_root_path=/path/your/data_dir

注意：

  1. 默认目录在 BE 安装目录的 storage 目录下。
  2. BE 配置的存储目录必须先创建好
  • 配置 JAVA_HOME 环境变量

SinceVersion 1.2.0由于从 1.2 版本开始支持 Java UDF 函数，BE 依赖于 Java 环境。所以要预先配置 JAVA_HOME 环境变量，也可以在 start_be.sh 启动脚本第一行添加 export JAVA_HOME=your_java_home_path 来添加环境变量。

  • 安装 Java UDF 函数

SinceVersion 1.2.0安装 Java UDF 函数因为从 1.2 版本开始支持 Java UDF 函数，需要从官网下载 Java UDF 函数的 JAR 包放到 BE 的 lib 目录下，否则可能会启动失败。

修改后传送到另外几台服务器：

1
2
scp -r doris-2.1.1/ node02:/data/ 
scp -r doris-2.1.1/ node03:/data/

启动 BE

在 BE 安装目录下执行下面的命令，来完成 BE 的启动。

1
./bin/start_be.sh --daemon

以下报错

[root@node02 be]# ./bin/start_be.sh –daemon
Please set vm.max_map_count to be 2000000 under root using 'sysctl -w vm.max_map_count=2000000'.

执行sysctl -w vm.max_map_count=2000000

[root@node02 be]# sysctl -w vm.max_map_count=2000000
vm.max_map_count = 2000000
[root@node02 be]# ./bin/start_be.sh –daemon
Please disable swap memory before installation.

要先禁用交换内存

在Linux上安装之前禁用交换内存，您可以按照以下步骤操作：

  1. 检查当前的交换使用情况和交换分区：
1
2
sudo swapon --show
sudo free -h

img33
2. 禁用所有的交换分区：

1
sudo swapoff -a
  1. 在/etc/fstab文件中注释掉交换分区，以防止它们在系统启动时被启用。您可以使用文本编辑器如nano或vim来编辑文件：
1
sudo vim /etc/fstab

通过在每行开头添加#来注释掉引用交换分区的行。

img
4. 验证交换是否已禁用，并且在free -h或swapon --show的输出中未列出交换。

在按照这些步骤操作后，您的系统上的交换内存将被禁用。请在安装后如有必要，为了系统的性能和稳定性，请重新启用交换内存。

添加 BE 节点到集群

通过 MySQL 客户端连接到 FE 之后执行下面的 SQL，将 BE 添加到集群中

1
ALTER SYSTEM ADD BACKEND "be_host_ip:heartbeat_service_port";
  1. be_host_ip：这里是你 BE 的 IP 地址，和你在 be.conf 里的 priority_networks 匹配 192.168.1.2
  2. heartbeat_service_port：这里是你 BE 的心跳上报端口，和你在 be.conf 里的 heartbeat_service_port 匹配，默认是 9050。
1
2
3
(base) -bash-4.2# mysql -uroot -P9030 -h127.0.0.1                                                                                                                                                                                                              mysql> ALTER SYSTEM ADD BACKEND "192.168.1.2:9050";                                                                                                                                    
Query OK, 0 rows affected (0.02 sec)                                                                                                                                                      
mysql>

ALTER SYSTEM ADD BACKEND “192.168.1.2:9050”;

查看 BE 运行状态

你可以在 MySQL 命令行下执行下面的命令查看 BE 的运行状态。

1
SHOW BACKENDS\G

示例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
mysql> SHOW BACKENDS\G
*************************** 1. row ***************************
              BackendId: 11385
                   Host: 192.168.1.2
          HeartbeatPort: 9050
                 BePort: 9060
               HttpPort: 8040
               BrpcPort: 8060
     ArrowFlightSqlPort: -1
          LastStartTime: 2024-04-15 15:40:49
          LastHeartbeat: 2024-04-15 15:43:25
                  Alive: true
   SystemDecommissioned: false
              TabletNum: 22
       DataUsedCapacity: 0.000 
     TrashUsedCapcacity: 0.000 
          AvailCapacity: 283.720 GB
          TotalCapacity: 299.853 GB
                UsedPct: 5.38 %
         MaxDiskUsedPct: 5.38 %
     RemoteUsedCapacity: 0.000 
                    Tag: {"location" : "default"}
                 ErrMsg: 
                Version: doris-2.1.1-rc05-9f2520537f
                 Status: {"lastSuccessReportTabletsTime":"2024-04-15 15:42:46","lastStreamLoadTime":-1,"isQueryDisabled":false,"isLoadDisabled":false}
HeartbeatFailureCounter: 0
               NodeRole: mix
1 row in set (0.00 sec)
  • Alive : true 表示节点运行正常

停止 BE 节点

Doris BE 的停止可以通过下面的命令完成

1
./bin/stop_be.sh

创建数据表

  1. 创建一个数据库
1
create database demo;
  1. 创建数据表
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
use demo;

CREATE TABLE IF NOT EXISTS demo.example_tbl
(
    `user_id` LARGEINT NOT NULL COMMENT "用户id",
    `date` DATE NOT NULL COMMENT "数据灌入日期时间",
    `city` VARCHAR(20) COMMENT "用户所在城市",
    `age` SMALLINT COMMENT "用户年龄",
    `sex` TINYINT COMMENT "用户性别",
    `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用户最后一次访问时间",
    `cost` BIGINT SUM DEFAULT "0" COMMENT "用户总消费",
    `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用户最大停留时间",
    `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用户最小停留时间"
)
AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 1
PROPERTIES (
    "replication_allocation" = "tag.location.default: 1"
);
  1. 示例数据
1
2
3
4
5
6
7
10000,2017-10-01,北京,20,0,2017-10-01 06:00:00,20,10,10
10000,2017-10-01,北京,20,0,2017-10-01 07:00:00,15,2,2
10001,2017-10-01,北京,30,1,2017-10-01 17:05:45,2,22,22
10002,2017-10-02,上海,20,1,2017-10-02 12:59:12,200,5,5
10003,2017-10-02,广州,32,0,2017-10-02 11:20:00,30,11,11
10004,2017-10-01,深圳,35,0,2017-10-01 10:00:15,100,3,3
10004,2017-10-03,深圳,35,0,2017-10-03 10:20:22,11,6,6

将上面的数据保存在test.csv文件中。

  1. 导入数据

这里我们通过 Stream load 方式将上面保存到文件中的数据导入到我们刚才创建的表里。

1
curl --location-trusted -u root: -T test2.csv -H "column_separator:," -H "Expect: 100-continue" http://192.168.1.1:8030/api/demo/example_tbl/_stream_load
  • -T test.csv : 这里使我们刚才保存的数据文件，如果路径不一样，请指定完整路径
  • -u root : 这里是用户名密码，我们使用默认用户 root，密码是空
  • 127.0.0.1:8030 : 分别是 fe 的 ip 和 http_port

执行成功之后我们可以看到下面的返回信息

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
{
 	"TxnId": 24,
    "Label": "480f7e81-8e84-412b-aa56-dfd0621ff33c",
    "Comment": "",
    "TwoPhaseCommit": "false",
    "Status": "Success",
    "Message": "OK",
    "NumberTotalRows": 7,
    "NumberLoadedRows": 7,
    "NumberFilteredRows": 0,
    "NumberUnselectedRows": 0,
    "LoadBytes": 399,
    "LoadTimeMs": 197,
    "BeginTxnTimeMs": 13,
    "StreamLoadPutTimeMs": 95,
    "ReadDataTimeMs": 0,
    "WriteDataTimeMs": 54,
    "CommitAndPublishTimeMs": 33
}
  1. NumberLoadedRows: 表示已经导入的数据记录数
  2. NumberTotalRows: 表示要导入的总数据量
  3. Status :Success 表示导入成功

到这里我们已经完成的数据导入，下面就可以根据我们自己的需求对数据进行查询分析了。

查询数据

我们上面完成了建表，输数据导入，下面我们就可以体验 Doris 的数据快速查询分析能力。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
mysql> select * from example_tbl;
+---------+------------+--------+------+------+---------------------+------+----------------+----------------+
| user_id | date       | city   | age  | sex  | last_visit_date     | cost | max_dwell_time | min_dwell_time |
+---------+------------+--------+------+------+---------------------+------+----------------+----------------+
| 10000   | 2017-10-01 | 北京   |   20 |    0 | 2017-10-01 07:00:00 |   35 |             10 |              2 |
| 10001   | 2017-10-01 | 北京   |   30 |    1 | 2017-10-01 17:05:45 |    2 |             22 |             22 |
| 10002   | 2017-10-02 | 上海   |   20 |    1 | 2017-10-02 12:59:12 |  200 |              5 |              5 |
| 10003   | 2017-10-02 | 广州   |   32 |    0 | 2017-10-02 11:20:00 |   30 |             11 |             11 |
| 10004   | 2017-10-01 | 深圳   |   35 |    0 | 2017-10-01 10:00:15 |  100 |              3 |              3 |
| 10004   | 2017-10-03 | 深圳   |   35 |    0 | 2017-10-03 10:20:22 |   11 |              6 |              6 |
+---------+------------+--------+------+------+---------------------+------+----------------+----------------+
6 rows in set (0.02 sec)

mysql> select * from example_tbl where city='上海';
+---------+------------+--------+------+------+---------------------+------+----------------+----------------+
| user_id | date       | city   | age  | sex  | last_visit_date     | cost | max_dwell_time | min_dwell_time |
+---------+------------+--------+------+------+---------------------+------+----------------+----------------+
| 10002   | 2017-10-02 | 上海   |   20 |    1 | 2017-10-02 12:59:12 |  200 |              5 |              5 |
+---------+------------+--------+------+------+---------------------+------+----------------+----------------+
1 row in set (0.05 sec)

mysql> select city, sum(cost) as total_cost from example_tbl group by city;
+--------+------------+
| city   | total_cost |
+--------+------------+
| 广州   |         30 |
| 上海   |        200 |
| 北京   |         37 |
| 深圳   |        111 |
+--------+------------+
4 rows in set (0.05 sec)