由于MySQL 源码编译单机耗费的时间过于长,最近MySQL 变成8.0.27 以后编译时间明显更耗时了,并且办公室内有多余的空闲机器。
使用分布式编译,可以在不改变现有环境的情况下,提高编译效率。
目前比较常用的编译工具有2个 distcc
与 icecream
, 本文使用distcc
进行部署。
部署distcc
分为两个部分一个是服务端,一个是客户端
程序分别是distccd
和 distcc
服务端
也是我们空余的设备上
可以基于Docker
部署镜像版本最好和客户端一致,编译器版本需求GCC
或者 Clang
一致
moyu22:/opt/distcc$ cat Dockerfile
FROM ubuntu:20.04
RUN apt update && \
apt install -y net-tools distcc gcc g++ clang-12 && \
apt clean && \
echo "#!/bin/bash \n distccd --daemon --no-detach --no-detach --user nobody --allow 0.0.0.0/0 --log-stderr --stats \${OPT}" > ./entrypoint.sh && \
chmod +x ./entrypoint.sh
# Run the generated shell script.
ENTRYPOINT ["./entrypoint.sh"]
打包一个distccd
的镜像
docker build -f Dockerfile -t distcc .
Docker
启动
docker run -t -d -net=host distccd
也可以使用docker-compose.yml
启动
version: '3'
services:
distcc:
image: "chestnutsj/distcc:latest"
hostname: distcc
container_name: distcc
privileged: true
ports:
- 3632:3632
- 3633:3633
docker-compose -f docker-compoe.yml up -d
默认情况下,将运行所有人都可以运行访问,如果有需要认证可以在环境变量 OPT 中添加,或者修改默认的端口
客户端
配置
本地环境 20.04 (),需要编译项目的机器上,安装distcc
moyu20: apt install -y distcc
在配置中添加服务器下的 /etc/distcc/hosts
,也可以在 $HOME/.distcc/hosts
, 域名可以按照服务器优先级添加
hostname[/LIMIT]
192.168.1.102/32
默认的limit 数量是 4 如果需要更高的效率可以使用更高的数值用
root@dev:/# distcc -j
48
默认limit为 hostname * 4
单个文件可以使用
distcc g++ t1.cpp
以MySQL源码为例
cmake mysql_source \
-DBUILD_TESTING=OFF -DUSE_GTAGS=OFF -DUSE_CTAGS=OFF \
-DCMAKE_BUILD_TYPE=RelWithDebInfo \
-DFEATURE_SET=community \
-DWITH_INNODB_MEMCACHED=ON -DWITH_ZLIB=bundled -DWITH_LIBEVENT=bundled -DWITH_ZSTD=bundled \
-DENABLE_DOWNLOADS=ON \
-DDOWNLOAD_BOOST=1 \
..
添加指定的编译
-DCMAKE_C_COMPILER_LAUNCHER=distcc
-DCMAKE_CXX_COMPILER_LAUNCHER=distcc
编译项目
make -j 32
可以明显降低编译时间
监控
编译期间可以查看distcc
使用情况
distccmon-text 1 间隔时间 1 秒
Enjoy GreatSQL ?
关于 GreatSQL
GreatSQL是由万里数据库维护的MySQL分支,专注于提升MGR可靠性及性能,支持InnoDB并行查询特性,是适用于金融级应用的MySQL分支版本。
相关链接: GreatSQL社区 Gitee GitHub Bilibili
GreatSQL社区:
社区博客有奖征稿详情:https://greatsql.cn/thread-100-1-1.html
技术交流群:
微信:扫码添加
GreatSQL社区助手
微信好友,发送验证信息加群
。
原文链接:https://www.cnblogs.com/greatsql/p/17354744.html
本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:分布式编译系统的搭建 - Python技术站