分布式编译系统的搭建

  • GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源。
  • GreatSQL是MySQL的国产分支版本,使用上与MySQL一致。
  • 作者:dan
  • 文章来源:GreatSQL社区原创

由于MySQL 源码编译单机耗费的时间过于长,最近MySQL 变成8.0.27 以后编译时间明显更耗时了,并且办公室内有多余的空闲机器。

使用分布式编译,可以在不改变现有环境的情况下,提高编译效率。

目前比较常用的编译工具有2个 distccicecream , 本文使用distcc 进行部署。

部署distcc

分为两个部分一个是服务端,一个是客户端

程序分别是distccddistcc

服务端

也是我们空余的设备上

可以基于Docker部署镜像版本最好和客户端一致,编译器版本需求GCC 或者 Clang 一致

moyu22:/opt/distcc$ cat Dockerfile 
FROM ubuntu:20.04

RUN apt update && \
apt install  -y net-tools distcc gcc g++ clang-12 && \
apt clean && \
echo "#!/bin/bash \n distccd --daemon --no-detach --no-detach --user nobody --allow 0.0.0.0/0 --log-stderr --stats \${OPT}" > ./entrypoint.sh && \
chmod +x ./entrypoint.sh

# Run the generated shell script.
ENTRYPOINT ["./entrypoint.sh"]

打包一个distccd 的镜像

docker build -f Dockerfile -t distcc .

Docker启动

docker run -t -d -net=host distccd 

也可以使用docker-compose.yml启动

version: '3'

services:
    distcc:
      image: "chestnutsj/distcc:latest"
      hostname: distcc
      container_name: distcc
      privileged: true
      ports:
        - 3632:3632
        - 3633:3633
docker-compose -f docker-compoe.yml  up -d 

默认情况下,将运行所有人都可以运行访问,如果有需要认证可以在环境变量 OPT 中添加,或者修改默认的端口

客户端

配置

本地环境 20.04 (),需要编译项目的机器上,安装distcc

moyu20: apt install -y distcc

在配置中添加服务器下的 /etc/distcc/hosts ,也可以在 $HOME/.distcc/hosts , 域名可以按照服务器优先级添加

hostname[/LIMIT]
192.168.1.102/32

默认的limit 数量是 4 如果需要更高的效率可以使用更高的数值用

root@dev:/# distcc -j
48
默认limit为 hostname * 4

单个文件可以使用

distcc g++ t1.cpp

以MySQL源码为例

cmake mysql_source \
-DBUILD_TESTING=OFF -DUSE_GTAGS=OFF -DUSE_CTAGS=OFF \
-DCMAKE_BUILD_TYPE=RelWithDebInfo \
-DFEATURE_SET=community \
-DWITH_INNODB_MEMCACHED=ON -DWITH_ZLIB=bundled -DWITH_LIBEVENT=bundled -DWITH_ZSTD=bundled \
-DENABLE_DOWNLOADS=ON \
-DDOWNLOAD_BOOST=1 \
..

添加指定的编译

 -DCMAKE_C_COMPILER_LAUNCHER=distcc
 -DCMAKE_CXX_COMPILER_LAUNCHER=distcc

编译项目

make -j 32 

可以明显降低编译时间

监控

编译期间可以查看distcc 使用情况

distccmon-text 1 间隔时间 1 秒

Enjoy GreatSQL ?

关于 GreatSQL

GreatSQL是由万里数据库维护的MySQL分支,专注于提升MGR可靠性及性能,支持InnoDB并行查询特性,是适用于金融级应用的MySQL分支版本。

相关链接: GreatSQL社区 Gitee GitHub Bilibili

GreatSQL社区:

社区博客有奖征稿详情:https://greatsql.cn/thread-100-1-1.html

image-20230105161905827

技术交流群:

微信:扫码添加GreatSQL社区助手微信好友,发送验证信息加群

image-20221030163217640

原文链接:https://www.cnblogs.com/greatsql/p/17354744.html

本站文章如无特殊说明,均为本站原创,如若转载,请注明出处:分布式编译系统的搭建 - Python技术站

(0)
上一篇 2023年4月27日
下一篇 2023年4月27日

相关文章

  • 解决MySQL5.1安装时出现Cannot create windows service for mysql.error:0

    当在Windows操作系统中安装MySQL 5.1时,有时会遇到“Cannot create windows service for mysql. error:0”的错误。这个错误通常是由于该计算机上已经存在mysql服务并且正在运行,或者是由于没有足够的权限来安装和创建服务引起的。为了解决这个问题,您可以尝试以下几个步骤: 步骤一:停止和删除现有的MySQ…

    MySQL 2023年5月18日
    00
  • 分享一下Mysql常见的几个错误问题及解决方法

    下面是关于“分享一下Mysql常见的几个错误问题及解决方法”的完整攻略: 一、Mysql常见错误 Mysql是一款常用的关系型数据库,使用过程中经常会遇到各种错误。下面列举了几个常见的Mysql错误: 1.连接Mysql出错 当你想连接Mysql数据库时,可能会遇到“Access denied for user”的错误,这意味着你的用户名和密码不正确,无法登…

    MySQL 2023年5月18日
    00
  • 几个缩减MySQL以节省磁盘空间的建议

    当数据量庞大时,MySQL所占用的磁盘空间也随之增加。因此,几个缩减MySQL以节省磁盘空间的建议就尤为重要。 以下是一些缩减MySQL以节省磁盘空间的建议: 1. 使用TINYINT代替BOOLEAN 在MySQL中,BOOLEAN会以1字节的形式存储。然而,TINYINT可以用1位就能存储,所以使用TINYINT可以大大节省磁盘空间。 例如,当一个表中有…

    MySQL 2023年5月19日
    00
  • MySQL8.0与MySQL5.7的区别详解

    MySQL 8.0 与 MySQL 5.7 的区别详解 MySQL 8.0 相对于 MySQL 5.7 ,在很多方面做了重大的更新和改进。下面详细讲解 MySQL 8.0 与 MySQL 5.7 的区别。 新增特性和功能 MySQL 8.0 版本增加了许多新的功能和特性,比如下面几个。 安全性 MySQL 8.0 增强了安全性,除了支持更多的密钥长度之外,还…

    MySQL 2023年5月18日
    00
  • 转 mysql show processlist 查看当前连接

    show processlist和show full processlist processlist命令的输出结果显示了有哪些线程在运行,不仅可以查看当前所有的连接数,还可以查看当前的连接状态帮助识别出有问题的查询语句等。 如果是root帐号,能看到所有用户的当前连接。如果是其他普通帐号,则只能看到自己占用的连接。showprocesslist只能列出当前1…

    MySQL 2023年4月13日
    00
  • SQL优化的N种方法(小结)

    题目: SQL优化的N种方法(小结) SQL优化是DBA和开发人员经常要面对的任务之一。随着业务发展,数据量不断增加,SQL语句的性能问题越来越显著。如何优化SQL语句以达到更好的性能,成为一个需要掌握的核心技能。 下面,我针对SQL优化的N种方法进行详细的讲解。 1.优化查询语句的表结构 通过优化表的结构,可以大大提高SQL查询的效率。表结构优化可以从以下…

    MySQL 2023年5月19日
    00
  • 详解Mysql多表联合查询效率分析及优化

    详解Mysql多表联合查询效率分析及优化 在使用MySQL数据库进行多表联合查询时,查询效率可能会很低,需要进行一定的优化。本文将详细讲解MySQL多表联合查询的优化攻略。 1.使用JOIN语句代替子查询 在MySQL中,使用JOIN语句可以代替子查询,可以提高查询效率。下面是一个使用子查询的示例: SELECT * FROM TableA WHERE id…

    MySQL 2023年5月19日
    00
  • MYSQL SQL查询近7天,一个月的数据

      //今天 select * from 表名 where to_days(时间字段名) = to_days(now()); //昨天 SELECT * FROM 表名 WHERE TO_DAYS( NOW( ) ) – TO_DAYS( 时间字段名) <= 1 //近7天 SELECT * FROM 表名 where DATE_SUB(CURDATE…

    MySQL 2023年4月27日
    00
合作推广
合作推广
分享本页
返回顶部