【原创】并发数优化-java+ssh+c3p0+tomcat+mysql+windows2008-64位

新项目开发完毕，到了项目部署，没得选也是我来弄了！

最主要的问题：并发数！

这个所有客户数量较大的服务器都会遇到的问题。

虽然现在还没有解决，哈哈哈哈哈哈哈哈哈哈哈哈哈，但是记录下我现在所做的工作吧！

一、数据库

1,数据库：

数据库选择的是MySql 5.1，正常安装，未做优化，只是调整了最大连接数“max_connections=1000;”#此参数决定了Mysql对外提供的最大连接数；后来发现连接池控制的数据库连接，好多都是出于sleep状态，可能是回收不及时，所以又修改了 “wait_timeout=1” “interactive_timeout=1” 让数据库回收1S内无动作的所以连接。

相关设置：

show variables like '%%'; #查找MySql内部变量

show global variables like '%%'; #查看全局变量

show processlist; #查看当前连接数，具体信息状态

set global wait_timeout=12; #设置全局变量参数此种设置方法，重启数据库后失效；

若想永久有效，需在my.ini内添加：　　　　　　

[mysqld]

interactive_timeout=1

wait_timeout=1

附带binlog开启方式：在my.ini下配置binlog路径即可

log_bin="F:\Mysql-binlog\filename" #如有父文件夹，一定要确保父级目录存在，否则数据库无法启动！binlog基础

http://wenku.baidu.com/link?url=DxTYS6DNun3ipodN6rUhkIXwOXQfu3v7SDuBR0ZOa-dChSIK7qXj3TbNGoya6llZTh43YhHDX3RCmEBQ-tbljNnYZ3XaEu7X-UbTP7RKn3O

2,连接池：

现在使用的数据库连接池为c3p0（较为古老了，当时还有一个备选方案BoneCP，但是未能下载到组件），spring框架自带这个jar包（版本号为0.9.1）此版本有性能劣势建议更换为0.9.5版本（http://sourceforge.net/projects/c3p0/），配置时，替换applicationContext.xml 内的 datesource（我的配置）如下：

<bean >
   <property name="driverClass" value="com.mysql.jdbc.Driver" />
   <property name="jdbcUrl"  alue="jdbc:mysql://localhost:3306/*%￥#￥@"/>
   <property name="user" value="&%#￥" />
   <property name="password" value="@&￥……" />
   <property name="minPoolSize" value="3" />
   <property name="maxPoolSize" value="50"/>  
   <property name="initialPoolSize" value="3"/>
   <property name="maxIdleTime" value="2"/>
   <property name="acquireIncrement" value="5"/>
  
   <property name="acquireRetryAttempts" value="3"/>
   <property name="acquireRetryDelay" value="60"/>
   <property name="checkoutTimeout" value="300"/>
   <!-- spring -->
</bean>

将下载的组件jar包复制到WEB-INF/lib文件夹下，并删除原c3p0 jar包"com.springsource.com.mchange.v2.c3p0-0.9.1.2.jar"否则启动tomcat时会报错！

具体配置参数详情：

<c3p0-config>
<default-config>
<!--当连接池中的连接耗尽的时候c3p0一次同时获取的连接数。Default: 3 -->
<property name="acquireIncrement">3</property>
<!--定义在从数据库获取新连接失败后重复尝试的次数。Default: 30 -->
<property name="acquireRetryAttempts">30</property>
<!--两次连接中间隔时间，单位毫秒。Default: 1000 -->
<property name="acquireRetryDelay">1000</property>
<!--连接关闭时默认将所有未提交的操作回滚。Default: false -->
<property name="autoCommitOnClose">false</property>
<!--c3p0将建一张名为Test的空表，并使用其自带的查询语句进行测试。如果定义了这个参数那么
属性preferredTestQuery将被忽略。你不能在这张Test表上进行任何操作，它将只供c3p0测试
使用。Default: null-->
<property name="automaticTestTable">Test</property>
<!--获取连接失败将会引起所有等待连接池来获取连接的线程抛出异常。但是数据源仍有效
保留，并在下次调用getConnection()的时候继续尝试获取连接。如果设为true，那么在尝试
获取连接失败后该数据源将申明已断开并永久关闭。Default: false-->
<property name="breakAfterAcquireFailure">false</property>
<!--当连接池用完时客户端调用getConnection()后等待获取新连接的时间，超时后将抛出
SQLException,如设为0则无限期等待。单位毫秒。Default: 0 -->
<property name="checkoutTimeout">100</property>
<!--通过实现ConnectionTester或QueryConnectionTester的类来测试连接。类名需制定全路径。
Default: com.mchange.v2.c3p0.impl.DefaultConnectionTester-->
<property name="connectionTesterClassName"></property>
<!--指定c3p0 libraries的路径，如果（通常都是这样）在本地即可获得那么无需设置，默认null即可
Default: null-->
<property name="factoryClassLocation">null</property>
<!--Strongly disrecommended. Setting this to true may lead to subtle and bizarre bugs.
（文档原文）作者强烈建议不使用的一个属性-->
<property name="forceIgnoreUnresolvedTransactions">false</property>
<!--每60秒检查所有连接池中的空闲连接。Default: 0 -->
<property name="idleConnectionTestPeriod">60</property>
<!--初始化时获取三个连接，取值应在minPoolSize与maxPoolSize之间。Default: 3 -->
<property name="initialPoolSize">3</property>
<!--最大空闲时间,60秒内未使用则连接被丢弃。若为0则永不丢弃。Default: 0 -->
<property name="maxIdleTime">60</property>
<!--连接池中保留的最大连接数。Default: 15 -->
<property name="maxPoolSize">15</property>
<!--JDBC的标准参数，用以控制数据源内加载的PreparedStatements数量。但由于预缓存的statements
属于单个connection而不是整个连接池。所以设置这个参数需要考虑到多方面的因素。
如果maxStatements与maxStatementsPerConnection均为0，则缓存被关闭。Default: 0-->
<property name="maxStatements">100</property>
<!--maxStatementsPerConnection定义了连接池内单个连接所拥有的最大缓存statements数。Default: 0 -->
<property name="maxStatementsPerConnection"></property>
<!--c3p0是异步操作的，缓慢的JDBC操作通过帮助进程完成。扩展这些操作可以有效的提升性能
通过多线程实现多个操作同时被执行。Default: 3-->
<property name="numHelperThreads">3</property>
<!--当用户调用getConnection()时使root用户成为去获取连接的用户。主要用于连接池连接非c3p0
的数据源时。Default: null-->
<property name="overrideDefaultUser">root</property>
<!--与overrideDefaultUser参数对应使用的一个参数。Default: null-->
<property name="overrideDefaultPassword">password</property>
<!--密码。Default: null-->
<property name="password"></property>
<!--定义所有连接测试都执行的测试语句。在使用连接测试的情况下这个一显著提高测试速度。注意：
测试的表必须在初始数据源的时候就存在。Default: null-->
<property name="preferredTestQuery">select id from test where id=1</property>
<!--用户修改系统配置参数执行前最多等待300秒。Default: 300 -->
<property name="propertyCycle">300</property>
<!--因性能消耗大请只在需要的时候使用它。如果设为true那么在每个connection提交的
时候都将校验其有效性。建议使用idleConnectionTestPeriod或automaticTestTable
等方法来提升连接测试的性能。Default: false -->
<property name="testConnectionOnCheckout">false</property>
<!--如果设为true那么在取得连接的同时将校验连接的有效性。Default: false -->
<property name="testConnectionOnCheckin">true</property>
<!--用户名。Default: null-->
<property name="user">root</property>
在Hibernate（spring管理）中的配置：
<bean >
<property name="driverClass"><value>oracle.jdbc.driver.OracleDriver</value></property>
<property name="jdbcUrl"><value>jdbc:oracle:thin:@localhost:1521:Test</value></property>
<property name="user"><value>Kay</value></property>
<property name="password"><value>root</value></property>
<!--连接池中保留的最小连接数。-->
<property name="minPoolSize" value="10" />
<!--连接池中保留的最大连接数。Default: 15 -->
<property name="maxPoolSize" value="100" />
<!--最大空闲时间,1800秒内未使用则连接被丢弃。若为0则永不丢弃。Default: 0 -->
<property name="maxIdleTime" value="1800" />
<!--当连接池中的连接耗尽的时候c3p0一次同时获取的连接数。Default: 3 -->
<property name="acquireIncrement" value="3" />
<property name="maxStatements" value="1000" />
<property name="initialPoolSize" value="10" />
<!--每60秒检查所有连接池中的空闲连接。Default: 0 -->
<property name="idleConnectionTestPeriod" value="60" />
<!--定义在从数据库获取新连接失败后重复尝试的次数。Default: 30 -->
<property name="acquireRetryAttempts" value="30" />
<property name="breakAfterAcquireFailure" value="true" />
<property name="testConnectionOnCheckout" value="false" />
</bean>　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　--取自百度百科

按照以上配置，有所缓解，并发数上升时还是会出现异常

java.sql.SQLException: An attempt by a client to checkout a Connection has timed out.

**后：

查明，为我将连接池设置过高，外部tomcat线程数设置也很高，导致连接池爆掉，后续请求超时！此处设定应一点点尝试，不能操之过急，要看服务器性能！设置过低，瞬时值高的时候，也很容易让连接池爆掉。代码的健壮性也很有要求。

压测：登录接口（只查询一次数据库）；结果：30S 11746susceed， 0 failed；#本地测试

首页的展示接口：（有一条四表联合，及根据每一条结果再进行2~3次数据库查询；如获取15条数据，大概要进行30~45次的数据库查询）；

此种情况，会让连接池瞬间爆掉，此时调低了mysql连接回收时间为1s，调高连接池最大容量；调高上限，是为了让新请求到达时，连接池能够继续获取连接并提供给该请求，调低回收时间，是为了能够及时回收sleep连接，让数据库的当前连接数不打破连接池（以及数据库）的最大连接数。但此种解决方案无疑是治标不治本，随着请求数量的上升，连接池终究不能提供足够的连接。

此时：1、从表设计入手，增加冗余字段来减少过多的查询。

2、此SQL语句里没有变量，把这个结果放到缓存中；或单独搞张表，写个crontab去更新。

3.hibernate框架

本次项目，采用hibernate作为持久层框架。使用hibernate是想利用它全自动的特性，加快开发速度，但也正是其自动拼接sql这一点导致执行效率上没有ibatis这种半自动的框架来的高效，尤其是并发数较高的情况下。下次会在此处着重考虑，不过hibernate还有着自身强大的优势的。

二、服务器

1、使用tomcat线程池

服务器为阿里云2核，2.5G win2008-64位。web服务器为tomcat7.0-64位（jdk1.7 也是64位版本）。tomcat有自己线程池，开启即可（默认注释，关闭状态）。

 <Executor name="tomcatThreadPool" namePrefix="catalina-exec-" 
        maxThreads="20" minSpareThreads="4"/>

maxThreads="20"#最大线程数默认为 150；调整至20即可，过高会消耗较多内存。

<Connector port="8001" protocol="HTTP/1.1" executor="tomcatThreadPool"
               connectionTimeout="20000"/>

**红色为添加部分，调用连接池来接受请求。

2、调整jvm内存

访问时常会报"Exception in thread "Tribes-MembershipReceiver" java.lang.OutOfMemoryError: Java heap space" 异常，为java 内存溢出，查阅资料为jvm内存不足。windows下，使用tomcat启动jvm，只需在~/tomcat/bin/catalina.bat中，echo Using CATALINA_BASE: "%CATALINA_BASE%" 上面添加set JAVA_OPTS=%JAVA_OPTS% -server -Xms512m -Xmx512m -XX:MaxNewSize=256m

注：此种修改方式，在7.0中生效，在6.0中不起作用；jvm内存可在http://localhost:2103/manager/status 下查看。此页面也可查看访问量，相应时间，失败数等信息。

还有一个值得注意的地方，如果内存调整过高，会无法启动并报 “Error occurred during initialization of VMCould not reserve enough space for object heap” 我机器的瓶颈是1600M (机器内存为16G)过高则无法启动；

调整机器的虚拟内存后，可以提升分配给jvm的内存。（若配置合理，内存并不是tomcat的瓶颈）有些东西，并不是越多越好的！

Thread stack size：128k #线程堆栈大小每启动一条线程，分配给他的内存大小。看计算的深度，一般128k足以。

******************************************************************************************************************

1.问题的真正原因是，使用hibernate框架，但是运用其获得链接（connection中的session）执行自然sql语句查询，未关流（2B吧，当时有想到这个问题，但是调用session.close未果！后来找到原因为，取得session部分try/catch，由于域影响范围只在try/catch内，所以下文不能调用）！至于hibernate的hql查询，这个持久层框架已经帮我们做的很好了，不用我们来考虑。但如果你用到了原生sql请务必session.close！！！

2.解决后，链接池稳定运行，不会出现连接池崩溃的问题。但并发数不高，此时考虑代码因素。经查找为N*N查询(嵌套查询)问题，优化sql语句后得到大幅提升。

3.在大神的指点下，将服务器变更为linux系统，相关配置部署见：

本站文章如无特殊说明，均为本站原创，如若转载，请注明出处：【原创】并发数优化–java+ssh+c3p0+tomcat+mysql+windows2008-64位 - Python技术站