HibernateTemplate类回调HibernateCallback--针对大批量数据

hibernate回调防止内存溢出,我是这样用的(事务交给spring管理,手动操作session,50个清空下session):

@Override

publicvoidsaveTCommission(finalList<TProductType>productTypeList,finalStringtypeNum,

finalStringemployeeId){

hibernateTemplate.execute(newHibernateCallback(){

@Override

publicObjectdoInHibernate(Sessionsession)throwsHibernateException,

SQLException{

longstart=System.currentTimeMillis();

    for( int i=0; i<productTypeList.size(); i++ ) {

    TCommission commission = new TCommission();

TCommissionIdTCommissionId=newTCommissionId();//创建TCommissionId类

TCommissionId.setProductNum(productTypeList.get(i).getProductNum());

TCommissionId.setTypeNum(typeNum);

commission.setId(TCommissionId);

commission.setFastCommission(productTypeList.get(i).getMoney());

commission.setCreateDate(newDate());//设置创建时间

commission.setEmployeeId(employeeId);//设置处理工号

commission.setMoney(productTypeList.get(i).getMoney());

hibernateTemplate.save(commission);

if(i%50==0){

session.flush();

session.clear();

}

}

longend=System.currentTimeMillis();

System.out.println("耗时:"+(end-start));

returnnull;

}

});

 }

##注意:1.设置batch_size抓取个数、second_level_cache二级缓存

               <prop key="hibernate.jdbc.batch_size">50</prop>HibernateTemplate类回调HibernateCallback--针对大批量数据            <prop key="hibernate.cache.use_second_level_cache">false</prop>

               <!-- spring管理hibernate这样设置 -->

               <property name="hibernateProperties">

<props>

<propkey="hibernate.dialect">

org.hibernate.dialect.OracleDialect

</prop>

<propkey="hibernate.show_sql">true</prop>

<propkey="hibernate.format_sql">true</prop>

<propkey="hibernate.default_batch_fetch_size">50</prop>

</props>

              </property>

        2.new对象必须放在里面save,否则只创建部分的,因为始终是一个对象。

        3.session每50个就flush()、clear()一次。

4.上面的代码保证seesion不会内存溢出,但是Jboss服务器的内存大小也要设置(默认128M,改大一些),否则一样出现内存溢出问题。

-Xms512m-Xmx1024m-XX:MaxNewSize=256m-XX:MaxPermSize=256m(将这段代码复制到myeclipse--servers--jboss4--jdk中,修改jboss默认内存大小)

##1万条大概10秒

##hibernate的回调HibernateCallback,防止内存溢出,50个清空下session,针对大数据量1万、10万条记录。

目的:使用HibernateTemplate执行execute(newHibernateCallback())方法,从HibernateCallback中得到session,在此session中做多个操作,并希望这些操作位于同一个事务中。

如果你这样写(1):

public static void main(String ss)

CtxUtil.getBaseManager().getHibernateTemplate().execute(newHibernateCallback()

public t doInHibernate(Session session) throwsHibernateException,SQLException

// 保存stu1

Student stu1 = new Student();

stu1.setName("aaaa");// 在数据库中,name字段不允许为null

session.save(stu1);

session.flush();//实际上,如果不是程序员"手痒"来调用这个flush(),HibernateTemplate中session的事务处理还是很方便的

Student stu2 = new Student();

session.save(stu2);// 没有设置name字段,预期会报出例外

session.flush();

return null;

);

你期望spring在执行完execute回调后,在关闭session的时候提交事务,想法是很好的,但spring并不会这么做。让我们来看看在Hibernate的源代码中,session.beginTransation()做了什么事。看如下代码(2):

public Transaction beginTransaction()throwsHibernateException

errorIfClosed();

if ( rootSession != null )

// todo : should seriously consider not allowing a txn tobeginfrom a child session

// can always route the request to the root session

log.warn( "Transaction started on non-root session" );

Transaction result = getTransaction();

result.begin();

return result;

这个方法中的result是一个org.hibernate.transaction.JDBCTransaction实例,而方法中的getTransaction()方法源代码为(3):

public Transaction getTransaction() throws HibernateException

if (hibernateTransactionnull)

log.error(owner.getFactory().getSettings()

.getTransactionFactory().getClass());

hibernateTransaction = owner.getFactory().getSettings()

.getTransactionFactory()

.createTransaction( this, owner );

return hibernateTransaction;

再次追踪,owner.getFactory()。getSettings().getTransactionFactory()的createTransaction()方法源代码如下(4):

public Transaction createTransaction(JDBCContextjdbcContext,Context transactionContext)

throws HibernateException

return new JDBCTransaction( jdbcContext, transactionContext);

它返回了一个JDBCTransaction,没什么特别的。

在代码2中,执行了result.begin(),其实也就是JDBCTransaction实例的begin()方法,来看看(5):

public void begin() throws HibernateException

if (begun)

return;

if (commitFailed)

throw new TransactionException("cannot re-start transactionafterfailed commit");

log.debug("begin");

try

toggleAutoCommit = jdbcContext.connection().getAutoCommit();

if (log.isDebugEnabled())

log.debug("current autocommit status: " + toggleAutoCommit);

if (toggleAutoCommit)

log.debug("disabling autocommit");

jdbcContext.connection().setAutoCommit(false);//把自动提交设为了false

catch (SQLException e)

log.error("JDBC begin failed", e);

throw new TransactionException("JDBC begin failed: ", e);

callback = jdbcContext.registerCallbackIfNecessary();

begun = true;

committed = false;

rolledBack = false;

if (timeout > 0)

jdbcContext.getConnectionManager().getBatcher().setTransactionTimeout(timeout);

jdbcContext.afterTransactionBegin(this);

在直接使用Hibernate时,要在事务结束的时候,写上一句:tx.commit(),这个commit()的源码为:

public void commit() throws HibernateException

if (!begun)

throw new TransactionException("Transaction notsuccessfullystarted");

log.debug("commit");

if (!transactionContext.isFlushModeNever()&&callback)

transactionContext.managedFlush(); // if an exceptionoccursduring

// flush, user must call

// rollback()

notifyLocalSynchsBeforeTransactionCompletion();

if (callback)

jdbcContext.beforeTransactionCompletion(this);

try

commitAndResetAutoCommit();//重点代码,它的作用是提交事务,并把connection的autocommit属性恢复为true

log.debug("committed JDBC Connection");

committed = true;

if (callback)

jdbcContext.afterTransactionCompletion(true, this);

notifyLocalSynchsAfterTransactionCompletion(Status.STATUS_COMMITTED);

catch (SQLException e)

log.error("JDBC commit failed", e);

commitFailed = true;

if (callback)

jdbcContext.afterTransactionCompletion(false, this);

notifyLocalSynchsAfterTransactionCompletion(Status.STATUS_UNKNOWN);

throw new TransactionException("JDBC commit failed", e);

finally

closeIfRequired();

上面代码中,commitAndResetAutoCommit()方法的源码如下:

private void commitAndResetAutoCommit() throws SQLException

try

jdbcContext.connection().commit();//这段不用说也能理解了

finally

toggleAutoCommit();//这段的作用是恢复connection的autocommit属性为true

上述代码的toggleAutoCommit()源代码如下:

private void toggleAutoCommit()

try

if (toggleAutoCommit)

log.debug("re-enabling autocommit");

jdbcContext.connection().setAutoCommit(true);//这行代码的意义很明白了吧

catch (Exception sqle)

log.error("Could not toggle autocommit", sqle);

因此,如果你是直接使用hibernate,并手动管理它的session,并手动开启事务关闭事务的话,完全可以保证你的事务.

public static void main(String ss)

CtxUtil.getBaseManager().getHibernateTemplate().execute(newHibernateCallback()

public t doInHibernate(Session session) throwsHibernateException,SQLException

log.info(session.connection().getAutoCommit());//打印一下事务提交方式

// 保存stu1

Student stu1 = new Student();

stu1.setName("aaaa");// 在数据库中,name字段不允许为null

session.save(stu1);

session.flush();

Student stu2 = new Student();

session.save(stu2);// 没有设置name字段,预期会报出例外

session.flush();

return null;

);

运行后,它打出的结果是true,也就是说,虽然保存stu2时会报出例外,但如果commit属性为true,则每一个到达数据库的sql语句会立即被提交。换句话说,在调用完session.save(stu1)后,调用session.flush(),会发送sql语句到数据库,再根据commit属性为true,则保存stu1的操作已经被持久到数据库了,尽管后面的一条insert语句出了问题。

因此,如果你想在HibernateCallback中使用session的事务,需要如下写:

public static void main(String ss)

CtxUtil.getBaseManager().getHibernateTemplate().execute(newHibernateCallback()

public t doInHibernate(Session session) throwsHibernateException,SQLException

session.connection().setAutoCommit(false);

//保存stu1

Student stu1=new Student();

stu1.setName("aaaa");//在数据库中,name字段不允许为null

session.save(stu1);

session.flush();

Student stu2 = new Student();

session.save(stu2);//没有设置name字段,预期会报出例外

session.flush();

session.connection().commit();

//至于session的关闭就不用我们操心了

return null;

);

运行上述代码,没问题了。至此,可能有些读者早就对代码1不满意了:为什么每次save()以后要调用flush()?这是有原因的。下面我们来看看把session.flush()去掉后会出什么问题。改掉后的代码如下:

public static void main(String ss)

CtxUtil.getBaseManager().getHibernateTemplate().execute(newHibernateCallback()

public t doInHibernate(Session session) throwsHibernateException,SQLException

session.connection().setAutoCommit(false);

// 保存stu1

Student stu1 = new Student();

stu1.setName("aaaa");// 在数据库中,name字段不允许为null

session.save(stu1);

// session.flush();

Student stu2 = new Student();

session.save(stu2);// 没有设置name字段,预期会报出例外

// session.flush();

session.connection().commit();

return null;

);

运行上述代码,后台报数据库的notnull错误,这个是合理的,打开数据库,没有发现新增记录,这个也是合理的。你可能会说:由于事务失败,数据库当然不可能会有任何新增记录。好吧,我们再把代码改一下,去除notnull的错误,以确保它能正常运行。代码如下:

public static void main(String ss)

CtxUtil.getBaseManager().getHibernateTemplate().execute(newHibernateCallback()

public t doInHibernate(Session session) throwsHibernateException,SQLException

session.connection().setAutoCommit(false);

// 保存stu1

Student stu1 = new Student();

stu1.setName("aaaa");// 在数据库中,name字段不允许为null

session.save(stu1);

// session.flush();

Student stu2 = new Student();

stu2.setName("asdfasdf");//好了,这个字段设过值,不会再报not null错误了

session.save(stu2);

// session.flush();

session.connection().commit();

return null;

);

至此再运行上述代码,出现了一个奇怪的问题:虽然控制台把insert语句打出来了,但是:数据库没有出现任何新的记录。

究其原因,有二:

一、session.connection()。commit()确实导致数据库事务提交了,但是此刻session并没有向数据库发送任何语句。

二、在spring后继的flushIfNecessary()和closeSessionOrRegisterDeferredClose()方法中,第一个方法向数据库发送sql语句,第二个方法关闭session,同时关闭connection,然后问题在于:connection已经在程序中被手动设置为auttocommit=false了,因此在关闭数据库时,也不会提交事务。

解决这个问题很容易,在程序中手动调用session.flush()就可以了。如下代码:

public static void main(String ss)

CtxUtil.getBaseManager().getHibernateTemplate().execute(newHibernateCallback()

public t doInHibernate(Session session) throwsHibernateException,SQLException

session.connection().setAutoCommit(false);

//保存stu1

Student stu1=new Student();

stu1.setName("aaaa");//在数据库中,name字段不允许为null

session.save(stu1);

Student stu2 = new Student();

session.save(stu2);//没有设置name字段,预期会报出例外

session.flush();//向数据库发送sql

session.connection().commit();

return null;

);

运行上述代码,打开数据库查看,没有新增任何记录。在代码中新加一行stu2.setName("aaa");再次运行代码,发现数据库表中多了两条记录。事务操作成功。

至此,虽然操作成功,但事情还没有结束。这是因为spring在调用doInHibernate()的后继的步骤中,还要进行flushIfNecessary()操作,这个操作其实最后调用的还是session.flush()。因为在程序中已经手动调用过session.flush(),所以由spring调用的session.flush()并不会对数据库发送sql(因为脏数据比对的原因)。虽然不会对结果有什么影响,但是多调了一次flush(),还是会对性能多少有些影响。能不能控制让spring不调用session.flush()呢?可以的,只要加上一句代码,如下所示:

public static void main(String ss)

CtxUtil.getBaseManager().getHibernateTemplate().setFlushMode(0);//0也就是FLUSH_NEVER

CtxUtil.getBaseManager().getHibernateTemplate().execute(newHibernateCallback()

public t doInHibernate(Session session) throwsHibernateException,SQLException

session.connection().setAutoCommit(false);

//保存stu1

Student stu1=new Student();

stu1.setName("aaaa");//在数据库中,name字段不允许为null

session.save(stu1);

Student stu2 = new Student();

stu2.setName("sdf");

session.save(stu2);//没有设置name字段,预期会报出例外

session.flush();

session.connection().commit();

return null;

);

通过设置HibernateTemplate的flushMode=FLUSH_NEVER来通知spring不进行session.flush()的调用,则spring的flushIfNecessary()将不进行任何操作,它的flushIfNecessary()源代码如下:

protected void flushIfNecessary(Session session,booleanexistingTransaction) throws HibernateException

if (getFlushMode() FLUSH_EAGER (!existingTransaction&&getFlushMode() != FLUSH_NEVER))

logger.debug("Eagerly flushing Hibernate session");

session.flush();

至此,代码1中的main()终于修改完毕。但事实上,这样的操作无疑是比较麻烦的,因此如果在spring中想利用session进行事务操作时,最好还是用TransactionTemplate(编程式事务)或是声明式事务比较方便一些。

本例通过这么一个虽然简单但又绕来绕去的例子,主要是说明hibernate事务的一些内在特性,以及HibernateTemplate中如何处理session和事务的开关,让读者对HibernateTemplate的源代码处理细节有一些了解,希望能给读者有抛砖引玉的作用。