hbase跑数到solr时数据对不上一些简单总结

工作中,需要将hbase数据跑到solr里做部分字段索引,目前出现过两种情况:

1 假设hbase有100条, 跑到solr里是70条

2 假设hbase有100条,跑完job后mr显示 reduce input输出个数是100,但是在solr界面查询时,

   报错,包什么字段 XX not found之类 ,但是看solr对应的索引库的schema.xml根本没定义这个字段

针对问题1,

solr ---> hbase时, 跑的job下  拷贝这个job的链接,然后放在ie上,
然后点击Counters

看Map-Reduce Framework,
看 Map input records  Map output records 个数对不对 
看 Reduce input redocds   Reduce output records    来看map reduce个数是否一致,

处理方式:  重新跑这个脚本,具体原因不知道,只能想到是跑的时候 网断了还是怎么滴,数没有完全跑过来

针对问题2,

我是将索引库的 schema.xml 在window下编辑后在上传提交到linux对应索引库下替代schema,

不知道为什么这种操作下已经出现过两次错误了,这次是跑完到solr的数据查不到,以前还有一次是

直接跑job的时候就报错,

处理方式, 将linux下的对应索引库文件下到window,然后修改后整体提交到linux上覆盖,在重新跑。

关于solr工作中的用法,总结 和hbase的结合 和查询速度的schema的加缓存优化,会后续慢慢加进来.....

相关推荐