hbase跑数到solr时数据对不上一些简单总结
工作中,需要将hbase数据跑到solr里做部分字段索引,目前出现过两种情况:
1 假设hbase有100条, 跑到solr里是70条
2 假设hbase有100条,跑完job后mr显示 reduce input输出个数是100,但是在solr界面查询时,
报错,包什么字段 XX not found之类 ,但是看solr对应的索引库的schema.xml根本没定义这个字段
针对问题1,
solr ---> hbase时, 跑的job下 拷贝这个job的链接,然后放在ie上,
然后点击Counters
看Map-Reduce Framework,
看 Map input records Map output records 个数对不对
看 Reduce input redocds Reduce output records 来看map reduce个数是否一致,
处理方式: 重新跑这个脚本,具体原因不知道,只能想到是跑的时候 网断了还是怎么滴,数没有完全跑过来
针对问题2,
我是将索引库的 schema.xml 在window下编辑后在上传提交到linux对应索引库下替代schema,
不知道为什么这种操作下已经出现过两次错误了,这次是跑完到solr的数据查不到,以前还有一次是
直接跑job的时候就报错,
处理方式, 将linux下的对应索引库文件下到window,然后修改后整体提交到linux上覆盖,在重新跑。
关于solr工作中的用法,总结 和hbase的结合 和查询速度的schema的加缓存优化,会后续慢慢加进来.....