[es同步到数据库数据]同步mysql数据到ElasticSearch的最佳实践
input{
jdbc{
jdbc_driver_library=>"/Users/logstash/mysql-connector-java-5.1.39-bin.jar"
jdbc_driver_class=>"com.mysql.jdbc.Driver"
jdbc_connection_string=>"jdbc:mysql://localhost:3306/database_name"
jdbc_user=>"root"
jdbc_password=>"password"
schedule=>"*****"
statement=>"select*fromtable1"
type=>"table1"
}
jdbc{
jdbc_driver_library=>"/Users/logstash/mysql-connector-java-5.1.39-bin.jar"
jdbc_driver_class=>"com.mysql.jdbc.Driver"
jdbc_connection_string=>"jdbc:mysql://localhost:3306/database_name"
jdbc_user=>"root"
jdbc_password=>"password"
schedule=>"*****"
statement=>"select*fromtable2"
type=>"table2"
}
#addmorejdbcinputstosuityourneeds
}
output{
elasticsearch{
index=>"testdb"
document_type=>"%{type}"#
hosts=>"localhost:9200"
}
}
相关推荐
另外一部分,则需要先做聚类、分类处理,将聚合出的分类结果存入ES集群的聚类索引中。数据处理层的聚合结果存入ES中的指定索引,同时将每个聚合主题相关的数据存入每个document下面的某个field下。