安科网

SSDB 数据库

粗鄙之语

粗鄙之语

2018-05-24

关注 关注

SSDB数据库

SSDB是一套基于LevelDB存储引擎的非关系型数据库（NOSQL），可用于取代Redis，更适合海量数据的存储。

另外，rocksdb是FB在LevelDB的二次开发版本，因此也存在使用RocksDB作为存储引擎的SSDB版本，可以参考这里。

编译和安装

wget --no-check-certificate https://github.com/ideawu/ssdb/archive/master.zip
unzip master
cd ssdb-master
make
# 将安装在 /usr/local/ssdb 目录下
sudo make install

启动服务

# 启动主库
./ssdb-server ssdb.conf

# 或者启动为后台进程
./ssdb-server -d ssdb.conf

# 启动 ssdb 命令行客户端
./tools/ssdb-cli -p 

# 停止 ssdb-server
./ssdb-server ssdb.conf -s stop
# 对于旧版本
kill `cat ./var/ssdb.pid`

配置文件

ssdb.conf：

work_dir = ./var
pidfile = ./var/ssdb.pid

server:
    ip: 127.0.0.1
    port: 8888
    # bind to public ip
    #ip: 0.0.0.0
    # format: allow|deny: all|ip_prefix
    # multiple allows or denys is supported
    #deny: all
    #allow: 127.0.0.1
    #allow: 192.168
    # auth password must be at least 32 characters
    #auth: very-strong-password

replication:
    binlog: yes 
    # Limit sync speed to *MB/s, -1: no limit
    sync_speed: -1
    slaveof:
        # to identify a master even if it moved(ip, port changed)
        # if set to empty or not defined, ip:port will be used.
        #id: svc_2
        # sync|mirror, default is sync
        #type: sync
        #ip: 127.0.0.1
        #port: 8889

logger:
    level: debug<br />　　 # 支持的日志级别有: <code>debug, warn, error, fatal</code>.
    output: log.txt
    rotate:
        size: 1000000000

leveldb:
    # in MB
    cache_size: 500 
    # in KB
    block_size: 32
    # in MB
    write_buffer_size: 64
    # in MB
    compaction_speed: 1000
    # yes|no
    compression: yes

一个 ssdb-server 实例占用的内存瞬时(有可能, 而且即使达到, 也只是持续短时间)最高达到(MB):

cache_size + write_buffer_size * 66 + 32

这是对于压缩选项没有开启的情况, 如果 compression: yes, 计算公式是:

cache_size + 10 * write_buffer_size * 66 + 32

你可以调整配置参数, 限制 ssdb-server 的内存占用.

SSDB命令

与Redis类似，SSDB也支持多种数据结构（KV list, hash, soreted set），下面列出了常用命令：

dbsize #返回数据库占用空间，以字节为单位
flushdb #清空数据库
info # 返回服务器信息
auth password # 验证访问密码

KV结构

set key value

setx key value ttl # 设置key的同时设置ttl
setnx key value # 若key已存在，则不设置
multi_set key1 value1 key2 value2 ...

exists key
get key
getset key value # 更新key，并返回旧value
multi_get key1 key2 ...

keys key_start key_end limit #返回指定范围内的key，左开右闭区间（SSDB的key有序存储）
rkeys key_start key_end limit
scan key_start key_end limit
rscan key_start key_end limit

expire key ttl
ttl key

del key
multi_del key1 key2 ...

substr key start size # 返回子串
strlen key

incr key [num]
getbit key offset
setbit key offset val
bitcount key [start] [end]
countbit key start size

SSDB 数据库

hashmap结构

hset name key value
multi_hset name key1 value1 key2 value2 ...

hget name key
multi_hget name key1 key2 ...
hgetall name
hkeys name key_start key_end
hscan key_start key_end limit
hrscan key_start key_end limit

hdel name key # 删除一个字段
hclear name # 删除所有字符
multi_hdel name key1 key2 ...

hexists name key
hsize name
hincr name key [num]

hlist name_start name_end limit # 列出指定范围的所有hash表
hrlist name_start name_end limit

SSDB 数据库

list结构

qpush_front name item1 item2 ... # 往队头插入新元素
qpush_back name item1 item2 ... # 往队尾插入新元素

qpop_front name size # 从队头弹出若干个元素
qpop_back name size # 从队尾弹出若干个元素
qtrim_front name size # 从队头移除多个元素
qtrim_back name size # 从队尾移除多个元素

qfront name # 返回队头
qback name # 返回队尾
qsize name # 返回队长
qget name index # 返回指定位置元素
qset name index val
qrange name offset limit # 返回一个切片
qslice name begine end # 返回一个切片
qclear name

qlist name_start name_end limit
qrlist name_start name_end limit

SSDB 数据库

sorted set结构

zset name key socre
zget name key
zdel name key
zexists name key
zsize name
zincr name key num

导出/导入

SSDB才有LSM模型，也就是说它的key是有序存储的，因此，我们可以导出所有key的数据，也可以导出指定范围内key的数据。

1、使用ssdb-cli 命令行客户端

导出整个数据库：

# backup current database into file backup.ssdb
ssdb 127.0.0.1:> export backup.ssdb

按照 Key 区间导出数据库(交互模式)

ssdb 127.0.0.1:> export -i backup.ssdb
input KV range[start, end]:
  start(inclusive, default none): a
    end(inclusive, default none): z
input HASH range:
  start(inclusive, default none):
    end(inclusive, default none):
input ZSET range:
  start(inclusive, default none):
    end(inclusive, default none):
input QUEUE range:
  start(inclusive, default none):
    end(inclusive, default none):

命令 export -i backup.ssdb 将导出区间 [a, z] 内的 KV, 所有的 HASH, ZSET, QUEUE.

导入命令：

# import backup.ssdb into current database
ssdb 127.0.0.1:> import backup.ssdb

import 命令会把数据库中的相同 key 给替换。

2、SSDB 另一个专门用于导出工具是 ssdb-dump，用法如下：

./tools/ssdb-dump ip port output_folder

目录 output_folder 必须不存在, 因为 ssdb-dump 会创建这个目录. 导出之后, 这个目录里将有两个子目录, data 目录里包含着数据, 还有一个空的 meta 目录.

如果想从导出的目录恢复数据，可以将 output_folder 目录拷贝到你的服务器上面，然后修改你的 ssdb.conf 配置文件, 将 work_dir 指向 output_folder 目录, 然后重启 ssdb-server。

限制

最大 Key 长度 200 字节
最大 Value 长度 31MB
最大请求或响应长度 31MB
单个 HASH 中的元素数量 9,223,372,036,854,775,807
单个 ZSET 中的元素数量 9,223,372,036,854,775,807
单个 QUEUE 中的元素数量 9,223,372,036,854,775,807
命令最多参数个数 所有参数加起来体积不超过 31MB 大小

Replication

Redis的主从复制在主库挂了的时候就无法再写入数据了，而SSDB不但支持主-从结构，还支持多主结构。

主-从配置

#server1：

replication:
    slaveof:

#server2：

replication:
    slaveof:
        id: svc_1
        # sync|mirror, default is sync
        type: sync
        ip: 127.0.0.1
        port: 8888

主-主配置

#server1：

replication:
    slaveof:
        id: svc_2
        # sync|mirror, default is sync
        type: mirror
        ip: 127.0.0.1
        port: 8889

#server2：

replication:
    slaveof:
        id: svc_1
        # sync|mirror, default is sync
        type: mirror
        ip: 127.0.0.1
        port: 8888

多主配置

在一组一共包含 n 个实例的 SSDB 实例群中, 每一个实例必须 slaveof 其余的 n-1 个实例.

replication:
    slaveof:
        id: svc_1
        # sync|mirror, default is sync
        type: mirror
        ip: 127.0.0.1
        port: 8888
    slaveof:
        id: svc_2
        # sync|mirror, default is sync
        type: mirror
        ip: 127.0.0.1
        port: 8889
    # ... more slaveof

监控

info命令可以返回SSDB服务状态：

ssdb 127.0.0.1:8899> info
binlogs
    capacity : 10000000
    min_seq  : 1
    max_seq  : 74
replication
    client 127.0.0.1:55479
        type     : sync
        status   : SYNC
        last_seq : 73
replication
    slaveof 127.0.0.1:8888
        id         : svc_2
        type       : sync
        status     : SYNC
        last_seq   : 73
        copy_count : 0
        sync_count : 44

binlogs，当前实例的写操作状态：

  • capacity: binlog 队列的最大长度
  • min_seq: 当前队列中的最小 binlog 序号
  • max_seq: 当前队列中的最大 binlog 序号

replication，可以有多条 replication 记录. 每一条表示一个连接进来的 slave(client), 或者一个当前服务器所连接的 master(slaveof).

  • slaveof|client ip:port, 远端 master/slave 的 ip:port
  • type: 类型, sync|mirror
  • status: 当前同步状态, DISCONNECTED|INIT|OUT_OF_SYNC|COPY|SYNC，见下面的解释
  • last_seq: 上一条发送或者收到的 binlog 的序号
  • slaveof.id: master 的 id(这是从 slave's 角度来看的, 你永远不需要在 master 上配置它自己的 id)
  • slaveof.copy_count: 在全量同步时, 已经复制的 key 的数量
  • slaveof.sync_count: 发送或者收到的 binlog 的数量.

关于 status：

  1. DISCONNECTED: 与 master 断开了连接, 一般是网络中断
  2. INIT: 初始化状态
  3. OUT_OF_SYNC: 由于短时间内在 master 有大量写操作, 导致 binlog 队列淘汰, slave 丢失同步点, 只好重新复制全部的数据
  4. COPY: 正在复制基准数据的过程中, 新的写操作可能无法及时地同步
  5. SYNC: 同步状态是健康的

判断同步状态

binlogs.max_seq 是指当前实例上的最新一次的写(写/更新/删除)操作的序号；

replication.client.last_seq 是指已发送给 slave 的最新一条 binlog 的序号；

所以, 如果你想判断主从同步是否已经同步到位(实时更新), 那么就判断 binlogs.max_seq 和 replication.client.last_seq 是否相等。

SSDB协议

SSDB协议与Redis的文本协议也类似：

SSDB数据包的结构：

Packet := Block+ '\n'
Block  := Size '\n' Data '\n'
Size   := literal_integer
Data   := size_bytes_of_data

请求：

Request := Cmd Blocks*
Cmd     := Block

请求命令包括: get, set, del, ...

响应：

Response := Status Block*
Status   := Block

响应状态码包括: ok, not_found, error, fail, client_error

示例：

用 telnet 或者 nc 命令连接到 SSDB 服务器, 然后输入下面的代码(用最后一行空行结束):

3
get
3
key<br /><br />

你将看到类似这样的响应:

2
ok
3
val<br /><br />

SSDB 协议解析器的C实现：

#include <stdlib.h>
#include <string.h>

int len = buffer->size();
char *ptr = buffer->data();
while(len > 0){
    char *data = (char *)memchr(ptr, '\n', len);
    if(data == NULL){
        break;
    }
    data += 1;
    int num = data - ptr;
    if(num == 1 || (num == 2 && ptr[0] == '\r')){
        // Packet received.
        return OK;
    }
    // Size received
    int size = (int)strtol(ptr, NULL, 10);

    len -= num + size;
    ptr += num + size;
    if(len >= 1 && ptr[0] = '\n'){
        len -= 1;
        ptr += 1;
    }else if(len >= 2 && ptr[0] == '\r' && ptr[1] == '\n'){
        len -= 2;
        ptr += 2;
    }else{
        break;
    }
    // Data received
}

ssdb

粗鄙之语

粗鄙之语

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

第三章 Redis/SSDB+Twemproxy安装与使用

具体这些持久化引擎之间的区别可以自行查找资料学习。Twemproxy是一个Redis/Memcached代理中间件，可以实现诸如分片逻辑、HashTag、减少连接数等功能；尤其在有大量应用服务器的场景下Twemproxy的角色就凸显了，能有效减少连接数。m

soyo 2015-02-26

kali虚拟机VMBox安装

Redis虽然可以实现持久化存储，也是基于数据内存模型的基础之上，单机内存大小限制着Redis存储的数据量，有没有一种替代方案呢？本文介绍一款笔者使用的采用New BSD License 许可协议的软件——SSDB。SSDB 是一个 C/C++ 语言开发的

redis 2018-09-15

让Redis突破内存大小的限制

Redis虽然可以实现持久化存储，也是基于数据内存模型的基础之上，单机内存大小限制着Redis存储的数据量，有没有一种替代方案呢？本文介绍一款笔者使用的采用New BSD License 许可协议的软件——SSDB。SSDB 是一个 C/C++ 语言开发的

zghover 2018-09-15

快速构建Python爬虫IP代理池服务，内附python自学书籍分享！

在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资源搞一个简单的代理池服务

赵小文wencie 2019-04-15

Python爬虫代理池（文末附python学习教程分享）

爬虫代理IP池在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资源搞一个简

我欲疾风前行 2019-03-13

Python开发之快速构建Python爬虫IP代理池服务

在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资源搞一个简单的代理池服务

yangguangdblu 2018-03-05

深入理解Python爬虫代理池服务

在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资源搞一个简单的代理池服务

woodenrobot 2019-05-05

CentOS 6.5 配置 SSDB 1.8.0

chmod a+wrx /etc/init.d/ssdb3.$ service ssdb start 就可以启动ssdb了打印出ssdb 1.8.0Copyright 2012-2014 ssdb.io. ssdb started.则证明启动成功。'h'

hmslucky 2015-12-29

Python爬虫代理IP池实现方法

在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资源搞一个简单的代理池服务

明天你好 2017-01-05

Redis安装及Ubuntu 14.04下搭建ssdb主从环境

redis与ssdb在某些场景很适合使用，比如某些数据在数据库中只能残留2分钟，类似YY频道T人，固定几分钟后才能进来，就可以使用setex key seconds value命令，之后判断是否过期可以通过exists key 命令。在搭ssdb前说red

qingzhuoran 2014-05-12

Redis及Ubuntu14下搭建SSDB主从环境

Redis与Ssdb在某些场景很适合使用，比如某些数据在数据库中只能残留2分钟，类似YY频道T人，固定几分钟后才能进来，就可以使用setex key seconds value命令，之后判断是否过期可以通过exists key 命令。所以自己也去下载了ss

oZaoHua 2014-05-12

Python爬虫代理池

在公司做分布式深网爬虫，搭建了一套稳定的代理池服务，为上千个爬虫提供有效的代理，保证各个爬虫拿到的都是对应网站有效的代理IP，从而保证爬虫快速稳定的运行，当然在公司做的东西不能开源出来。不过呢，闲暇时间手痒，所以就想利用一些免费的资源搞一个简单的代理池服务

编程爱好者联盟 2016-12-05

SSDB图形界面管理工具：phpssdbadmin安装部署

所有的配置文件都在 /etc/nginx下；启动程序文件在 /usr/sbin/nginx下；日志文件在 /var/log/nginx/下，分别是access.log和error.log；然后能通过浏览器访问到 http://localhost/, 一切正

89652511 2016-12-04
粗鄙之语

粗鄙之语

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号