当你在Linux系统上删除一个文件时，它不一定会永远消失，尤其是当你最近才删除它。虽然testdisk具有广泛的功能，包括恢复丢失或损坏的分区和使非启动磁盘再次启动，它也经常被用来恢复被误删除的文件。当你用testdisk恢复被删除的文件时，你最终会在你启

解决问题：1.实现了负载均衡。现有两个主题topic1、topic2，各自都有三个partition。TopicAndPartition对象，多个主题整体排序[topic1_partition0,topic1_partition1,topic1_parti

仅尽量，方边后面参考。Changes will remain in memory only, until you decide to write them.Device does not contain a recognized partition tab

当时觉得不可思议，明明一开始给虚拟机分配了100G，为啥提示还不够，后面才知道，这些好像是我自定义分配的大小。

Receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job会去处理那些数据。在提交Spark Streaming任务后，Spark集群会划出指定的Receivers来专门、持续不

随着MySQL越来越流行，Mysql里面的保存的数据也越来越大。所以只能是启用一个或多个带where条件的delete语句去删除。这对数据库的造成了很大压力。即使我们把这些删除了，但底层的数据文件并没有变小。面对这类问题，最有效的方法就是在使用分区表。最常

　　在Kafka在0.8以前的版本中，是没有Replication的，一旦某一个Broker宕机，则其上所有的Partition数据都不可被消费，这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同时Producer都不能再将数

在Spark中，RDD是其最基本的抽象数据集，其中每个RDD是由若干个Partition组成。在Job运行期间，参与运算的Partition数据分布在多台机器的内存当中。图一中，RDD1包含了5个Partition，RDD2包含了3个Partition，这

100万用户名，50万是null，那么就是有倾斜的。查询的时候要过滤，对倾斜数据做过滤。创建2个表，一个临时表test1，一个非临时表test1；hive> create temporary table test1;OKTime taken: 0.1

在严格保证消息的消费顺序场景下，需要将Partition数目设为1。Producer:数据发布者，发布消息到Topic中，Broker接收到生产者发送的消息后，将消息追加到当前数据的segment文件中。消费者会把每个分区读取的消息偏移量保存在zookee

　　Producer ：消息生产者，就是向 kafka broker 发消息的客户端；　　Consumer ：消息消费者，向 kafka broker 取消息的客户端；　　Consumer Group ：消费者组，由多个 consumer 组成。消费者组内

~~分区是MySQL5.1版本时添加了对分区的支持。MySQL数据库支持的分区类型为水平分区，并不支持垂直分区。此外MySQL数据库的分区是局部分区索引，一个分区中既存放了数据又存放了索引。目前MySQL数据库还不支持全局分区。MySQL5.6 ，让分区交

前言：因数据磁盘不足需要进行扩展分区，但是因为没有逻辑分区使用LVM会很复杂Warning:扩容需要卸载数据盘，但不会影响数据思路：1.卸载数据盘2.fdisk扩容3.修复磁盘4.挂载磁盘5.扩容磁盘以下是xfs磁盘扩容卸载数据盘。Changes will

1】Receiver是使用高层次的consumer Api来实现的。receiver 接收的消息都是存储在spark Executor中的，然后spark启动jobq去处理那些消息。然而，默认情况下，这种方式会因为底层的失败丢失数据。如果要启用高可靠机制，

在 Linux 中要使用 Samba 文件协议来实现 NAS 配置，首先要挂载硬盘。本文来简述如何在 Linux 中来挂载硬盘。将硬盘插入到主机对应接口。可以看到插入的硬盘 /dev/sdb1 的文件系统类型为：FAT32 。Changes will r

Kafka把topic中一个parition大文件分成多个小文件段，通过多个小文件段，就容易定期清除或删除已经消费完文件，减少磁盘占用。通过索引信息可以快速定位message和确定response的最大大小。通过index元数据全部映射到memory，可以

　　消息生产者，发布消息到 kafka 集群的终端或服务。　　每条发布到 kafka 集群的消息属于的类别，即 kafka 是面向 topic 的。　　partition 是物理上的概念，每个 topic 包含一个或多个 partition。kafka 分

以下仅为本人工作、学习过程中所接触到的内容，不足之处请多包涵。df是disk free的缩写，用来检查Linux系统的磁盘空间占用的情况。由于 df 主要读取的数据几乎都是针对一整个文件系统，因此读取的范围主要是在 Superblock 内的信息， 所以这

本文介绍一下rdd的基本属性概念、rdd的转换/行动操作、rdd的宽/窄依赖。RDD表示可以并行操作的元素的不变分区集合。RDD提供了许多基本的函数供我们进行数据处理。RDD的计算是以分区为单位进行的。分区器针对键值型RDD而言的，将key传入分区器获取唯

Dism /apply-image /imagefile:G:\sources\install.wim /index:1 /ApplyDir:C:\