小白学数据分析之Clementine的源节点学习

Clementine是一个很有用的工具，在网游日常数据的处理中，其应用程度不低于Excel和SPSS，尽管Clementine是一个数据挖掘工具，但是在数据处理等方面的功能很强大，在几十万到几百万甚至几千万数据处理上，都能够应付，而Excel仅仅处理在一百万左右的数据。使用Clementine有一段时间了，就从基本的开始说起吧，先说说源节点是什么？

每一个数据处理工具，都需要支持很多种数据格式，由于我们数据存储形式，或者存储软件的因素造成了我们有时候数据的格式会有很多种，为此作为一个好的数据分析软件，首要的就是要支持很多的数据格式，这样避免的大数据转换格式耗费的时间和成本。

在Clementine中就有源节点来完成这个工作，源节点顾名思义，就是数据来源的节点。对应在Clementine中有一个源选项版来完成这个工作，如下所示：

企业视图有关信息这里不解释，目前暂无应用。

数据库源节点

Cle中使用ODBC将数据导入，支持Oracle、SQLServer、DB2、MySQL等。但是这种方式导入数据，就必须首先配置ODBC数据源，有关如何配置该数据源，这里不再累述。可以自行参考网上的很多教程。Cle对于数据库的支持有三层：

1）  所有可能的 SQL 回送都可用，并具有数据库特定的 SQL 优化

2）  多数 SQL 回送可用，具有非数据库特定的 SQL 优化

3）  没有 SQL 回送或优化，只能向数据库读取和写入数据

使用下列一般步骤访问数据库中的数据：

为要使用的数据库安装 ODBC 驱动程序并配置数据源；

在数据库节点对话框中，使用表模式或 SQL 查询模式连接到数据库；

从数据库中选择表；

使用数据库节点对话框中的选项卡，可以更改使用类型和过滤数据字段；

现在我们已经完成了ODBC安装和配置数据源的工作。下面我们要在Cle中连接数据库，进行查询访问，双击数据库图标，进入数据流工作区域，右键单击编辑，弹出如下的对话框：

上图为数据选项卡的选项，用于获取数据库访问和选定我们要进行操作的表。

模式

可以通过对话框连接到指定的表上，也可以通过SQL查询查询使用的数据库。

数据源

此处指定我们需要的数据源，可以手动填写，也可以通过下拉菜单进行添加，此处我们铜鼓下拉菜单添加，如下图：

在弹出的对话框中，我们选择test数据源。

数据源

列出目前我们可用的数据源，如果是刚刚添加的，单击刷新，选择数据源，输入用户名和密码就OK了。

表名

通过选择按钮选择我们进行操作的表，如下图所示：

给表名和列名加上引号

在数据库中进行查询时，指定是否要将表名和列名括入引号内（例如，这些名称是否可包含空格或标点）

去除开头和结尾的空格

选中选项以丢弃字符串中开头和结尾的空格。

可变文件节点

相当于Excel分列操作使用分隔符的模式

可以使用可变文件节点从自由字段文本文件（其记录包含的字段数不变，但包含的字符数可改变）中读取数据，该文件又称为分隔文本文件。此类型的节点也可用于具有固定长度的页眉文本和特定类型的注解的文件。每次读取一条记录，并将这些记录传递到流中，直到读完整个文件。

读取定界文本数据时的注意事项

必须在每行末尾处用换行符分隔记录；

必须使用逗号或其他字符（最好是仅用作分隔符，即该字符不能出现在字段名称或字段值中）分隔字段；

每一行（包括标题行）都应包含相同的字段数；

第一行应包含字段名称；

第二行必须包含数据的第一条记录；

数字值不能包括千位分隔符或分组符号，—例如，3,000.00 中不能使用逗号；

日期值和时间值应该采用“流选项”对话框中可识别的的格式之一，例如DD/MM/YYYY 或HH:MM:SS。

我们导入一个文件，单击可变文件，右键编辑，弹出如下的对话框：

读取文件中的字段名

默认是选中的，此时把文件的第一行看作是列表前，即变量名。每个字段也能被分配一个名字，当然了，如果我们第一行没有列标签时，就可以取消选中。

指定字段数

指定每个记录中的字段数。只要记录以新行结束，就可以自动检测字段数。也可以手动设置字段数。

跳过标题字符

指定要忽略第一个记录的开头处的多少个字符。

EOL 注解字符

指定字符（例如 # 或 !）以表示数据中的注解。无论这些字符之一出现在数据文件的何处，从该字符起直到下一个新行字符（不包括）之前的所有字符都将被忽略。

去除开头和结尾

丢弃导入字符串中开头和结尾的空格。

无效字符

空字符或者指定编码中不存在的的字符，通过丢弃进而删除了，或者替换成其他字符。

小数符号

选择在数据源中使用的小数分隔符类型。

定界符

选择将将数据进行分列的符号，也可以自己指定符号，此处是复选，也就是说可以使一个以上的分列手段，这点和Excel的分列大同小异。

类型的扫描行数

对于指定的数据类型要扫描的行数

引号

如何处理导入数据的单引号和双引号问题

在此对话框中操作任何时刻，都可单击刷新以从数据源重新载入字段。在更改到源节点的数据连接时，或在对话框的选项卡之间进行操作时，此操作都非常有用。

固定文件

相当于Excel分列操作的固定长度模式

所谓固定文件是相对可变文件而言，使用固定文件节点从固定字段文本文件（其字段没有被分隔，但开始位置相同且长度固定）中导入数据。机器生成的数据或遗存数据通常以固定字段格式存储。使用固定文件节点的“文件”选项卡，可以轻松地指定数据中列的位置和长度。

选择固定文件，右键单击编辑，选择一个文件，如下所示：

数据预览窗格可用来指定列的位置和长度。预览窗口顶部的标尺有助于测量变量的长度并指定变量间的断点。通过单击字段上方的标尺区域可以指定断点线。通过拖动可移动断点，而将其拖动到数据预览区域之外则可丢弃断点。

面向行

如果要跳过每个记录末尾的新行字符，可选中此选项。

跳过标题行

指定要忽略第一个记录的开头处的行数。这对忽略列标题非常有用。

记录长度

指定每个记录中的字符数。

字段

已为此数据文件定义的所有字段都在此处列出。有以下两种定义字段的方式：

 移动标尺，进行控制指定字段；

 通过向下面的表添加空字段行手动指定字段。单击字段窗格右侧的按钮添加新字段。然后在空字段中输入字段名、开始位置和长度。这些选项会自动在数据预览窗格中添加箭头，并且可以轻松地调整这些箭头。

SAS源节点&SPSS源节点

SPSS文件导入对话框

SAS文件导入对话框

SAS导入支持四种文件格式，如上图所示。导入数据时，所有变量都将保留且不更改任何变量类型。

SPSS和SAS中需要说明的内容：

读取名称和标签

选中此选项将变量名称和标签同时读入。默认情况下将选中此选项，并且变量名称将显示在类型节点中。根据流属性对话框中指定的选项，标签将显示在表达式构建器、图表、模型浏览器和其他类型的输出中。

读取用作名称的标签

选择从文件中读取说明性的变量标签而不是短字段名，并将这些标签作为变量名称在 Cle中使用。

Excel源节点

Excel的数据导入相对来说不是很麻烦，作为我们经常使用的工具，有必要介绍一下，下图为导入数据的对话框：

工作表

索引或者名称指定要导入的工作表。

 索引

指定要导入的工作表的索引值，开头的 0 表示第一个工作表，1 表示第二个工作表，依此类推。

 名称

指定要导入的工作表的名称。单击省略按钮 (... ) 从可用工作表列表中进行选择。

工作表上的范围

可以第一个非空行作为开始导入数据，也可通过指定单元格的显式范围导入数据。

总结