[论文简读] Web Content Information Extraction Based on DOM Tree

shilei0

2019-06-27

【论文简读】Web Content Information Extraction Based on DOM Tree and Statistical Information

简介

文章发布于 2017 17th IEEE International Conference on Communication Technology
作者是北京邮电大学的 Xin Yu
文章提出了一种基于DOM结构将WEB页面划分为块，然后通过统计信息提取内容的方法

方法描述

该方法主要针对主题型新闻页面（以文字为主）

Page Segmentation 页面分割

对DOM树进行 pre-processing 预处理

Add hierarchical information 添加分层属性
描述DOM树中DOM节点所在的位置层级，比如 <body> 为Level 1 具体可以参照下图
Traverse the DOM tree 遍历DOM树获得叶子节点集
假设目标页面里，只有叶子节点存放着所有相关的文本信息，emmm[・_・?]，这一点就是我觉得局限性非常大的一点了，因为不适用于其他类型的网站，而且文章型网页也有部分是不这么做的，也会容易把冗余信息纳入其中。
Get the real node 获得真实节点
有点一言难尽，还是看图吧

考虑到了这种特殊情况，信息保存在a标签里，但是作者想提取的目标节点为li，所以作者提出GetRealNode方法，将这种父元素只包含了一个子元素，且子元素为叶子节点的情况，将父元素代表子元素这个叶子节点放入数据池中。
Fusion based on least common ancestor 基于最少共同祖先的融合
把结构性相似节点归纳为一块，比如上图中的li节点，具有许多相邻相似的兄弟节点，可以被关联到同一块中。

该算法中有一个非常奇怪的点，相邻的节点难道层级会不同吗，isCommonLevel和isBrother可以再细化一些。
划分结果如图三所示

统计信息

结合节点中的超链接文本的个数、长度以及层级，为每一个节点进行打分（判断是否是重要节点）

[论文简读] Web Content Information Extraction Based on DOM Tree
这里作者没有讲怎么去处理分母为零的情况，举个例子，节点如果不包含任何的链接，textLinkCount+imgLinkCount=0

[论文简读] Web Content Information Extraction Based on DOM Tree

阈值

阈值的目的就是为了区分内容块和噪声块

[论文简读] Web Content Information Extraction Based on DOM Tree

t 是所要求出的阈值，
Xi 是内容块的评分
N 是要分成多少类，作者取值为二（目标以及噪声）
作者采用计算方差的方法来获取阈值，然后通过内容块的评分与阈值比较，区分出内容节点和噪声节点。

评价体系

作者从准确率，召回率以及一个自定义的平均函数来评价方法

[论文简读] Web Content Information Extraction Based on DOM Tree

A是人工的提取内容
B是算法的提取内容
LCS(A,B)是指A和B的最长公共子序列

测试数据集为作者自己采集的新闻网页
效果数据如图所示

[论文简读] Web Content Information Extraction Based on DOM Tree

[论文简读] Web Content Information Extraction Based on DOM Tree

阅后想法

没有公开的数据集，没有算法源码，过程也这么粗糙，是怎么发上IEEE的...

dom segmentfault

shilei0

0 关注 0 粉丝 0 动态

相关推荐

将你的 Virtual dom 渲染成 Canvas

一个基于 vue 的 virtual dom 插件库，按照Vue render 函数的写法，直接将 Vue 生成的 Vnode 渲染到 canvas 中。支持常规的滚动操作和一些基础的元素事件绑定。这些信息是需要从接口取的，而且每个人都不一样。第一次碰到这

星星有所不知 2020-10-12

如何在Shadow DOM/Web组件中覆盖CSS

Web组件的主要目的之一是提供封装——能够隐藏HTML标记结构和CSS样式，并与页面上的其他代码分离，这样不同的部分就不会冲突，通过这种方式，这样代码就可以保持漂亮和干净。影子DOM为我们提供了范围限定的样式封装，并提供了一种让我们随意选择进入外界的方法。

zuncle 2020-09-28

JavaScript 如何计算文本的行数的实现

思路：用2个块统计行高，一个不加高度限制用来统计行数，一个加高度限制用来显示。当然总高度的计算必须是文字所在的 DOM 没有对高度的限制，随着文本的增加 DOM 要随之变高才行；最后还要考虑 DOM 的样式padding和margin对高度的影响。总结一下

huaoa 2020-09-14

DOM事件流的三个阶段

事件流之冒泡与捕获：。　　假如我们在页面上有一个 button 标签。　　　　　　a :button. 　　　　　 d : window. 　　　　　　依次触发 a 、b、c、d. 　　　　个人总结：点击元素时，元素从内向外扩展是冒泡，反之收缩是捕获。D

北京老苏 2020-08-17

JS中DOM元素的操作

<button id="btn" class="btnlist" name="btn_n">点我一下</button>. innerHTML语法: ele.innerHTM

luvhl 2020-08-17

实现虚拟DOM

function createElement{ //创建虚拟DOM. function render{ //把虚拟DOM渲染到真实DOM节点。let elementList = [], //保存着一些元素数组，这些元素数组的第一项是父元素，其他项是子元素。

Kakoola 2020-07-29

JavaScript DOM 控制CSS

JavaScript更改P元素的样式：1.<html>2.<body>3.<p id="p2">Hello World!"red";6.</script>7.<p

drdrsky 2020-07-29

React：虚拟DOM和diff算法

目的：为了实现页面元素的高效更新。

hyMiss 2020-07-27

Vue虚拟DOM

由于在浏览器中操作DOM是很昂贵的。频繁的操作DOM，会产生一定的性能问题。这就是虚拟Dom的产生原因。Virtual DOM本质就是用一个原生的JS对象去描述一个DOM节点。是对真实DOM的一层抽象。diff 算法 — 比较两棵虚拟 DOM 树的差异；p

书虫媛 2020-07-08

一篇文章教会你如何将DOM转换为virtual DOM

Virtual DOM是虚拟节点，它通过Javascript的Object对象模拟DOM中的节点，然后通过特定的render方法将其渲染成真实的DOM节点。浏览器在处理DOM时，总会附加很多属性，这会使得每一次数据更新，渲染很慢。Virtual　DOM利用

liaoxuewu 2020-07-08

减少浏览器的回流和重绘

避免过多样式嵌套。避免使用css表达式。使用绝对定位可以让动画元素脱离文档流。尽量不适用float布局。图片最好设置好width和height. 尽量简化浏览器不必要的任务，减少页面重新布局。使用viewpoint设置屏幕缩放级别。避免使用引起回流的和重绘

SIMONDOMAIN 2020-07-08

JavaScript HTML DOM 事件

HTML DOM 使 JavaScript 有能力对 HTML 事件做出反应。我们可以在事件发生时执行 JavaScript，比如当用户在 HTML 元素上点击时。onload 事件可用于检测访问者的浏览器类型和浏览器版本，并基于这些信息来加载网页的正确版

爱读书的旅行者 2020-07-07

浏览器是如何渲染页面的？

a.解析HTML文件，创建DOM树。自上而下，遇到任何样式与脚本都会阻塞；c.将CSS与DOM合并，构建渲染树；解析HTML构建dom树—>构建render树—>布局render树—>绘制页面。

tianzyc 2020-07-04

虚拟DOM和diff算法

Vue和React是数据驱动视图，如何有效控制DOM操作?能不能把计算，更多的转移为js计算？因为js执行速度很快。patch函数-->patch,对比tag,对比tag与key,对比children

Lophole 2020-07-04

[Javascript] HTML5 DOM project

<p>You have <span class="todos-count"></span> items</p>. <button type="button" cl

Lophole 2020-06-28

JS事件、Bom对象和Dom对象（1）（乐字节架构）

如需要跟多资料请点击右侧 → 这是一条不归路，有秃头风险，请慎重选择！事件是 JavaScript 应用跳动的心脏，进行交互，使网页动起来。事件还可能是 Web 浏览器中发生的事情，比如说某个 Web 页面加载完成，或者是用户滚动窗口或改变窗口大小。

liaoxuewu 2020-06-26

前后端分离中前端DOM渲染页面

html 仅仅作为静态文件，客户端端在请求时，服务端将数据返回给客户端，再通过本地的js代码读取返回的数据再使用DOM将这些数据渲染到html中，保留的代码中天然的展示层和数据层的分离；在我们校园帮帮网的项目中用于在页面加载时接受后端问题列表数据然后现实在

ApeLife技术 2020-06-26

JS HTML DOM

HTML DOM 定义了用于 HTML 的一系列标准的对象，以及访问和处理 HTML 文档的标准方法。通过 DOM，你可以访问所有的 HTML 元素，连同它们所包含的文本和属性。HTML DOM 独立于平台和编程语言。它可被任何编程语言诸如 Java、Ja

北京老苏 2020-06-25

【JS】05 DOM 文档对象模型 P2 元素的CRUD、Dom集合对象

你需要先找到他的父元素。<p id="p1">这是一个段落。我想说，这用CSS标签选择器不好吗？但是这操作跟数组没有区别啊。。。只不过Java的数组要求长度是固定且数据类型一致的。NodeList对象是一个从文档中获取的节点

Lophole 2020-06-14

【JS】04 DOM 文档对象模型 P1 查找元素、改变内容、绑定事件

document.write() 可用于直接向 HTML 输出流写内容。【绝对不要在文档加载完成之后使用 document.write()。修改 HTML 内容的最简单的方法是使用 innerHTML 属性。<p>以上段落通过脚本修改。DOM对

SIMONDOMAIN 2020-06-14

shilei0

W3CSchool教程: HTML 教程; CSS 教程; Bootstrap 教程; Javascript 教程; jQuery 教程

后端教程: C 教程; Java 教程; PHP 教程; Python 教程; Go 教程

移动开发: Android 教程; Swift 教程; Kotlin 教程; jQuery Mobile 教程; ionic 教程

关于我们: 新闻动态; 联系方式; 招聘英才; 安科实验室; 帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号京公网安备11010802014868号