Web日志挖掘与电子商务_电子商务

Web日志挖掘与电子商务

二、web挖掘及web日志挖掘 web挖掘是将数据挖掘的思想和方法应用到web页面内容、页面之间 的结构、用户访问信息等各种web数据中，从中抽取隐含的、以前未知的、具有 潜在应用价值的信息。根据挖掘的对象不同，web挖掘可分为web内容挖掘、web 结构挖掘和web日志挖掘。

1.web内容挖掘 web内容挖掘主要从web文档的内容中抽取出有用的知识。由于web 文档的绝大部分内容是以文本的形式存在，所以web内容挖掘主要针对的是web 文档的文本部分，文本挖掘主要包括对web文档文本的总结、分类、聚类、关联 分析等。除了文本挖掘以外，web内容挖掘还包括web上的声音、图形、图像信 息的挖掘、数据库中的数据挖掘和信息获取等。

2.web结构挖掘 web结构挖掘主要通过web页的组织结构和超链接关系以及web文档 自身的结构信息(如title, heading, anchor标记等)推导出web内容以外的知识，可分 为超链挖掘、内部结构挖掘和url挖掘。

3.web日志挖掘 三、web日志挖掘的步骤web日志挖掘步骤主要分为源数据收集、数据预处理、模式发现、模 式分析4个阶段。

1.源数据收集 源数据收集主要是web日志文件的收集。对于一个电子商务网站来说， 经过一段时间后，用户会在网站上积累大量有用的信息(如访问日志、注册信息、 需求信息、定单信息、交流信息等)，采用web 日志挖掘技术就可以充分利用这 些有用信息，帮助电子商务网站的建设和发展。

web日志文件主要包括以下3种类型：服务器日志文件、错误日志文 件和cookies。

2.数据预处理 web日志挖掘首先要对日志中的原始数据进行预处理，因为从用户的 访问日志中得到的原始日志记录并不适于挖掘，必须进行适当的处理。因此，需 要通过日志清理，去除无用的记录。预处理过程是保证web日志挖掘质量的关键 步骤，下面我们来阐述数据预处理的过程。

(1)数据净化。指删除 web服务器日志中与挖掘算法无关的数据。大 多数情况，只有日志中 html文件与用户会话相关，所以通过检查url 的后缀删除 认为不相关的数据。

(2)识别用户。由于本地缓存、代理服务器和防火墙的存在，使得识 别用户的任务变得很复杂，可以使用一些启发式规则帮助识别用户。

(3)识别用户会话。用户会话是指用户对服务器的一次有效访问，通 过其连续请求的页面，我们可以获得他在网站中的访问行为和浏览兴趣。

(4)识别片段。在识别用户会话过程中的另一个问题是确定访问日志 中是否有重要的请求没有被记录。如果当前请求页与用户上一次请求页之间没有 超文本链接，那么用户很可能使用了浏览器上的“back”按钮调用缓存在本机中的 页面。检查引用日志确定当前请求来自哪一页，如果在用户的历史访问记录上有 多个页面都包含与当前请求页的链接，则将请求时间最接近当前请求页的页面作 为当前请求的来源。3.模式发现 模式发现是运用各种算法和技术对预处理后的数据进行挖掘，生成模 式。这些技术包括人工智能、数据挖掘、统计理论、信息论等多领域的成熟技术。

可以运用数据挖掘中的常用技术如路径分析，关联规则、序列模式以及分类聚类 等。

(1)路径分析。它可以被用于判定在一个站点中最频繁访问的路径， 还有一些其它的有关路径的信息通过路径分析可以得出。利用这些信息就可以改 进站点的设计结构。

(2)关联规则。使用关联规则发现方法，可以从web的访问事务电子商 务管理论文发表中找到相关性。利用这些相关性，可以更好的组织站点的web空 间。

(3)序列模式。在时间戳有序的事务集中，序列模式的发现就是指那 些如“一些项跟随另一个项”这样的内部事务模式。发现序列模式，能够便于预测 读者的访问模式，开展有针对性的服务。

(4)分类和聚类。发现分类规则可以给出识别一个特殊群体的公共属 性的描述，这种描述可以用于分类的读者。聚类分析可以从web访问信息数据中 聚类出具有相似特性的读者，在web事务日志中，聚类读者信息或数据项能够便 于开发和设计未来的服务模式和服务群体。

4.模式分析 该阶段实现对用户访问模式的分析，基本作用是排除模式发现中没有 价值的规则模式，从而将有价值的模式提取出来。

四、web日志挖掘在电子商务网站中的应用 1.电子商务网站中web日志挖掘内容 (1)网站的概要统计。网站的概要统计包括分析覆盖的时间、总的页 面数、访问数、会话数、惟一访问者、以及平均访问、最高访问、上周访问、昨 日访问等结果集。

(2)内容访问分析。内容访问分析包括最多及最少被访问的页面、最多访问路径、最多访问的新闻、最高访问的时间等。

(3)客户信息分析。客户信息分析包括访问者的来源省份统计、访问 者使用的浏览器及操作系统分析、访问来自的页面或者网站、来自的ip地址以及 访问者使用的搜索引擎。

(4)访问者活动周期行为分析。访问者活动周期行为分析包括一周7天 的访问行为、一天24小时的访问行为、每周的最多的访问日、每天的最多访问时 段等。

(5)主要访问错误分析。主要访问错误分析包括服务端错误、页面找 不到错误等。

(6)网站栏目分析。网站栏目分析包括定制的频道和栏目设定，统计 出各个栏目的访问情况，并进行分析。

2.web日志挖掘工具 已经有部分公司开发出了商用的网站用户访问分析系统，如webtrends 公司的commercetrends 3.0,它能够让电子商务网站更好地理解其网站访问者的行 为，帮助网站采取一些行动来将这些访问者变为顾客。commercetrends主要由3 部分组成：report generation server、campain analyzer和webhouse builder。

还有accrue公司的accrue insight，它是一个综合性的web分析工具,它能 够对网站的运行状况有个深入、细致和准确的分析，通过分析顾客的行为模式， 帮助网站采取措施来提高顾客对于网站的忠诚度，从而建立长期的顾客关系。

五、结束语 电子商务在快速增长，有非常好的前景。web日志挖掘是数据挖掘中 的前沿技术，应用web日志挖掘技术，能使电子商务网站资源的配置更合理化， 能发现隐含的有价值的信息，改进网站设计，找到潜在的客户、为已有客户提供 更好的个性化服务。web日志挖掘技术和 web内容挖掘技术、web结构挖掘技术 的结合使用可进一步完善和提高电子商务网站的功能，这是我们今后所要探讨的。