网站日志剖析之聚集式剖析

在网页运营改版进程中，经常有设计师或许运营搭档有这样的疑问：我的页面到底发生了多大价值？这个页面引导的用户接下来拜访了多少商品的页面？有没有发生交易？有没有到我想让用户去的那些页面？

假如运用数据库查询，固然能够得到一些成果，但查询进程过于杂乱，数据量大的网站查询耗时太长，很难灵敏应用到一般页面。本文提出一种相对简略的剖析方法能够解决这个问题。

每个用户在网站上的拜访轨迹在网站日志或许数据库中，都是一串URL，有的只拜访了一两步，有的拜访了成百上千步，如安在如此杂乱繁复的数据中找到用户在拜访某个页面（例如服装首页）之前或许之后n步，有多少人拜访过特定页面（例如交易页面）？

先抛开这个问题，咱们幻想这样一个场景：在一个大会场中，熟人坐在某个座位上，假如咱们知道他们的位置，咱们的眼睛很简略聚集到这几个位置，自动疏忽其他座位的人，请参看图1。相同，人们在调查周围事物时，经常会把精力聚集到自己关怀的事物上，下意识疏忽其他。咱们从前做过这样的试验，咱们的报告厅有4个很大的外置式扩音器，排列在两侧。注意不是那种不显眼的内置式，任何人只要稍微留神就会看到。而当咱们要求会场的人闭上眼睛回答会场有几个扩音器时，很少有人能给出正确答案，由于大部分人会关怀更重要的东西，比方会议内容，提问问题，乃至是怎么找个舒适的位子也比扩音器的多少更让人关怀。

图1

回到咱们网站碰到的问题，某个项意图设计师关怀的页面并非悉数，而仅仅几个与之页面有关的页面和部分重要的方针页面。因而咱们能够去除相关性不大的页面，只保存关怀页面，然后缩短用户途径，大大提高核算功率。

别的，咱们把索引的思维引入剖析进程中，把网页的URL按照必定规则（例如正则表达式）替换成简略字符，把相关性不大的页面核算替换为同一个字符（例如“0”），把一些过渡性的页面替换成某个字符（例如”p”），如此以来，每个用户的拜访途径就能够表示为一个字符串，例如”a,c,0,0,0,a,p,p,c,0,c,d,0,0,0”。也有的用户的拜访途径全为相关性不大的页面，此时，途径为0,0,0,0,0,0,0,0,0,0,0,0,0,0”，这表示用户并未拜访到方针页面，假如不需求核算用户比例或用户分类，那么这样的记录咱们能够删除去。

假如需求保存其他的用户信息，例如cookieid，登录名，拜访时刻等信息，这个字符串会愈加杂乱些。假如咱们研究意图比较简略，还能够进一步处理，假如不需求对步长信息进行剖析，咱们能够去掉相邻重复的一些数据，把上式简化为” a,c,0,a,p,c,0,c,t,0”。

这个进程请参看图2中的①和②，由此咱们能够得到多个用户的途径的字符串方法的文件。

图2

得到这个聚集式用户途径文件后，咱们就能够对这个字符串文件进行剖析了。例如，咱们需求核算a页面后有多少个c页面，需求能疏忽中心的翻页页面（p页面）。在上例中的这个用户的字符串中，便是1个用户，2次c页面。假如在拜访了其他页面之后再拜访c页面的行为也可核算入内的话，那便是1个用户，3次c页面。

接下来便是剖析的样本量问题。一般剖析进程中会考究“多而全”，但数据量大到必定级别，剖析1/10乃至1/100人群与剖析全样本所得到的成果相差无几，花费许多资源去提升一点精确度是一件很因小失大的工作。因而能够酌情剖析小样本量，节省剖析成本。

由于方针页面业务的独特性，每次需求剖析的方法也很个性化。途径查询器能够灵敏应对各种查询。例如，咱们需求核算a后面有t的人次，a后面紧跟着c的人次，行为契合某种形式的用户数有多少等等。需求核算的形式在剖析算法装备文件（图2中的③）中进行装备，查询器会核算并导出最终成果。

别的，查询器还支撑分类信息查询，根据用户途径文件的装备信息，对每种分类的人群分别查询，或许导出契合某种形式的人群Cookieid，用户名等，与其他数据存储媒介联接，取得这部分人群的其他信息，然后进行归纳剖析。

这种方法长处在于比较灵敏，假如网站的URL规则比较标准，在装备进程中能够多选用正则表达式，然后能够发现更多有趣的现象。