互联网是现今生活中必不可少的一部分，并被广泛使用在商业和个人的应用中。以往难以获取的信息现在通过点击一个按钮就可以轻松地访问到。在过去的几年里，互联网的数据呈爆发性地增长，同时增长也带来了网络安全和生产率的新挑战。

　　攻击者总是寻找新的、复杂的方法通过利用Web漏洞来获取他们想要的信息。随着Web2.0和云计算技术的出现，攻击者已经从试图“推送”他们的攻击过渡到“拉动”攻击。拉动式的攻击发生是最终用户不知不觉地被欺骗把威胁拉到网络中。攻击者通过恶意软件去感染合法的和不知名的网站（例如那些包含色情信息的网站）就是其中的一个例子。URL过滤原本用于避免对不恰当内容的访问，然而随着Web 2.0威胁的进化，现在URL过滤成为了任何安全架构中关键的一个保护层。

　　Web 2.0和社交网站正变得越来越多样化。许多网站都是在单个Web页面里包含多项内容和媒体文件。正因为如此，域名合法的网站（例如微软的live.spaces.com或Facebook.com）常被嵌入恶意代码或链接到恶意网站。所以，企业需要的URL过滤技术既要有足够广泛的覆盖面又要能在合法的网页中区分出相应的威胁。

　　早期的URL过滤

　　在1990年代中期，URL过滤依赖于用于定义黑名单和白名单来控制对网站的访问。这些黑白名单基本上由每个公司的IT部门来管理。然而，这个方法有许多的缺陷。所有网站的分类都是由单个人或少数几个人自由地决定。这种方法既需要集中的资源又缺乏客观的标准。一个用户认为可接收的资源可能并不适用于其他人。

　　不准确的网站分类导致许多应该允许访问的站点被屏蔽，同时一些应该禁止访问的站点却被允许通过了过滤器。随着时间的推移，手动设置的黑白名单已经不能适应Web增长的速度和复杂性。

　　在1990年代后期，URL过滤技术开始利用安装在本地数据库上的分类引擎。分类引擎本身通常位于互联网上的远程服务器，结果被发送到作为客户端的本地数据库。这种方法仍旧是现今标准的URL过滤解决方案的首选架构。在这种架构中，URL及其内容根据分类引擎预先定义好的类别进行分析和分类（例如，包括赌博、色情和网上购物等），并存储在集中的主数据库中，然后通过更新本地用户数据库来保持与主数据库的信息同步。相对于手动配置黑白名单，这种类型的URL过滤可以集成到公司的域来加强每个用户/组策略的粒度是一种改进。然而，随着互联网的增长，这些数据库的规模也随之增长。本地数据库的更新周期无法跟上Web的快速增长。

　　传统的URL过滤

　　在2000年代早期，URL过滤解决方案尝试通过以启发式内容分析的替换URL匹配方法来解决本地数据库规模的问题。这些基于会话的启发将分析在网页头部和HTML主体内的文本来决定是否禁止对这个页面的访问。理论上，这是个处理困扰了前几代URL过滤的一个很好的解决方案；然而，在实践中它依旧有自身的问题。许多基于网页内容分析的启发性实践并没有足够快地执行实时发送文本内容给最终用户。不断增长的延迟在这些解决方案中常常可见并使Web浏览的体验变得让人难以接受。另外一个问题是基于启发式的解决方案无法适应Web 2.0日益多样化的内容。大部分Web 2.0的动态内容不能很准确地通过这些分类引擎对内容和文本进行分析，从而导致许多的错误分类。

　　基于云的URL过滤

　　根据Google的统计，Web正在以每天十亿个页面的速度快速地增长。这接近无限的信息集合不仅仅只是规模上的增长，同时也在复杂度上相应地增长。传统的方法已经不能准确和高效地对页面进行分类。存储和处理能力的需求已经远远超出了本地数据库的规模。对于大多数中小企业来说，这样的计算资源实际上是很难得到的，因此下一个合乎逻辑的做法是利用云计算来为URL过滤服务。

　　基于云的URL过滤不依赖于现场本地数据库的有限资源来分析和检测，也不依靠数据库的更新来对最新的网站进行分类。相反，由于数据库本身位于云中，则可以利用云中可用数据的巨大深度和广度来进行分类、威胁检测、分析和预防。专用的分类服务器可以基于实际的Web使用率和流行模式完全地用于分类。

　　为了获得最准确的分类，对于基于云的URL过滤方案来讲关键的是从多个专门的来源处和协议处收集数据以获取到真正准确的信息。这个引擎的数据发掘能力必须能够从像Web请求、即时通讯、钓鱼电子邮件、垃圾邮件和恶意软件等来源处收集数据服务。

图 1. URL过滤技术的汇总

　　NETGEAR混合云端的分布式Web分析技术

　　NETGEAR混合云端的分布式Web分析技术由两个元素构成：安装在公司网络边界的ProSecure安全网关设备以及NETGEAR 面向基于云计算的URL分类的URL分类中心。ProSecure设备与URL分类中心实时地通信以获取更新到秒级的URL分类。

　　NETGEAR的URL分类中心具有一个广泛的、由数以百万计并被分成64个类别的URL所组成的数据库。URL分类中心庞大的计算和存储能力使URL数据的实时处理能通过部署在服务提供商云端的数以百万计的HTTP连接器遍及到全世界。分布式Web分析调配那些监控HTTP请求、恶意软件威胁、垃圾邮件、钓鱼电子邮件和网络流量分布的数据挖掘代理。数据随后被发送到NETGEAR的URL分类中心进行处理。

　　这个和一个纯粹基于云计算的方法的差别在于本地URL缓存，该缓存位于ProSecure安全网关设备。这个本地缓存为每个独立的网络存储五十万个最相关的URL。存储在本地缓存的URL请求以线速进行处理，从而为每个独立的网络确保最优的性能和最大的相关性。

　　下面是HTTP-GET请求被ProSecure设备处理的过程：

　　1. 位于ProSecure设备的分布式Web分析URL过滤引擎从本地网络中接收HTTP-GET请求；

　　2. 过滤引擎试图在位于ProSecure设备的本地缓存中查找正确的URL分类；

　　a) 如果找到匹配的URL分类，那么这个分类将由引擎来处理并且相应的HTTP请求将基于配置的策略被允许或阻止；

　　b) 如果没有找到匹配的URL分类，包含HTTP请求的URL查询将被发到NETGEAR的URL分类中心；

　　3. NETGEAR的URL分类中心然后返回正确的分类给ProSecure设备；

　　4. HTTP请求根据配置的策略被允许或阻止，相应的条目也被添加到ProSecure设备上的本地缓存；

图 2. NETGEAR 分布式Web分析架构

 

　　总结

　　互联网的持续增长伴随着像Web2.0、社交网络和云计算等新技术的快速应用，这些都将引导着URL过滤技术的发展。URL过滤不仅仅有助于保持企业的生产率，同时也是任何安全网络架构中的重要组成部分。传统的URL过滤技术已经无法跟上现今互联网庞大的规模和复杂性。对于那些缺乏足够的计算能力和预算资源来实施他们自己现场的URL过滤架构的中小型企业，下一个逻辑步骤就是利用基于云的解决方案。   NETGEAR混合在云端的分布式Web分析技术代表着下一代的URL过滤技术，以及具有中小企业有效地过滤Web所需的广度、精度和性能。

　　NETGEAR ProSecure安全网关设备解决方案

　　ProSecure STM和UTM安全网关设备使用下一代的混合在云端的分布式Web分析架构，这个架构不仅查找本地缓存的URL而且查找数以百万计的在云中的URLs，从而提供接近于无限的覆盖面。URL被分析并分成64个不同的类别。用户避免访问那些被认为是不恰当的站点，减少下载威胁到企业网络中的机会，同时能提高员工的生产效率。

　　ProSecure STM和UTM安全网关设备具有正在申请专利中的流扫描技术，这个技术设计来扫描进入网络的数据流。通过流扫描技术，NETGEAR STM和UTM能够实时地处理更大量的数据，从而使用单个扫描就可以识别垃圾邮件、恶意软件、安全漏洞或不必要的应用程序。这保证了网络中的用户能够接收他们干净而无延迟的电子邮件和Web页面内容。

　　ProSecure STM和UTM安全网关设备使用主动行为防御系统，该系统消除了被利用的漏洞和修复的漏洞之间的差距。NETGEAR解决方案使用辩证式的分析来鉴别进入到网络和从网络出去的流量的可疑特性，并压制这些可疑流量直到能够更加仔细地检查出来。