九游老哥云
API崛起下的Bot治理
2020-05-11
近几年，应用清静领域的新手艺、新厂商如雨后春笋般地涌现。该领域之以是会云云快速地生长，一方面，得益于nginx及OpenResty高扩展性的设计，使到手艺团队可以专注于特定清静问题，并且快速开展攻防能力的研发，不必投入驱动级HOOK、内核协议栈修改以及用户态的HTTP协议剖析署理等这些重大而又艰涩的底层手艺领域；另一方面，应用是承载着信息交互的现实桥梁。随着信息化浪潮的来临与科技的前进，云、大、物、移作为基础设施逐渐完善，企业一定有更多的营业通过应用（web、移动、人工智能机械人）对外提供。诸多因素推动目今应用开发模式在迈向devops及API服务化。在新模式的原始阶段，清静的诉求会接踵而至，鉴于九游老哥科技在Bot治理领域的手艺积累，本文希望与应用开发及应用清静领域的从业者举行交流。
我们先引用一些咨询机构在应用清静领域报告中的摘要：
“到2023年，网络中Bot流量的比例将会凌驾‘人的请求流量’。
到2022年，API滥用将转变为最常见的攻击方法，从而导致数据信息泄露，这将成为Web企业面临的严重问题。
到2021年，将有90%的Web应用程序以API而非UI的形式面临网络攻击，其占比远远高于目今2019年的40%。”
可以看到，API将是未来企业焦点对外的营业接口，这导致了Bot流量占比继续大幅度上升。它一方面增添了营业与营业之间正常的交互，另一方面却催生了背后附加的黑灰产的蓬勃生长，猫池、接码、打码平台等一条龙工具随着API的启用，越发便捷、无邪。
1) Bot模拟正凡人操作实现下面的请求越发难以识别：
a. 信息泄露：内容爬虫、价钱爬虫
b. 误差探测：自动化扫描
c. 账户清静：信用接受（暴力破解、撞库）、恶意注册
2) 营业清静防护的难度更高：
a. 生意诓骗：虚伪生意、薅羊毛
b. 恶意竞争：库存囤积、黄牛党
3) 从面向HTML名堂的URL攻击，变身为针对XML/JSON的攻击懦弱性更显着：
a. API滥用：短信轰炸、拖库
b. 信息泄露：数据遍历、批量获取
c. 身份越权
d. 恶意会见
图1 Bot演进蹊径
以前对抗这类黑灰产，Bot识别是焦点事情。一样平常应有几个层级的图灵测试：
1) 简朴剧本 -- 爬虫、Python剧本
一样平常爬虫和浅易的Python剧本工具等都不具备JS剧本的执行能力，通过在流量中注入JS，验证客户端剧本执行能力来举行识别。
2) 一样平常工具 -- PhantomJS 扫描器等工具
PhantomJS和主流扫描器（Appscan、AWVS、RSAS等）都集成了JS剖析引擎，因此都能够执行JS剧本，我们需要通过随机选取W3C规范中的浏览器属性以及各个差别浏览器的特殊属性举行组合来判断客户端是否为真实的浏览器。
3) 高级工具 -- seleium + Webdriver
Webdriver是现在使用最多的前端自动化测试工具，它能够翻开一个真实的浏览器并通过脚原来举行操作。在识别这种高级工具时，我们需要通过监听操作事务来获取操作特征，好比：鼠标移动轨迹、按键频率等，判断是否为真人操作。
4) 专业工具 -- seleium + Webdriver + 模拟操作特征
在黑产专业工具中，攻击者一样平常会通过代码来模拟真人操作触发响应的事务，这种情形下，我们建议团结API，将网络到的操作特征数据，基于API举行聚类，来判断是否为真实的人工操作。
而在API情形下，上述通过下发JS来实现层层递进的自动化工具检测，有些场景却无法完成校验事情。经由研究挪用，现在发明了一种手艺手段可以对该类问题举行解决——将API挪用顺序，笼统为场景模子，团结营业的明确，标识意图为Bot的流量：
1) 基于Bot行为特征举行起源分类
利好Bot：搜索引擎、相助同伴、第三方服务
中立Bot：爬虫、不明意图机械人
恶意Bot：恶意谈论、垃圾邮件、价钱/库存爬虫、扫描器、恶意抢购
2) 将Bot行为及营业特征举行团结剖析
纪录Bot行动轨迹，团结网站营业特征来剖析机械人的行为特征。例如机械人会见的都是商品页面，照旧频仍地提交统一个/一组表单；或者是无意义的会见了许多404页面。
同时，可视化泛起种种已识别意图的会见轨迹、行为和特征属性，资助用户团结营业挖掘哪些营业是Bot最主要的目的，能够获取怎样潜在的利益。完成API情形下跟黑灰产的对抗及处置惩罚。
别的， WAF、API清静与Bot治理三位应用清静成员未来的关系，也是困扰咨询机构和海内外WAF大厂的一个问题。两家咨询机构Forrester和Gartner持有的意见各有着重，而Akamai、Imperva、F5三家曾作为leader象限的厂商，应对方法也不尽相同。究竟会融为一体、照旧组合成WAAP解决计划、或是自力保存，还需要随着手艺和情形的演进逐步获得统一。笔者团队也多次讨论过这个问题，我们更倾向于形成WAAP平台——支持WAF、Bot治理及API防护几个组件在公共资源、受限资源和内部资源间举行选择性安排，形成差别的防护品级，具备多种清静能力团结组合解决计划，为应用提供分层递进的清静系统架构。讨论的看法主要有：
1) 这两种防护能力是无法举行替换的，Bot治理虽然可以通过页面混淆使得扫描器无法扫描乐成，但它仅仅是一个针对机械人的迷宫，若是后面的数据没有一道着实的‘墙’在前面检测攻击，正凡人无需任何特殊技巧，可以直接绕开这种防护能力。
2) 妄想防护资源的视角差别，如前文所述，Bot治理是基于统一个域下差别营业类型举行治理的，如登录、运动、服务集等，而WAF则面向站点的开发语言和中心件。这会导致设置无法归一。
3) Bot防护的焦点在于治理，凭证Bot类型和运动情形，划分、分时调解，这是一款中度使用的产品，并应具备以下治理手段：
限流：最通用也是最温顺的一种方法。关于机械人操作者来说，只是网站的会见速率变慢了；但关于企业来说，是在不打草惊蛇的基础上，缓解了机械人造成的资源铺张、释放了服务器资源。限流步伐适用于第三方服务机械人、不明意图的机械人等类型。哪怕是扫描器类型的机械人，有些时间限流步伐都比直接封堵要越发适合。
诱骗：关于抱着特定目的而来的机械人，诱骗步伐很是适用。例如关于价钱爬虫，可以通过诱骗的方法，返回给爬虫一个过失的价钱，诱导竞争敌手设置过失的价钱。而此时竞争敌手完全意料不到自己获取到的是过失信息。
引流：当机械人流量太大以至于确实影响到了正常的营业流量时，可以通过引流的方法，把机械人流量都分流到空闲服务器或其他营业服务器上，从而缓解营业岑岭期的压力，为优质用户提供更好的用户体验。
提醒原站：此方法很是适用于营业逻辑重大的场景，阻止网关类型的装备过多地介入营业逻辑带来的设置难题。此时只需要告诉源站，哪些请求可能是机械人流量，由源站团结此信息来判断响应内容。例如优惠券抢购运动，通过提醒源站，源站可以给机械人流量返回高折扣的优惠券。这样既不会镌汰运动热度（点击率），又不会造成营业损失，为企业热门运动节约了本钱。
二次校验：类似于验证码机制，在有危害的情形下，增添二次验证，阻止正�？突в滴薹ň傩�，又增添了黑灰产进一步赚钱的难度。
因此，在适当的时机调解WAF、API清静及Bot治理产品的手艺妄想蹊径，举行WAAP的预研及devops情形的对接，应当可以在应用开发快速生长的未来，一连提供足够的清静�；つ芰�。
