九游老哥云
九游老哥科技“黑洞”ADS —— 二十年风雨兼程 ,十八载筑梦前行
2020-04-28
2002年10月25日，历经两年的手艺研究和产品开发，九游老哥科技“黑洞”正式面世。
在2005年之前，网络清静的相关执法还未出台，许多稍大一些的网站经�；崾艿胶诓睦账魍玻欢捅籇DoS，服务器瘫痪。正所谓“浊世出英雄”，危难时刻方显英雄身手。九游老哥科技在这时泛起，研发出针对其时主流 DDoS 攻击的防护产品——“黑洞”(Collapsar)。黑洞是中国第一款抗D产品，是这个细分品类的创立者和先行者，在黑洞之后才泛起了思科、Arbor等友商的同类产品。天文学上说，“黑洞的质量是云云之大，它爆发的引力场是云云之强，以至于任何物质都无法逃逸，哪怕是光”。
2020年是九游老哥科技20岁生日，也是黑洞的18岁生日。当被问到黑洞是怎样成为一款获得全球市场磨练和认可的产品时，九游老哥君脑海里不禁泛起了一部放映机，回放着一个个”黑洞”故事。
黑洞的生长史，就是当今DDoS攻击与防护的对抗史。
路，从那一天最先。
抵御“洪水”，“黑洞”降世
时间拖回到2002年，谁人时间海内大部分人照旧拨号上网，人们对网络清静的认知最多停留在杀软的层面，现在人们耳熟能详的种种硬件清静装备在其时照旧个新鲜玩意儿，至于“黑洞”这种抗 D专业装备，在其时就是个传说级的工具，只有清静专家才华搞清晰。
那时市面上没有黑洞的同类产品，许多时间，客户遭遇了DDoS攻击就会直接打电话找到九游老哥科技，希望借一台黑洞暂时顶一下。其时的九游老哥科技黑洞产品线司理——黑洞之父，更为准确的说是抗D之父叶晓虎博士，回忆起其时的情形：一最先黑洞组就几小我私家，欧怀谷、吴铁军、刘添怡、徐祖军等（现现在都已是手艺大神）经常是一边做着开发，一边做着手艺支持，叶博士就有时亲自扛着黑洞到用户机房，将装备装置上线、调试好。“许多服务器被DDoS攻击缠上后，7*24 小时，没完没了地打，服务器要么关机，要么在那里‘半死不活’，那些维护工程师很是头痛”，“只要黑洞一上线，服务器就活了，效果很是显着”，“就由于我们资助解决攻击，以前都是用户请我用饭的”。
早期的黑洞最多只能处置惩罚10Mbps巨细的流量，现在看来很低，但在其时Modem 拨号速率只有14kbps-56kbps 的年月，黑洞的处置惩罚能力已是海量，而现在的黑洞ADS已经具备单机240G、单集群上T的洗濯能力。
图1 早期黑洞的照片
黑洞上市后很长一段时期里， “黑洞” 就是抗D产品代名词，甚至在一些主管机构文章中，就直接把抗D产品称为“黑洞”。那时，黑洞就等同于抗DDoS 手艺。
许多网友会在网站上揭晓自己对黑洞、对抗D算法的明确。例如，有人讨论黑洞的反向探测手艺， 写到 ：“黑洞一直向流量来的偏向发送大宗的反向数据，将攻击报文困绕祛除掉……文中形貌的黑洞，给人感受不像是一台网络清静装备，更像是一台正负粒子对撞机，制造正负质子的对撞和湮灭。事实上，黑洞确是有反向探测手艺的（现已经是果真的手艺），可是无法像论坛帖子上所述，可通过反向的数据包祛除发送过来的 DDoS报文，黑洞只是通过反向探测手艺来区分正�；蚨褚饬髁�。
除去这些轶闻趣事，网络上照旧会有许多对黑洞的研究。其时一些论坛上，有人宣布自己的发明，宣称找到了黑洞的弱点，好比，有人反推黑洞的抗 D算法，然后钻研在黑洞防护下的绕过方法。面临这些挑战，黑洞组的同事们大多一笑而过，但也有个体，让各人感受到真正的威胁。
这其中，最著名的应该就是 CC 攻击了。
Challenge Collapsar，黑洞迎接CC挑战
CC 攻击的全名—Challenge Collapsar，翻译过来就是挑战黑洞。
挑战的因由是一次未如约举行的面试，叶博士其时因一些突发缘故原由没能面试 Qaker，于是 Qaker 含怒笃志苦研，宣布了专门针对黑洞Collapsar 的 CC（Challenge Collapsar）攻击。谁都未曾想到，以后CC攻击（以及厥后的CC变种）给中国以致天下互联网清静带来恒久困扰。
棋逢能手甚欢喜，面临突如其来的新型 DDoS 攻击，黑洞组的同事们泛起缕缕厦烀，丝丝紧迫。在叶博士向导下，黑洞组开启自虐模式，潜心剖析 CC 攻击表象及原理，并结适用户情形一直推演计划，力争防护的同时对营业的影响降到最低。设定计划、推演计划、批判计划、确立计划，理论逐渐完整，最终，黑洞对CC攻击的洗濯能力获得普遍认可。
或许是不打不相识，抑或是相互浏览，厥后叶博士和Qaker成为朋侪，经常一起探讨新型攻击的原理和对抗方法。坚持兴旺的激情，形成清晰科学解决问题的逻辑系统，相识黑客所思所为，夯实要害手艺实力，是成绩全球着名清静产品的先决条件。魔高一尺，道高一丈。虽然 CC 攻击的生长危害了互联网清静，但它也引发了我们网络清静职员应对种种攻击的斗志。
DDoS的生长史就是黑洞演进史
算法是黑洞的名贵资源，是产品的焦点竞争力之一，它主要泉源于手艺研究和实战积累。
对客户而言，攻击是否能防�。凳欠袷苡跋焓侨ê庖豢羁笵产品的主要指标。若是攻击来了营业却掉线了，界面再悦目的产品也是缺乏格。有时间，防护算法一个字节的差别，就可以使整个防护效果差之千里。攻防算法的提升没有太多的套路可循，若是没有时间和大宗的客户积累，信托黑洞也无法抵达其现在的防护能力。从这点来说，黑洞的生长应该至心谢谢那些使用它的用户。
DDoS的生长史，就是黑洞的演进史，我们团结DDoS手艺演进时间线，将DDoS攻击大致分为几个阶段：
第一阶段，虚伪源DDoS攻击
早期的DDoS以虚伪源攻击为主，简朴粗暴但极为有用，谈天室聊着聊着可能就“死了”。这类攻击一样平常由工具或者仪表结构爆发，由于其源IP虚伪而无法响应黑洞探测报文的属性，一样平常古板的TCP-Flood防护算法就能够很好的洗濯此类攻击，这块已经没有太多的手艺门槛。
再厥后，ISP也最先在网络接入层面启用URPF战略（注，URPF是一种单播反向路由查找手艺，用于避免基于源地点诱骗的网络攻击行为，主要在网络接入层面启用），以期从大网架构层面直接过滤虚伪源攻击。从我们的统计数据来看，URPF起到了一定效果，但仍有丧家之犬，近几年虚伪源Flood依然是DDoS攻击主要组成（拜见九游老哥科技历年DDoS威胁报告）。
现实上，虚伪源DDoS攻击也并不是各人想象的那么“简朴”。攻击者也在一直思索、刷新和实践虚伪源攻击的实战效果，由于这种攻击的”开销”着实是太低了，若是能以低本钱的方法打倒对方，又何须去兴师动众发动更重大、更高本钱的攻击（攻击ROI）？以至于在DDoS攻防对抗史中，泛起了一些增强型虚伪源DDoS，也可以简朴明确为第一代DDoS的Plus版本。
举个例子，或许在2010年，我们发明攻击者打出的虚伪源攻击不再全随机源了，而是将攻击源IP伪造为真实服务器的地点段，好比伪装为某省某服务商的地点段，当黑洞去探测这些源IP真实性的时间，就很可能误认这些IP是真实保存的，从而探测算法失效，服务器瓦解，同时，这些服务商还被流量反射了，攻击者可谓一箭双雕，从另外一个角度讲，这也算最早期的DDoS反射攻击，更早于名震四方的的NTP反射。
当看到这些增强版攻击的时间，黑洞组的同事们都会异常兴奋，今夜研究对策，提升黑洞防御能力。
第二阶段，针对着名协议，DDoS真实源攻击
CC攻击的重大改变在于，它不再简朴使用虚伪源提倡攻击，而是使用真实源（好比网上的署理服务器），对 Web 服务器提倡攻击（HTTP），以耗尽服务器资源。现现在，CC攻击（最早期的CC攻击是HTTP Flood）已有很是成熟的算法应对，好比，黑洞现已经内置9种CC防护算法。
广义上的CC攻击，应该还包括HTTPS 攻击、慢速攻击、毗连耗尽、空毗连攻击等，万变不离其宗，它们都有一个配合点，就是使用真实源提倡攻击，攻击者使用真实源可追随协议栈行为的特点，使得防御难度加大。
但着名协议（如HTTP、DNS）有一个利益，就是各人可以通过研究果真的RFC文档去相识协议的每一个细节（黑洞组员癖好之一：喜读RFC。九游老哥科技的手艺职员发明的不少抗D算法，就是在业余时间读RFC爆发的灵感），而DDoS攻击和防御的平衡点往往就在毫厘之间，一点就破，不点破就会以为很高深，其中也有多种算法被友商通过种种途径验证、学习并吸收。
为一连坚持攻/防之间的这一点差别，一方面黑洞的手艺职员潜心举行理论研究，坚持算法先进性，好比在2012年，黑洞就已完全内置IPv6多种DDoS防护算法，提供v4/v6双栈防御能力，又好比近期火热的5G DDoS，我们也做了大宗手艺储备；另一方面，我们也会坚持与前线（九游老哥工程线/营业线同事、客户等）信息、实战的关注，紧跟攻击转变趋势。知己知彼，方能立于不败之地。
除了CC，照旧有一些攻击，是曾让我们担心的。
第三阶段，针对私有协议，DDoS真实源攻击，SDK防护算法的降生
关于DDoS防护装备，任何无法解码的流量都可以以为是私有协议流量，极难防御。着名协议各人还可以通过审查剖析RFC，寻找蛛丝马迹，但扑面临私有协议流量的时间，各人两眼一抹黑，除了限速不知道怎么办了，泛起了攻守不平衡的时势。
或许在2012 年，黑洞为腾讯其时最火爆的某款游戏（那时间还没有王者荣耀）提供抗D防御——吸金的营业往往都会招来重大且有针对性DDoS攻击。那段时间，黑洞组和腾讯清静中心的专家们（creativeLiu、jerrybai、cchen、junjunluo，现在都已是大佬）苦不堪言，但同时又很亢奋，经常探讨到深夜。攻击者的思绪、手法都很是高明，许多高阶攻击手段都被用上，这样的敌手难堪一见，一度让我们嫌疑攻击是“内行团伙”提倡——我们也把这类攻击叫做游戏CC。
那段时间，我们先后发明了营业自学习Self-learning、XX-Retrans等新算法，乐成应对了攻击。
可是俗话说，不怕贼敲门，就怕贼惦记。几个月后，算法被突破，游戏又最先泛起掉线的情形。
图2 2019年九游老哥科技DDoS威胁报告——攻击惯犯的数目占比
游戏CC，是否尚有更好的应对计划？那段时间各人激情碰撞，今夜讨论，终于，我们配合发明了私有协议DDoS防护的最终解决步伐(之一)——SDK防护算法，黑洞上面叫水印算法。水印算法，顾名思义，也就是客户端在发送营业流量之前，凭证黑洞提供的SDK，将水印嵌入到营业流量中，当流量经由黑洞时，黑洞凭证水印举行识别，抵达精准洗濯的效果。这一手艺的问世，解决了许多无状态敏感营业（如，游戏、金融等）要求零误杀、低时延的业界难题。
第四阶段，超大反射攻击的泛起，泛起攻守资源不平衡的时势
2014年，一起峰值抵达400Gbps的NTP反射攻击震惊全球网络，它使得原本小众的DDoS攻击进入通俗人们的视野，超大反射攻击的泛起，从基础上改变了 DDoS 对抗名堂。
图3 2017九游老哥科技DDoS威胁报告—反射攻击流量趋势图
2016年，可谓热闹特殊。这一年的9月19日，OVH声称遭受了一起来自 145607个网络视频监控装备提倡的峰值最高800Gbps的DDoS攻击。
紧接着9月20日，KrebsonSecurity遭受峰值达620Gbps的DDoS攻击。
10月，黑洞组团结九游老哥威胁情报中心（NTI）和九游老哥威胁响应中心，对外正式宣布《网络视频监控系统清静报告》，对此类DDoS攻击源头举行了深度剖析。
图4 2016年九游老哥科技网络视频监控清静报告
我们以为，这几起攻击均泉源于名叫Mirai的僵尸网络，据我们的统计，其时全球熏染Mirai的物联网装备数目累计凌驾200万，遍布全球90多个国家和地区。我们推算了一下，光这一僵尸网络就具备发动峰值凌驾1.5Tbps 的攻击能力。厥后2016年10月爆发的“北美大面积网络瘫痪”事务和11月爆发的“德国大规模用户断网”事务也相继印证了我们其时的这一看法。
当攻击者可以较低本钱的使用网上资源，将攻击规模提升到百 G 甚至上 T的级别，这是极为恐怖的，物联网等装备带来的清静问题给全球的网络清静防护都带来重大挑战。
清静生态相助
2015年最先，九游老哥科技陆续与电信云堤、腾讯云、阿里云、华为云、浪潮云等云服务商睁开相助，实现各清静领域的优势能力互补，强强团结打造抗D混淆洗濯等清静计划，为企业客户提供最佳防护计划。既可资助用户应对重大应用层混淆DDoS攻击，也可自动化应对突发的超大流量攻击。同时，黑洞也为各大云厂商的私有云客户提供强盛的外地DDoS防护能力，成为私有云整体解决计划的一部分。
买通天地，作育“云 - 地 -人 - 机”的立体防护系统
清静事务的偶发性，注定了产品不可能时刻都在客户眼前秀肌肉、显实力，只在要害时刻一显身手。可是，清静专家不是时时有、随处有；超大流量云端防御用度高，也有流量绕道爆发延时、第三方清静记挂等问题；清静装备不是谁都醒目，这些都是客观保存的问题。
怎样在要害时刻一显身手？九游老哥科技在许多年前，就已最先思索并践行解决这一难题，也就是业界熟知的 P2SO 战略。其中，黑洞系列产品就是该战略的践行者之一。
2015年，九游老哥科技宣布了以智能、迅速、可运营为焦点理念的智慧清静2.0战略，九游老哥抗D的整体解决计划的生长建设，也是围绕这个理念睁开。
图5 九游老哥科技智慧2.0
看得见的能力——九游老哥科技全球DDoS态势感知系统（ATM）
2016 年，黑洞组主导的九游老哥科技全球 DDoS 态势感知系统（ATM）开发完成。
基于该系统，我们可以实时清晰地视察到网络中实时爆发的海量 DDoS 攻击事务，能够第一时间知道：谁被打了？被谁打了？怎么打的？打了多久？等等多维信息，此系统也是“由被动响应变自动响应，由非实时酿成实时，由无数据酿成有数据”战略的一个有用实践。
现现在，九游老哥科技威胁情报中心NTI每年宣布的《DDoS威胁报告》，其中就有ATM的孝顺。记得有一年，我司情报与国际友商 PK 情报质量，其中有一个测试项就是PK恶意 IP数据质量，最终的效果是，九游老哥科技的情报质量在数目、准确性、新鲜度等方面具备显着优势。
智能、迅速、可运营
这个场景可能许多运营职员会有体会 ：深夜，某VIP客户遭受外洋黑客组织的大流量 DDoS 攻击，营业受到影响，客户紧迫报障后经由一系列工单流程，最终在攻击爆发后 20分钟找到对应后端运维部分，运维部分职员翻开电脑—上岸 4A系统—上岸装备—最终提倡流量洗濯指令。最后虽然黑洞乐成防御住攻击，但操作历程照旧偏长，客户的营业也已受损。同时，当客户营业正常的时间，客户也没有渠道看到自己的营业清静数据和态势情形。
为资助运营商做好清静增值运营能力建设，在运营商专家和九游老哥运营商事业部的指导资助下，黑洞组集中精英研发实力，一鼓作气迅速研发出九游老哥流量洗濯营业运营系统 ADBOS（Anti-DDoS Business Operation System），解决了若干已往抗D增值运营的痛点，极大提升运营效率和客户感知，买通抗D增值运营最后一公里。
黑洞AI 出生
除了ADBOS系统，现实上我们还做了许多有意思有价值的事情，篇幅的缘故原由就不详细逐一睁开形貌。
图6 黑洞某平台架构图
如前所述，我们将DDoS攻击生长分为4个阶段，每一个阶段都有鲜明的特点，以及对应的最佳的防护战略，但许多战略都是需要人为设置干预的，黑洞是否可以自己去天生DDoS算法、调解战略应对攻击呢？谜底是，可以，并且我们的实践效果还不错。
2016年，在叶博士以及九游老哥系统架构部的资助指导下，我们发明了一种新的抗D要领/模子，叫做自顺应拟态遗传DDoS防护算法，时髦一点的叫法就是AI抗D。
该算法主要使用黑洞防护历程数据举行训练，天生动态攻击防护模子库，在防护历程中凭证流量模式自动盘算最佳防护战略和参数，由机械自己去判断哪些流量或许率是攻击，哪些是营业，实现攻击流量高速精准识别和洗濯。同时，云端可在线更新攻击样本库和信誉数据库，同步到洗濯平台和装备，实现“一处被打，多处联动”的云化预警和防护机制，大大提高DDoS 攻击的检测和洗濯效率。
别的，为提升运营效率，我们将动态相似性聚类算法和自动协同防护模子引入到一样平常运维事情中， 基于动态聚类的流量检测及牵引联动模子，在古板的正常流量建�；∩希牍セ魇菥傩薪＃沟煤Ａ坑没Э删傩凶远劾喾肿椋⑼沤�“流量监控+受�；し�”多维检测机制，配合智能研判实现数据流的自动牵引与回复， 当有主机受到攻击时，具备流量相似性及受攻击相似性的同聚类组其它主机也可预先进入防护准备状态。通过这一系列要领和手段，每一台黑洞的洗濯精度和准确度，就可以在实战中一直获得增强，无需人工介入。
2016年，基于九游老哥黑洞ADS、ADBOS平台以及多项专利防护算法等效果，九游老哥科技和广东电信客户团结申报并获得了广东省科学前进三等奖。2018年，基于ADBOS平台的北京移动洗濯项目成为工信部的电信和互联网行业网络清静试点树模项目，并在 2019 年工信部试点树模项目推介会上与各级主管机构，各行业客户等举行履历交流。
现实上，不但是在运营商行业，黑洞在金融、游戏、政企、教育等行业均有最普遍的安排和应用，获得客户普遍认可。凭证第三方剖析机构 Frost&Sullivan 在2019 年 最 新 发 布 的《DDoS China Market Ranking Statement,CY2018》 和《DDoS Greater China Market Ranking Statement，CY2018》两份市场报告 ：九游老哥抗拒绝服务系统 ADS（黑洞） 以市场占有率 21.2% 和 15.5% 的份额，名列大中华区及中国地区双第一。这也是黑洞在该报告中一连五年排名第一。
图7 黑洞若干获奖图
在外洋市�。庞卫细缈萍己诙匆彩栈褚恢�。2017 年 3 月，英国伦敦智能混淆 DDoS 防御解决计划提供商 NSFOCUS 被授予“2017 年欧洲 IT ＆软件（www.iteawards.com）年度最佳清静解决计划奖。”与此同时，九游老哥科技也是“年度公共部分与公用事业解决计划”和“年度清静供应商”两项大奖的决赛入围者，这是九游老哥科技第一次同时入围三个国际清静奖项。
经由海内外九游老哥人的一直起劲，现现在九游老哥科技黑洞的国际客户名单中，已经不乏Telefonica、TM、AIS等国际大牌运营商，收获满满。
图8 部分九游老哥科技黑洞外洋客户
图9 九游老哥科技黑洞云洗濯(DPS)节点漫衍示意图
十八年，作为九游老哥科技产品中的一员，黑洞从其时只有10M洗濯能力的单机产品，生长到今天漫衍式机框和云化的黑洞，黑洞能力已全球无处不在，黑洞每分每秒都在为全球用户抵御攻击，包管用户营业清静。我们信托，过硬的手艺和服务是最终的营销手段，正如叶博士所说，已往打补丁、串葫芦的方法无法解决用户清静问题，需要对清静举行系统化的设计和落地。九游老哥科技始终坚持对最佳清静实践的关注，一连对海内外先进的清静架构举行跟踪研究，将最新的研究效果和实战履历，实现在智能清静运营平台及相关的产品上，为客户提供优质的产品和计划。
最后，祝九游老哥科技 20 岁生日快乐！黑洞18岁生日快乐！
