编者按
数字化浪潮蓬勃兴起,企业面临的安全挑战亦日益严峻。
腾讯安全近期将复盘2022年典型的攻击事件,帮助企业深入了解攻击手法和应对措施,完善自身安全防御体系。
本篇是第六期,讲述了某企业NAS系统数据被删除,始终找不到幕后的始作俑者;在腾讯安全应急响应专家团队抽丝剥茧之下,最终还原了数据消失的真相,及时止损并阻止了危机的进一步蔓延。
9月8日,一个平常的工作日,某企业IT部门员工们同往常一样,坐在电脑前处理工作。中午一点左右,正是午饭后小憩的时刻。而此时,部门所使用的共享存储系统NAS存储上的数据,突然开始被一只看不见的手逐条删除。
下午3:00,系统运维人员监测到某个系统内文件读取不到,开始有所察觉。而这时,被删除的文件已达到1.8T之多。
在发现的时刻,删除行为就在眼皮底下明目张胆地继续。但他们只能眼睁睁看着系统里的数据持续消失,却不知道如何中止,事急从权,安全工程师只能先断开NAS存储的网络连接进行紧急止损。
这种现象不是第一次发生。早在4月,该部门就遭遇过几乎一模一样的删除行为,当时动用了大量人力时间进行排查,最终一无所获,案件悬置至今。
“必须尽快找到问题源头,才能彻底杜绝这类事故重复发生。”
问题很棘手,他们决定引入“外援”。9月9日上午,该企业向腾讯安全服务应急响应中心提出支援需求。腾讯安全服务应急响应中心判断事态重大,技术负责人Phon二话没说,带着团队一行四人奔赴高铁站,第一时间赶到客户现场。
被清空的151服务器
下午两点多,四人赶到现场,一边了解了基本情况,一边开始着手摸排。看到服务器的配置时,Phon心里咯噔一响:没安装安全软件,也没有日志归类产品,这意味着排查的难度将会成倍增长。只能用最“笨”的办法,从数百十服务器中逐一排查。
在紧张的排查中,一台代号为151的服务器引起了腾讯安全服务团队的关注。在151里,除了监测到的服务器上被删除的数据外,151本身web目录下的各类文件包括访问日志都被一并删除——这有点“此地无银三百两”的意思了。
应急团队提出大胆猜测:网络黑客是利用151进行侵入,为了避免追根溯源,才将服务器的访问日志删除。他们将日志进行了手动恢复,接下来就是还原黑客是如何绕过层层严密的防护进入151服务器的,由于可用的线索少得可怜,一切只能靠经验判断。根据过往的经验,Phon和团队成员提出了几种对入侵途径的猜测,他们像侦探一样做起了沙盘推演,并针对每一种推测的路径、可能留下什么痕迹来反向论证。
“找到了一些看起来有用的数据,可惜仔细筛查一看,没有什么实际有效的信息。”让人沮丧的是,四种猜测最终都走到了死胡同。
此时,每天还有大量用户在访问系统、办理业务,无奈之下 ,安全团队对系统进行了“战时手术”:将NAS存储设为只读状态重新挂载,临时让部分业务正常运转,也控制住了删除行为的再蔓延。数据删除没有进一步发展,日常业务也能勉强继续进行,这为安全团队解决问题也赢得了一些时间。
破局:不存在的黑客
谁能够做到如此精准地删除NAS上的数据,而又能不留下一丝痕迹?碰壁多次的团队,士气有些低迷。
“明天是中秋节,大家打起精神,争取今晚解决战斗,明晚赶回家吃个团圆餐。”Phon给团队打气。
凌晨一点,客户偌大的办公楼只有他们所在的这片区域灯火通明,四位成员逐一复盘以往处理过的类似应急案例,希望能够找到一点突破口。他们历史上处理过很多棘手的案例,有一条准则是深信不疑的:凡走过必留下痕迹。对于这样一支经验丰富的专家团队而言,他们有足够的自信,问题最终都会解决,无外乎是花费的时间多少。
Phon带着团队将材料一直翻回到去年,在某个堡垒机相关的案例上,成员们似乎嗅到了熟悉的气息。“我们一直默认这些数据是被黑客有意识地删除,但假如根本就没有黑客呢?”
当机立断,成员们一道前去验证猜想。几台机器同时开启,搭建复现环境、进行复现操作……大家迅速投入工作中去。9月10日凌晨五点,复现工作进展到末尾。最终,猜想得以验证,问题出现在堡垒机上,没有黑客攻击,是一系列复杂条件聚合在一起触发自我清理机制。
复现结果出来后大家一阵欢呼,所有人的脸上都洋溢出如释重负的喜悦神情。客户部门领导员工们相互击掌,向Phon团队成员道谢,一个困扰了他们半年之久的问题就这样解决了。
他们乘坐最早一班的高铁回到了深圳,由于当天没有紧急事项,4个人都调休了一天。Phon安排好了当天的工作,大睡了一觉,直到晚餐时间家人把他叫醒。
电视里正在播放中秋晚会——大概率,腾讯安全的另一些同事也正在为这台晚会直播做安全重保。
新的帮手
对于Phon团队来说,这是他们又一次“救火”,这样的应急响应他们已经处理了无数次。一次又一次应急响应下来,他们发现,很多安全事故的发生并不是因为高精尖的黑客攻防对抗,而是出于一些常见的配置错误、弱口令等等问题,而这样的错误需要花费很大的代价去发现和修正。
有没有更好的办法可以减少这类事故的发生,以及如何将专家经验做有效的传承,让一些缺乏专业安全人才的企业经过一些培训或者在富有经验的专家远程指导下,也能处理紧急情况?
Phon所在的云鼎实验室日常负责腾讯云及云租户做安全保障,需要处理大批量安全漏洞、攻击行为,在这个过程中,他们沉淀了一套规模化应用的标准化、自动化能力。这两年,云鼎和腾讯专家服务团队一起,尝试将专家工作方法和自动化的能力结合,沉淀成安全托管服务(MSS)。通过腾讯安全托管服务,企业日常安全工作复杂度极大降低,服务流程可查看、服务人员可管理、服务过程可跟踪,解决了传统安全建设中“过程不可见”和“结果不可控”的问题。在安全事件根因溯源排查中,MSS极大地降低了检索难度。
当前,腾讯安全托管服务MSS已成功应用到政府机构、泛互联网、医疗行业、零售行业、金融行业及轨道交通等多个行业,为它们提供安全保障。
而Phon,他们在节假日依然要响应客户的征召,不过有了MSS,他们通宵达旦的情形已经越来越少了。