【全文精译】Smashing the state machine: the true potential of web race conditions
原文:Smashing the state machine: the true potential of web race conditions
作者:PortSwigger Research | 发布:2023-08-09 | 来源:PortSwigger Research | 
本文为全文中文精译,保留原文结构与配图,仅用于学习研究。

核心点总结

Web竞态条件的真正潜力远超限额超支:利用单数据包攻击消除网络抖动,攻击HTTP请求处理中的瞬态子状态,可实现邮箱验证绕过、邀请劫持等高危利用。

  1. 传统竞态条件利用集中于限额超支(TOCTOU),如重复兑换礼品卡、复用折扣码,本质是利用安全检查与受保护操作之间的时间差。
  2. 核心洞察:HTTP请求处理并非原子性,单个请求会使应用经历多个短暂隐藏状态(子状态),竞态条件下一切都是多步骤的。
  3. 单数据包攻击借鉴Timeless Timing Attacks,利用HTTP/2将20-30个请求的末尾帧挤入单个TCP数据包,执行窗口偏差中位数仅1毫秒,而last-byte sync为4毫秒。
  4. 实现要点:预发送请求主体但扣留END_STREAM或最后一字节,禁用TCP_NODELAY让Nagle算法合并末尾帧,先发ping预热连接,全部帧落入同一数据包。
  5. 黑盒方法论:识别共享状态对象及其读写端点,用三个问题(状态存储位置、编辑还是追加、操作以什么为键)预测碰撞可能,再基准测试后用单包攻击探测异常线索。
  6. GitLab对象遮蔽案例:并发发送6个相同邀请请求产生两封邮件,利用竞态创建低权限邀请被撤销时替换为管理员邀请。
  7. GitLab单端点碰撞:并发POST /-/profile 将邮箱改为两个地址,确认邮件收件地址与正文中地址不一致,有效确认令牌被误发,可验证任意邮箱(CVE-2022-4037)。
  8. 根因是Devise的Confirmable.rb:邮件收件人直接取自send_devise_notification参数,而正文confirmation_link由模板引擎从数据库回读,两者之间存在竞态窗口。
  9. 多端点攻击需请求错开处理时间:可延迟90毫秒发送,但此时无法用单包攻击;可滥用服务器漏桶速率限制制造服务端延迟保持单包可行性。
  10. 防御建议:避免混合不同数据源数据、用单数据库事务使敏感状态变更原子化、利用唯一性约束、不用一个数据存储层保护另一个、保持会话处理内部一致。

长期以来,Web竞态条件攻击一直集中在极少数场景上。由于复杂的工作流程、工具的缺失,以及简单的网络抖动掩盖了除最简单、最明显示例之外的一切,其真正潜力一直被遮蔽。

在本文中,我将介绍一些新类型的竞态条件,它们远远超越了你可能已经熟悉的限额超支(limit-overrun)利用。利用这些技术,我将对多个知名网站以及Rails的流行身份认证框架Devise进行攻击。

我还会介绍单数据包攻击;这是一种规避抖动的策略,可以把从墨尔本发送到都柏林的30个请求挤压到一个不到1毫秒的执行窗口内。本文附带一整套免费的在线实验环境,你可以立即尝试你新掌握的技能。

本研究论文伴随在Black Hat USA、DEF CON&Nullcon上的演讲:

本文还提供适合打印/下载的PDF格式。

目录

背景

竞态条件基础

首先,让我们回顾一下竞态条件的基础知识。我会尽量简短——如果你想深入了解,请查看我们全新的Web安全学院专题。

大多数网站使用多线程处理并发请求,所有线程都读写同一个共享数据库。应用程序代码在编写时很少考虑并发风险,因此,竞态条件困扰着整个互联网。利用方式通常是限额超发攻击——即使用同步请求突破某种限制,例如:

这些问题的根本原因也类似——它们都是利用安全检查与受保护操作之间的时间差。例如,两个线程可能同时查询数据库,确认TOP10折扣码尚未应用到购物车,然后都尝试应用折扣,导致折扣被应用两次。
正因如此,这类问题通常被称为“检查时与使用时”(TOCTOU)缺陷。

请注意,竞争条件并不局限于特定的Web应用架构。以多线程单数据库应用来理解最容易,但更复杂的设置通常会将状态存储在更多地方,而ORM只是在抽象层之下掩盖了这些危险。像NodeJS这样的单线程系统暴露程度稍低,但仍可能存在漏洞。

超越限制溢出类漏洞利用

我曾以为竞态条件是一个被充分理解的问题。我发现并利用过大量竞态条件,在Turbo Intruder中实现了“last-byte sync”技术,并用它利用了多个目标,包括Google reCAPTCHA。随着时间的推移,Turbo Intruder已成为寻找Web竞态条件的事实标准工具。

然而,有一点我一直没有搞明白。Josip Franjković在2016年的一篇博文中详述了四个漏洞,其中三个对我来说完全说得通,但有一个不是。在那篇文章中,Josip解释了他如何“不知怎么意外地成功确认了一个随机电子邮件地址”,而且他和Facebook安全团队当时都没能找出原因,直到两个月后才发现。这个漏洞是什么?同时将你的Facebook电子邮箱地址更改为两个不同的地址,可能会触发一封包含两个不同确认码的邮件,每个地址各对应一个:

/confirmemail.php?e=user@gmail.com&c=13475&code=84751

我以前从未见过这样的发现,它让我所有对服务器端可能发生了什么的想象都徒劳无功。有一点是肯定的——这不是一个限制溢出问题。

七年后,我决定尝试弄清楚当时到底发生了什么。

Web竞态条件的真正潜力

竞态条件的真正潜力可以用一句话概括。每个渗透测试人员都知道多步骤序列是漏洞的温床,但有了竞态条件,一切都变成了多步骤。

为了说明这一点,让我们为我前段时间偶然发现的一个严重漏洞绘制状态机。当用户登录后,会看到一个“角色选择”页面,其中包含一系列按钮,这些按钮会分配一个角色并重定向到特定应用。请求流程大致如下:

POST /login 302 Found
GET /role 200 已找到
POST /role 302 已找到
GET /application 200 OK

在我脑海中,用户角色的状态机是这样的:

我尝试通过从角色选择页面不选择角色而直接强制浏览到一个应用来进行权限提升,但这样做没有成功,于是我断定它是安全的。

然而,这个状态机存在一个错误。我错误地假设GET /role请求不会改变应用状态。实际上,该应用在初始化每个会话时都赋予管理员权限,然后在浏览器获取角色选择页面时立即覆盖这些权限。以下是准确的状态机:

通过拒绝遵循到/role的重定向并直接跳转到应用,任何人都可以获得超级管理员权限。

我只是凭极大的运气才发现这个问题,并且花了数小时回溯日志才弄清原因。坦率地说,这种漏洞模式非常奇怪,但我们可以从这次险些中招的经历中学到有价值的东西。

我的主要错误在于假设GET请求不会改变应用状态。然而,还有一个更常见的假设——“请求是原子的”。如果连这个假设也抛弃,我们就会意识到这种模式甚至可能发生在单个登录请求的过程之中:

这个场景抓住了“在竞态条件下,一切都是多步骤的”这一本质。每个HTTP请求都可能使应用经历多个转瞬即逝的隐藏状态,我将其称为“子状态”(sub-states)。如果时机把握得当,你就可以利用这些子状态实现非预期的状态转换、破坏业务逻辑,并完成高影响利用。让我们开始吧。

单数据包攻击

子状态是应用在处理单个请求时经历的一种短暂状态,在请求完成之前便会退出。子状态仅被占用一个很短的时间窗口——通常约为1毫秒(0.001秒)。我将把这个时间窗口称为“竞态窗口”。

要发现一个子状态,你需要一个初始HTTP请求来触发经过该子状态的转换,以及第二个请求在竞争窗口期间与同一资源交互。例如,要发现前面提到的漏洞,你需要发送一个登录请求,以及第二个尝试访问管理后台的请求。由于网络抖动的存在,竞争窗口很小的漏洞在历史上极难发现。抖动会无规律地延迟TCP数据包的到达,使得多个请求难以紧密地同时到达,即使使用last-byte sync等技术也是如此:

为了寻找解决方案,我开发了“单数据包攻击”。使用这种技术,你可以让20-30个请求同时到达服务器——不受网络抖动的影响:

我在开源Burp Suite扩展Turbo Intruder中实现了单数据包攻击。为了对其进行基准测试,我从墨尔本向17000公里外的都柏林反复发送一批20个请求,并测量每批中第一个和最后一个请求的执行开始时间戳之间的间隔。我已将基准测试脚本发布在examples文件夹中,供你自行尝试。

技术 中位偏差 标准差
末字节同步 4毫秒 3毫秒
单数据包攻击 1毫秒 0.3毫秒

按这些指标衡量,单包攻击的有效性是它们的4到10倍。在复现一个真实漏洞时,单包攻击在大约30秒后即告成功,而末字节同步则耗时超过两小时。

这样做还有一个很好的附带效果:我们得以推出一个包含具有真实竞争窗口实验的Web Security Academy专题,而不会让那些远离我们服务器或连接抖动较大的用户望而却步。你可以使用single-packet-attack.py Turbo Intruder模板来完成我们的限制超额实验,亲自体验单包攻击。该实验的竞争窗口非常小,使用多数据包几乎不可能利用成功。在Burp Suite中,你也可以通过Repeater里新增的”并行发送分组”(Send group in parallel)选项来使用它。

让我们来看看其内部原理。

开发单数据包攻击

单数据包攻击的灵感来自2020年USENIX的演示Timeless Timing Attacks。在该演示中,他们将两个完整的HTTP/2请求放入单个TCP数据包中,然后通过响应顺序来比较服务器端处理这两个请求的时间:

这是HTTP/2带来的一种新可能性,因为它允许HTTP请求通过单个连接并发发送,而在HTTP/1.1中它们必须按顺序发送。

使用单个TCP数据包完全消除了网络抖动的影响,因此这显然在竞态条件攻击方面也有潜力。然而,由于服务器端的抖动——由CPU争用等不可控变量引起的应用程序请求处理时间变化——仅靠两个请求不足以实现可靠的竞态攻击。

我发现有机会借鉴HTTP/1.1“last-byte sync”技术中的一个技巧。由于服务器只有在认为请求完整时才会处理它,也许通过在每个请求中保留一小部分,我们可以预先发送大部分数据,然后用单个TCP数据包“完成”20-30个请求:

经过几周的实验,我构建了一个在所有测试过的HTTP/2服务器上都能运行的实现。

自己动手实现

说实话,这个概念非常显而易见,而且在我实现之后,我发现早在2020年就有人提出过相同的想法,但当时没有人注意到,他们的算法和实现也没有得到证明其真正价值所必需的打磨、测试和集成。我之所以对单包攻击如此兴奋,是因为它强大、通用且简单。即使花了数月时间改进它以适用于所有主流Web服务器,该算法仍然简单到可以写在单页纸上,而且实现起来非常容易,我预计它最终会被所有主流Web测试工具采用。

它之所以如此容易实现,主要归功于对Nagle算法的创造性滥用——它不需要自定义的TCP或TLS协议栈。你只需选择一个HTTP/2库来接入(相信我,自己编写并不好玩),然后应用以下步骤:

首先,预先发送每个请求的主要部分:

  • 如果请求没有主体,发送所有标头,但不设置END_STREAM标志。扣留一个设置了END_STREAM的空数据帧。
  • 如果请求有主体,发送标头和除最后一个字节外的所有主体数据。
    扣留一个包含最后一个字节的数据帧。

你可能会想直接发送完整主体并依赖不发送END_STREAM,但这在某些使用content-length标头来判断消息是否完整的HTTP/2服务器实现上会出问题,而不是等待END_STREAM。

接下来,准备发送最后的帧:

  • 等待100毫秒以确保初始帧已发送。
  • 确保TCP_NODELAY已禁用——Nagle算法将最后的帧合并成批这一点至关重要。
  • 发送一个ping数据包来预热本地连接。如果不这样做,操作系统网络栈会把第一个末尾帧放入单独的数据包中。

最后,发送被扣留的帧。你应该能用Wireshark验证它们落在同一个数据包中。

这种方法在所有测试服务器上的所有动态端点上都有效。它对某些服务器上的静态文件无效,但由于静态文件与竞态条件攻击无关,我没有尝试寻找变通方案。在Turbo Intruder中,静态文件的特殊情况会导致时间戳为负,因为响应在请求完成之前就已收到。这一行为可以用作测试文件是否为静态文件的方法。

如果你不确定基于哪个HTTP/2实现来构建,我认为Golang的实现可能是个不错的选择——我过去见过它被成功扩展用于高级HTTP/2攻击。如果你想看Kotlin的参考实现,可以随意使用Turbo Intruder。相关代码可以在SpikeEngine和SpikeConnection中找到。

适配目标架构

值得注意的是,许多应用位于前端服务器之后,这些服务器可能会决定通过已有连接将某些请求转发到后端,并为其他请求创建新连接。

因此,重要的是不要将不一致的请求计时归因于应用行为,例如一次只允许单个线程访问资源的锁定机制。此外,前端请求路由通常是基于连接进行的,因此你可以通过执行服务器端连接预热——在执行攻击之前通过你的连接发送几个无关紧要的请求——来平滑请求计时。你可以在我们的多端点实验中亲自尝试这一技术。

方法论

既然我们已经确立了“一切都是多步骤的”,并开发了一种能够实现精确请求同步、使竞态条件可靠化的技术,是时候开始挖掘漏洞了。经典的限制超限漏洞可以通过简单的方法论发现:确定一个限制,然后尝试突破它。而为更高级的攻击发现可利用的子状态就没那么简单了。

经过数月的测试,我总结出了以下黑盒测试方法论来提供帮助。即使你能访问源代码,我也建议使用这种方法;根据我的经验,纯粹通过代码分析来识别竞态条件是极其困难的。

预测潜在碰撞

预测是为了效率。由于一切都是多步骤的,理想情况下我们应该测试整个网站上每个端点的所有可能组合。这并不现实——相反,我们需要预测漏洞可能发生的位置。一个诱人的做法是简单地尝试寻找本文后续所述漏洞的复刻——这既轻松又简单,但你会错过令人兴奋的、未被发现的变体。

首先,识别具有你想要绕过的安全控制的对象。这通常包括用户和会话,以及一些业务特定的概念,如订单。

对于每个对象,我们需要识别所有向其写入数据、或从中读取数据并将其用于重要用途的端点。例如,用户可能存储在一张数据库表中,该表会被注册、个人资料编辑、密码重置发起和密码重置完成所修改。此外,网站的登录功能在创建会话时可能会从用户表中读取关键数据。

竞态条件漏洞需要一次“碰撞”——即对共享资源的两个并发操作。我们可以使用三个关键问题来排除不太可能产生碰撞的端点。对于每个对象及其关联的端点,请问:

1)状态是如何存储的?

存储在持久化服务端数据结构中的数据最适合利用。有些端点将其状态完全存储在客户端,例如通过发送JWT邮件实现的密码重置——这类可以安全跳过。

应用程序通常会在用户会话中存储一些状态。这些状态通常在一定程度上受到保护,免受子状态影响——稍后详述。

2)我们是编辑还是追加?

编辑现有数据的操作(例如更改账户的主邮箱地址)具有大量潜在的冲突可能,而仅仅是向现有数据追加内容的操作(例如添加一个额外的邮箱地址)除了超限攻击外不太可能存在其他漏洞。

3) 操作以什么为键?

大多数端点都在特定的记录上操作,该记录通过一个“键”进行查找,例如用户名、密码重置令牌或文件名。要实现成功的攻击,我们需要两个使用相同键的操作。例如,设想两个看似合理的密码重置实现:

在第一个实现中,用户的密码重置令牌存储在数据库的users表中,所提供的userid充当键。如果攻击者使用两个请求同时触发两个不同userid的重置,将会修改两个不同的数据库记录,因此不存在冲突的可能。通过识别键,你可以确定这个攻击大概率不值得尝试。

在第二个实现中,状态存储在用户的会话中,令牌存储操作以用户的sessionid为键。如果攻击者使用两个请求同时触发两个不同邮箱的重置,两个线程都会尝试修改同一个会话的token和userid属性,该会话最终可能包含一个用户的userid,以及一个发送给另一个用户的token。

探测线索

既然我们已经选定了一些高价值端点,接下来就该探测线索了——即隐藏子状态存在的提示。此时我们尚不需要造成有实际意义的利用——现阶段的目标仅仅是触发线索。因此,你需要发送大量请求,以最大化可见副作用出现的机会,并缓解服务器端的抖动。可以把它视为一种基于混沌的策略——如果看到有趣的现象,我们之后再弄清究竟发生了什么。

准备好你的请求组合,针对端点和参数以触发所有相关的代码路径。在可能的情况下,使用多个请求以不同的输入值多次触发每个代码路径。

接下来,通过每隔几秒发送一次请求组合,来基准测试这些端点在正常条件下的表现。

最后,使用单数据包攻击(如果不支持HTTP/2则使用last-byte sync)一次性发出所有请求。你可以在Turbo Intruder中使用single-packet-attack模板,或在Repeater中使用“Send group in parallel”选项来完成。

分析结果并寻找任何与基准行为产生偏差的线索。这可能是一个或多个响应的变化,也可能是二阶效应,比如电子邮件内容不同或会话出现可见变化。线索可能很微妙且违反直觉,因此如果跳过基准测试步骤,你就会错过漏洞。

几乎任何东西都可能是线索,但要特别留意请求处理时间。如果比预期短,这可能表明数据被传递到了单独的线程,大大增加了存在漏洞的可能性。如果比预期长,则可能表明存在资源限制,或者应用程序正在使用锁定来避免并发问题。请注意,PHP默认对sessionid加锁,因此批处理中的每个请求都需要使用单独的会话,否则它们将被顺序处理。

证明概念

如果你发现了线索,最后一步就是证明概念并将其转化为可行的攻击。具体步骤取决于你尝试的攻击方式,但有一些通用的建议可能对你有用:

当你发送一批请求时,你可能会发现较早的请求对触发了易受攻击的最终状态,但后续请求将其覆盖/使其失效,导致最终状态无法利用。在这种情况下,你需要消除所有不必要的请求——对大多数漏洞的利用来说,两个请求就足够了。

将请求数降到两个会让攻击对时序更加敏感,因此你可能需要多次重试攻击或将其自动化。在几个目标上,我最终编写了一个Turbo Intruder脚本,用于反复触发邮件、从Burp Collaborator获取邮件,并提取并访问其中的链接。你可以在邮件提取模板中找到一个示例。

最后,别忘了提升影响!要把每个竞态条件视为一种结构性缺陷,而不是孤立的漏洞。高级竞态条件可以产生不寻常且独特的原语,因此获得最大影响的路径并不总是显而易见的。例如,在一个案例中,我发现同一个网站上的不同端点对我的邮箱地址是什么各执一词。在本次研究期间,由于忽视了一条利用途径直到漏洞被修补之后才注意到,我个人错失了约5千美元。

案例研究

让我们通过一些真实案例来观察该方法论和工具的实际运用。这些漏洞集中于与邮件相关的功能,因为我的首要目标是弄清那个神秘的Facebook漏洞。

首先,做个免责声明。在研究过程中,我通常通过自动化测试数万个网站来积累大量影响知名公司的案例。竞态条件不适用于这种规模的自动化,因此以下每个例子都来自数小时以手动为主的测试。好的一面是,这意味着我只测试了极少数有漏洞赏金计划的网站,把大量赏金留给了其他人。

通过限制溢出实现的对象遮蔽

我们先从Gitlab中的一个对象遮蔽漏洞开始。Gitlab允许你通过邮箱地址邀请用户来管理项目。我决定用六个相同的请求进行探测:

POST /api/…/invitations HTTP/2
...
{"email":"x@psres.net"}

为了建立基线,我按顺序发送这些请求,每个请求之间有小延迟。结果得到了六次{“status”:”success”}响应,以及一封邀请邮件。

接下来,我使用单包攻击同时发送这些请求。结果得到一个包含{“status”:”success”}的响应,五个返回{“message”:”The member’s email address has already been taken”}的响应,以及两封邮件。

六个请求收到两封邮件是一个明确的线索,表明我命中了一个子状态,值得进一步测试。响应的差异也是一个线索。请注意,如果我没有对Gitlab的基线行为进行基准测试,我就不会认为这五个”The member’s email address has already been taken”响应可疑。最后,还有一个二阶线索:攻击之后,任何编辑该邀请的尝试都会触发错误。

经过更多挖掘,我最终得到了一个低危漏洞。列出有效邀请的页面对于给定的电子邮箱地址只显示一个邀请。利用竞态条件,我成功创建了一个虚拟的低权限邀请,当它被撤销时会被一个管理员级别的邀请所替换。

这里的影响并不大,但它预示着更深层次问题的到来。

多端点碰撞

经典的多步骤漏洞利用可以为竞态条件攻击提供灵感。不久前在测试一个在线商店时,我发现我可以启动购买流程、支付订单,然后在加载订单确认页面前向购物车添加一件额外的商品——实际上等于免费获得了这件额外的商品。我们后来出于培训目的制作了该漏洞的一个复刻版本。

有文档记录了此攻击的一个竞态条件变种,它可能发生在支付和订单确认由单个请求完成的情况下。

在GitLab上,电子邮件非常重要。如果你能够“验证”一个不属于你的电子邮件地址,就可以通过劫持待处理的邀请来获得对其他项目的管理员访问权限。此外,由于GitLab充当OpenID身份提供方(IDP),这也可能被滥用以劫持那些盲目信任GitLab电子邮件验证的第三方网站上的账户。

购物篮攻击听起来可能与利用GitLab无关,但我发现在可视化之后,GitLab的电子邮件验证流程看起来非常相似:

也许通过在验证电子邮件地址的同时更改它,我可以诱使GitLab错误地将错误的地址标记为已验证?

当我尝试这种攻击时,我注意到确认操作总是在更改电子邮件之前执行。这表明更改电子邮件的端点在到达易受攻击的子状态之前进行了比电子邮件确认端点更多的处理,因此同步发送这两个请求会错过竞争窗口:

将确认请求延迟90毫秒解决了这个问题,使更改电子邮件先到达和确认电子邮件先到达各占50%的概率。

请注意,添加客户端延迟意味着你无法使用单包攻击,因此无论设置什么延迟,在高抖动的目标上都无法可靠生效:

如果遇到这个问题,你可以尝试利用一种常见的安全特性来解决。Web服务器通常有“漏桶”速率限制,如果请求发送过快就会延迟处理。你可以通过发送大量假请求来触发速率限制并造成服务端延迟,即使在需要延迟执行的情况下也能让单包攻击变得可行:

回到Gitlab,对竞争窗口的调试揭示了两个线索——邮箱确认请求间歇性地触发500 Internal Server Error,而且有时确认令牌被发送到了错误的地址!遗憾的是,误发的代码只能用于确认已确认的地址,因此毫无用处。

不过,多亏了误发的代码,我们知道Gitlab的邮箱修改端点中至少隐藏着一个子状态。也许我们只需要换一个角度来利用它?

单端点碰撞

竞态条件在复杂性中滋生——数据在类、线程和进程之间被保存、写入、读取、修改和传递的次数越多,竞态条件出现的可能性就越高。当一个端点足够复杂时,你甚至不需要其他任何端点就能造成可利用的冲突。

在Gitlab上,我注意到当我尝试修改邮箱地址时,响应时间是220毫秒——对于会发送邮件的操作来说,这比我预期的要快。这暗示邮件可能是由另一个线程发送的——这正是我们需要的那种复杂性。

我决定探测Gitlab,同时将我账户的邮箱地址改成两个不同的地址:


POST /-/profile HTTP/2
Host: gitlab.com

user[email]=test1@psres.net
POST /-/profile HTTP/2
Host: gitlab.com

user[email]=test2@psres.net

这揭示了一个重大线索:

To: test2@psres.net
Subject: Confirmation instructions

test1@psres.net

Click the link below to confirm your email address.

Confirm your email address

邮件发送到的地址并不总是与正文中的地址一致。关键在于,被误投邮件中的确认令牌往往是有效的。通过提交两个请求,分别包含我自己的邮箱地址和albinowaxed@gitlab.com,我成功将后者验证为有效地址。你至今仍可以在我的个人资料页面上查看它。

更重要的是,这让我能够实现前面提到的邀请劫持和OpenID攻击。

我录制了一段视频,演示了在远程Gitlab安装实例上的完整发现过程:

代码分析

尽管我的利用成功了,但我仍然不知道到底发生了什么。

该漏洞似乎源于Gitlab集成Devise的方式,Devise是Ruby on Rails上一个流行的身份验证框架。我通过Confirmable.rb探索了Devise的代码库,并通过他们针对我发现的漏洞的补丁探索了Gitlab。从白盒视角分析这个竞态条件颇具挑战性,尤其是在Devise与Gitlab之间的边界处,但以下是我对这一漏洞内部工作原理的最佳解释。

如果你请求更改邮箱,Devise会更新user.unconfirmed_email,在user.confirmation_token中保存一个安全令牌,并将包含该令牌的链接通过邮件发送到user.unconfirmed_email:

self.unconfirmed_email = self.email // from 'email' parameter...
self.confirmation_token = @raw_confirmation_token = Devise.friendly_token
...
// this eventually gets handed off a different thread to render & send the emailsend_devise_notification(:confirmation_instructions, @raw_confirmation_token, { to: unconfirmed_email } )
// an email is queued to the unconfirmed_email argument
// but the body is generated via a template engine reads the variables back from the database
- confirmation_link = confirmation_url(@resource, confirmation_token: @token)
- if @resource.unconfirmed_email.present? || !@resource.created_recently?
#content
= email_default_heading(@resource.unconfirmed_email || @resource.email)
%p= _('Click the link below to confirm your email address.')
#cta
= link_to _('Confirm your email address'), confirmation_link

该漏洞源于Devise获知邮件发送地址的方式与其获知邮件内容填充方式之间的不一致。邮件被发送到一个直接作为参数传入send_devise_notification的变量。然而,用于填充邮件正文的变量,包括confirmation_link,是通过服务端模板引擎从数据库中获取的。这在send_devise_notification被调用与邮件正文被生成之间产生了一个竞态窗口,另一个线程可以在该窗口内更新数据库中的user.unconfirmed_email。

在本地Gitlab安装环境中尝试复现该漏洞时,我注意到一个在最初发现过程中被忽视的重要细节。虽然触发一封发送到错误地址的邮件很容易,但其中的确认令牌只有在应用程序处于正确的起始状态时才有效。要成功利用,你需要触发Devise的“重新发送现有令牌”代码路径。可以通过访问resend_confirmation_token端点(如果它暴露在外)来实现,或者只需两次请求更改为相同的邮箱地址。

我们构建了该漏洞的一个复刻环境,供你练习单端点利用技巧。

测试其他使用Devise的网站

我已向Gitlab报告了此漏洞,他们分配了CVE-2022-4037,并于2023年1月4日在15.7.2版本中修复了它。请注意,他们将其归类为中危,但由于我后来发现的邀请劫持利用方式,我个人将其归类为高危。

在阅读Devise相关资料时,我注意到NCC将其描述为“遥遥领先的最流行的Rails身份验证系统”。在接下来的200天里,我通过三个不同的安全联系地址多次尝试报告此问题,但均未成功,因此我想分享一下我挖掘其他基于Devise构建的目标的经验。可以通过未经身份验证的端点/users/confirmation轻松检测Devise。扫描该端点很快发现了一些有趣的站点,包括-temporarily redacted-。不幸的是,-redacted-明智地没有对电子邮件验证抱太大信任,因此我能确定的唯一影响是绕过基于域名的访问控制,而这只是作为纵深防御措施发挥作用。

在另一个目标上,电子邮件确认文本没有告诉你代码是给谁的,因此你必须点击每个确认链接并重新加载你的个人资料,以查看已确认的电子邮件地址是否符合你的预期。由于没有任何可见线索,且该利用只能间歇性地生效,这很容易成为一个被忽视的漏洞。我最终编写了一个Turbo Intruder脚本来自动检测这类无线索的令牌错误路由问题,你可以在email-extraction模板中找到它。

延迟碰撞

到目前为止,我们利用的端点都是碰撞或多或少立即发生的。认为立即发生碰撞是必然的,这是一个误区——网站可能会在后台定期分批处理关键数据。在这种情况下,你不需要精确的请求计时来触发竞态条件——应用程序会替你完成这部分工作。我将这些称为延迟碰撞。

我在一家不太愿意被我点名的大型网站上探测代码误路由竞态时发现了其中一个问题。确认邮件需要很长时间才能到达,而且没有说明它们是要确认哪个地址,但我注意到,同时尝试将我的邮箱更改为两个不同的地址时,有时会导致两封邮件发送到同一个地址。

它看起来与Devise漏洞相似,直到我意识到这两个冲突的邮箱更改请求之间可以间隔20分钟发送。像这样的延迟型竞态条件本质上很难识别,因为它们永远不会触发诸如不同响应之类的即时线索。相反,检测依赖于二阶线索,例如应用程序行为的改变或稍后出现的邮件不一致。由于这些冲突不依赖于同步的请求,即使没有进行任何刻意的测试,线索也可能会出现。随着时间的推移,我开始将发现异常视为寻找竞态条件最重要的一项技能。

我报告了这一发现,最初的修复尝试在大多数情况下会使误路由的令牌失效,但并非总是如此。另一家公司对其漏洞的初步修复同样不完整,这表明竞态条件的补丁绝对值得仔细审查。

未来研究

在本文中,我重点介绍了一系列紧密相关的利用场景和漏洞模式。竞态条件遍布Web的各个领域,因此我怀疑还有一系列其他未记录在案的场景可以导致高影响的利用。毫无疑问,这些对于发现它们的人来说将是富有成果的,并且如果与更广泛的安全社区分享,将贡献巨大的价值。

部分构造攻击

一种几乎已经显现的模式是部分构造漏洞。这类漏洞发生在对象分多个步骤创建时,产生一个不安全的中间状态。例如,在账户注册过程中,应用程序可能在数据库中创建用户,并在两条独立的SQL语句中设置用户密码,从而留下一个极小的时间窗口,在此期间密码为null。这类攻击最有可能对那些允许你提供一个能与未初始化数据库值匹配的输入值的应用程序生效——例如JSON中的null,或PHP中的空数组。就密码输入而言,你需要一个能让密码哈希函数返回null的值。我们为这类攻击制作了一个实验环境,但请注意,它相当棘手。

如果你对这类攻击感兴趣,我强烈建议阅读Natalie Silvanovich的WebRTC研究

不安全的数据结构

另一个值得进一步研究的方向是探究竞态条件的根本原因——数据结构与锁定策略的不安全组合。我遇到过三种主要策略:

锁定

一些数据结构通过使用锁定,同一时间只允许一个工作进程访问它们,从而激进地解决并发问题。一个例子是PHP原生的会话处理器——如果你在同一会话中同时向PHP发送两个请求,它们会被顺序处理!这种方式可以防范基于会话的竞态条件,但对性能非常糟糕,因此相当少见。

在测试时识别出这种策略极其重要,因为它可能掩盖可利用的漏洞。例如,如果你尝试在同一会话中使用两个请求来探测数据库层的竞态条件,你每次都会错过它,但该漏洞使用两个独立的会话即可轻易利用。

批处理

大多数会话处理器和ORM会对给定会话的更新进行批处理。当它们开始处理一个请求时,会读取整条记录(例如,某个特定会话中的所有变量),后续的读/写操作都应用于该记录的本地内存副本,然后当请求处理完成时,整条记录会被序列化回写至数据库。

这种为每个请求使用独立内存副本的做法使其在请求生命周期内保持内部一致,并避免了子状态的创建。然而,如果两个请求同时操作同一条记录,其中一个最终会覆盖另一个对数据库的更改。这意味着它们无法用于防御影响其他存储层的攻击。

无防御措施

最后,有些数据结构会实时更新共享资源,没有任何批处理、锁定或同步机制。这种情况最常见于自定义的、应用特定的数据结构,以及任何未一致使用事务就存入数据库的内容。

你还可能在自定义会话处理器中遇到这种情况,尤其是那些基于低延迟存储(如redis或本地数据库)构建的处理器。我个人就遇到过有漏洞的会话处理器,但它并不适合作为案例研究,因为那显然是我自己写的代码!

如果发现自定义会话处理器,建议进行大量测试,因为有漏洞的实现可能破坏诸如登录等关键功能。以下是三段代码片段,当与没有防御措施的会话处理器结合时,具有极高的可利用性:

# Bypass code-based password reset
session['reset_username'] = username
session['reset_code'] = randomCode()
Exploit: Simultaneous reset for $your-username and $victim-username

# Bypass 2FA
session['user'] = username
if 2fa_enabled:
session['require2fa'] = true
Exploit: Simultaneous login and sensitive page fetch

# Session-swap
session['user'] = username
set_auth_cookies_for(session['user'])
Detect: Simultaneous login to two separate accounts from same session
Exploit: Force anon session cookie on victim, then log in simultaneously

希望我们能迅速达成共识:对于会话处理器或ORM这样的核心数据结构,不具备原子性就是一种漏洞。

单数据包攻击的改进

单数据包攻击有三个关键方面可以进一步发展。

我的实现让你可以用单个数据包完成最多20-30个HTTP请求。通过TCP/TLS层技术(如强制提升最大分段大小,或故意乱序发送TCP数据包),可能还能进一步提高这个数字。

如前文所述,多端点攻击通常要求请求在不同时间开始处理。滥用服务器速率限制可以解决这一问题,但仅在某些系统上有效。一种更通用、更可靠地在单个数据包中延迟特定请求处理的方法将非常有价值。

最后,我的实现选择在TCP层而非TLS层批量发送请求。这可能是最简单的方法,但如果你能将请求压缩到单个TLS记录中,这将使单数据包攻击能够通过任何不破坏TLS的代理——包括SOCKS。

防御

当单个请求能将应用程序推入不可见的子状态时,理解和预测其行为就变得极其困难,也使防御变得不切实际。为了保护应用程序,我建议通过以下策略从所有敏感端点中消除子状态:

  • 避免混合来自不同数据源的数据。Devise库从数据库中读取一个令牌,然后将其通过电子邮件发送给保存在实例变量中的地址。如果它同时从数据库中读取令牌和电子邮件地址,或者将两者都通过实例变量传递,它就不会存在漏洞。
  • 确保敏感端点通过使用数据存储的并发特性使状态变更具有原子性。例如,使用单个数据库事务来核对支付金额与购物车价值并确认订单。
  • 作为纵深防御措施,请利用数据存储的完整性/一致性特性,例如唯一性约束。
  • 不要试图用一个数据存储层来保护另一个。例如,会话并不适合用来防止针对数据库的限额超限攻击。
  • 确保你的会话处理框架保持会话内部一致。逐个更新会话变量而不是批量更新可能是一种诱人的优化,但极其危险。对ORM来说也是如此——通过隐藏事务等概念,它们承担了完全的责任。
  • 在某些架构中,完全可以避免服务端状态,而是使用加密将状态推送到客户端,例如JWT。

要点总结

HTTP请求处理不是原子性的——任何端点都可能让应用程序经过不可见的中间状态。这意味着在竞态条件中,一切都是多步骤的。

单数据包攻击解决了网络抖动问题,使得每次攻击都如同在本地系统上进行。这暴露了此前几乎不可能检测或利用的漏洞。

发现异常是寻找竞态条件最重要的技能。

祝你好运!

– albinowax

返回所有文章


原文链接:https://portswigger.net/research/smashing-the-state-machine
译文由 QGG 精译流程生成,版权归原作者所有;本译文以 CC BY-NC 4.0 协议发布(署名—非商业性使用),禁止商用。

暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇