SQLSERVER中的NUMA架构

SQLSERVER中的NUMA架构 之前看了园子里的宋大侠《浅谈SQL Server 对于内存的管理》的文章，里面讲到NUMA架构，究竟NUMA架构是啥东西 网上的资料说得让人一头雾水 刚好上星期在MSDN上找到一篇关于NUMA架构的文章，文章是2011年写的，现在分享给大家o(_)o 文章

SQLSERVER中的NUMA架构

之前看了园子里的宋大侠《浅谈SQL Server 对于内存的管理》的文章，里面讲到NUMA架构，究竟NUMA架构是啥东西

网上的资料说得让人一头雾水

刚好上星期在MSDN上找到一篇关于NUMA架构的文章，文章是2011年写的，现在分享给大家o(∩_∩)o

文章：SQL SERVER在NUMA架构下实现性能最佳化

就目前而言，CPU主频速度的迅速提升以及CPU数量的高速增长，并没有能够促使CPU在访问内存时的速度有所长进。

尽管L3 Cache的提出解决了部分问题，不过，CPU访问内存速度慢的现象并未有所改观，瓶颈依然存在。

为了更有效的解决CPU访问内存的速度问题，工业界引入了NUMA概念

首先介绍一下 NUMA 的架构，如下图:

每个 NUMA 节点（硬件 NUMA 或软件 NUMA）都有一个用于处理网络 I/O 的相关 I/O 完成端口，这有助于跨多个端口分布网络 I/O 处理

上述结构中展现出两个NUMA结点，每个NUMA结点有一些CPU, 一个内部总线，和自己的内存，甚至可以有自己的IO。每个CPU有离自己最近的内存可以直接访问。

所以，使用NUMA架构，系统的性能会更佳。值得注意的是，在NUMA结构下，可以比较方便的增加CPU的数目。

而在非NUMA架构下，增加CPU会导致系统总线负载很重，性能提升不明显。

虽然每个CPU也可以访问其他NUMA结点上的内存，但付出的代价则是导致速度更慢，这是要尽量避免的。

应用软件如果没有意识到这种结构，在NUMA机器上，有时候性能会更差，这是因为，他们经常会不自觉的去访问远端内存，从而导致整体性能下降。

通常而言，NUMA架构也有硬件和软件之分。

一、硬件NUMA

硬件NUMA是在硬件层面上得以支持。如何才能知道本机是否有硬件NUMA呢? 最好的办法是问硬件供应商了。

但如果想知道机器中有多少个NUMA结点，那就可以在SQL Server Management Studio下用如下的查询，看能返回几个NUMA结点

1 SELECT DISTINCT memory_node_id FROM sys.dm_os_memory_clerks

或者，可以查看SQL Server的错误日志，如下面的错误日志表明，系统有两个NUMA结点

从 SQL Server 2000 SP3 以后，SQL Server开始支持NUMA架构，内存访问会尽量使用离CPU最近的内存，以提高性能。

二、软件NUMA

如果硬件本身不支持NUMA，还可以在软件层面上设置NUMA，如机器有4个CPU, 设成两个NUMA NODE

一个NODE占用CPU 0x11 (二进制编码)，另外一个NODE占用CPU 0x1100 (二进制编码)。

那么，可以在注册表上做如下修改，以SQL Server 2008为例：

软件NUMA只是对CPU进行分组，并不会改变内存。因此对于内存来讲，还是只有一个结点，所以两个NUMA结点，访问的都是同一块内存。

而增加软件NUMA结点的好处在于，SQL Server会针对每一个软件NUMA结点，多一个LazyWriter的线程，

如果系统在LazyWriter上是性能瓶颈的话，引入Software NUMA则可以有效提升性能。

在服务器属性这个地方设置的只是软件NUMA，要机器真正支持硬件NUMA才是真正的NUMA

面对连接层面的NUMA

SQL Server 不仅仅在引擎上支持NUMA，在连接层面上也支持NUMA。

如果没有在连接层面上对NUMA进行设置的话，那么每一个连接进来，SQL Server会根据round-robin方式，选择NODE 进行处理。

在NODE内部，SQL Server会选择CPU负载最低的一个CPU进行处理。而这种方法的缺点是，有可能某一个NODE内的所有CPU都很忙，

但是另外一个NODE内的所有CPU都很空，从而导致资源不均衡。这种情况下，使用NUMA架构时性能反而会下降，还不如使用非NUMA架构，

系统能均衡分配CPU资源。

如下图所示，采用round-robin方式，可能NUMA NODE 0会非常繁忙，而NUMA NODE 1会非常空闲，系统资源不能充分利用。

重要的连接可能会被分配到NODE 0，导致不能得到及时处理，性能受到影响。

对此，可以在连接层面上进行设置。对于重要的操作，使用端口1450，该端口会绑定NUMA结点0、1,、2，

而对于不重要的操作（可能需要耗费大量资源，但不重要的），则使用端口1433，该端口会绑定NUMA结点3，

如此，不重要的操作不会对重要的操作在性能上有所影响

如何设置端口对NUMA结点的绑定？可以在侦听的端口后面加NUMA结点信息。如有八个NUMA结点，如果要使用NUMA结点0, 2, 5 那么根据MASK方式，

相应的数值是0x25，或37

在SQL Server的网络设置中，相应的网络侦听端口后面，我们可以加MASK数值，如下，

这样，端口63409进来的连接，会跟NUMA结点0, 2, 5 进行绑定。

应该在配置管理器那里设置，我的是SQL2005

综上所述，NUMA概念的引入，将大大地提升硬件的可扩展性和处理能力。

SQL Server 从硬件NUMA、软件NUMA及连接上分别对NUMA这个体系架构做了优化支持，因此，在NUMA架构下，SQL Server拥有更佳的性能和更好的扩展。

SQL Server 如何支持 NUMA

文章地址：http://msdn.microsoft.com/zh-cn/library/ms180954(v=SQL.105).aspx

这里我摘抄一些重要部分算了

公共 CPU 的分组
SQL Server 对计划程序进行分组，以根据 Windows 所显示的硬件 NUMA 边界将这些计划程序映射到 CPU 的分组。

例如，16 路逻辑单元有 4 个 NUMA 节点，每个节点有 4 个 CPU。这使得在节点上处理任务时，该组计划程序具有更多的本地内存。

使用 SQL Server，您可以进一步将与硬件 NUMA 节点关联的 CPU 细分为多个 CPU 节点。这称为软件 NUMA。

通常，您将细分 CPU 以跨 CPU 节点对工作进行分区。

名词解释：

16 路逻辑单元：说的是16个逻辑CPU，什么是逻辑CPU，比如酷睿I3cpu 双核四线程，那么四线程实际上就是四个逻辑CPU

四个逻辑CPU是指在同一个时间点，可以同时运算的计算单元，运行四个线程，处理四个任务在同一个时间点

计划程序：就是SQLOS里面的 scheduler，详细可以看我这篇文章 SQLSERVER独特的任务调度算法"SQLOS"

继续摘抄：--------------------------------------------------------------------------------------------------------------------

每个 NUMA 节点（硬件 NUMA 或软件 NUMA）都有一个用于处理网络 I/O 的相关 I/O 完成端口，这有助于跨多个端口分布网络 I/O 处理。

当某个客户端连接到 SQL Server 时，将绑定到其中一个节点。此客户端的所有批处理请求都将在该节点上处理

上面这句话是对上面哪两个图的很好解释

软件 NUMA 针对计算机中的所有 SQL Server 实例定义一次，因此，多个数据库引擎实例都能看到同样的软件 NUMA 节点。

然后，每个数据库引擎实例都使用 affinity mask 选项选择相应的 CPU。接着，每个实例都使用与这些 CPU 关联的任何软件 NUMA 节点

这句话说的就是服务器属性里面的CPU掩码

Windows 在启动后，从硬件 NODE 0 为操作系统分配内存。

因此，硬件 NODE 0 可用于其他应用程序的本地内存少于其他节点。

当需要缓存一个大型文件时，此问题尤为突出。当 SQL Server 在具有多个 NUMA 节点的计算机中启动时，它将尝试在 NODE 0 以外的 NUMA 节点上启动

如何将连接分配到 NUMA 节点
TCP 和 VIA 都可以将连接关联到一个或多个特定 NUMA 节点。当未进行关联，或使用 Named Pipes 或 Shared Memory 进行连接时，

连接将采用循环方式分布到 NUMA 节点。在 NUMA 节点内，连接按照该节点上负载最小的计划程序运行。由于新连接的分配具有循环性，

因此，当某个节点空闲时，另一个节点中的所有 CPU 可能都处于繁忙状态。如果您的 CPU 非常少（如 2 个），

并且看到由于具有长时间运行的批处理（如大容量加载）而导致庞大的计划不均衡，则在这种情况下，关闭 NUMA 可能会提高性能。

这句话同样也是上面两个分配连接的截图的补充解释

SQL Server 版本限制
从 SQL Server 2000 到 Service Pack 3，都不包括对 NUMA 的特别支持；

但是，Service Pack 4 有一些有限的 NUMA 优化。SQL Server 2005 有了大量重要的改进

，因此，我们极力鼓励 NUMA 用户升级到 SQL Server 2005 以充分利用 NUMA 体系结构

我的个人理解

SQLSERVER2008支持硬件NUMA，SQLSERVER2005只支持软件NUMA

假如一台电脑有两个物理NUMA节点（当然前提是电脑要支持NUMA），那么内存可以分成两份

SQL2008可以直接访问这两份内存

SQL2005 只能访问同一份内存

（引用一下宋大侠的一些图片）

NUMA节点的概念

逻辑CPU：代表多少个线程

core：代表多少个核心

numa node：numa节点

socket：socket通讯

例如：酷睿I3 双核四线程，那么逻辑CPU（logical cpu）有4个，core有2个

SQL Server OS在SMP硬件 直接访问同一个内存 方向 是自下向上

SQL Server OS在NUMA硬件 将一份物理内存分成两份 方向 是自下向上

写完了，睡觉去了~~

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。TEL:177 7030 7066 E-MAIL:11247931@qq.com