江南人物的博客

Hexo Documentation

Posted on 2023-12-07 Edited on 2025-08-01 In Tools

hexo修改默认端口号

添加目录

https://blog.ligos.net/2016-07-25/Writing-Content-On-Hexo.html
https://medium.com/employbl/create-a-custom-blog-theme-with-hexo-js-b24c82eb9271#.viurzqeac
https://hexo.io/docs/themes
https://hexo.io/docs/templates
https://hexo.io/docs/helpers

Add pages

Commands

# The following command generate a 'categories/index.md' file
hexo new page categories

hexo new page tags
hexo new page about

Refers to Hexo NeXT Theme categories and tags page

Plugins

Display PDF

Getting Started with IB

Posted on 2023-12-06 Edited on 2025-08-01 In Network

函数

`ibv_fork_init`

文档 ibv_fork_init

模板: int ibv_fork_init(void)

输入参数: 无

输出参数: 无

返回值: 0 on success, -1 on error. If the call fails, errno will be set to indicate the reason for the failure.

描述: ibv_fork_init 初始化 libverbs 的数据结构来安全地处理 fork() 并避免数据损坏，不论 fork() 是被显式调用还是隐式调用（比如在 system() 中被调用）。
如果所有的父进程总是阻塞直至所有的子进程结束或使用 exec() 改变地址空间，那么 ibv_fork_init 可以不被调用。

该函数在支持 madvise 的 MADV_DONTFORK 标记的 Linux 内核（2.6.17或更高）上可以工作。

设置环境变量 RDMAV_FORK_SAFE 或 IBV_FORK_SAFE 环境变量为任意值，有着与 ibv_fork_init 相同的效果。

设置 RDMAV_HUGEPAGES_SAFE 为任意值，以告诉库需要检查内核为内存域（memory regions）使用的底层内存页的大小。如果应用程序直接或通过库（如 libhugtlbfs ）间接使用大内存页（博主注：即大于4KB）时，该环境变量是必须的。（博主注：ibv_fork_init 将检查 RDMAV_HUGEPAGES_SAFE ）

调用 ibv_fork_init 将降低性能，因为每个内存注册都将有一个额外的系统调用和分配附加的内存以追踪内存域（memory regions）。
确切的性能损失取决于工作负载，通常不会很大。

设置 RDMAV_HUGEPAGES_SAFE 会为所有的内存注册增加更多的开销。

文档

Documentation: RDMA Aware Networks Programming User Manual v1.6

Local Documentation

Sun Network QDR InfiniBand Gateway Switch Topic Set

RDMA知乎专栏

用户态的Verbs API手册跟代码在一个仓库维护，手册地址：https://github.com/linux-rdma/rdma-core/tree/master/libibverbs/man

有很多在线的man page网站可以查阅这些接口的说明，比如官方的连接：https://man7.org/linux/man-pages/man3/ibv_post_send.3.html

也有一些其他非官方网页，支持在线搜索：https://linux.die.net/man/3/ibv

查阅系统man page
如果你使用的商用OS安装了rdma-core或者libibverbs库，那么可以直接用man命令查询接口：

1	man ibv_post_send

查询Mellanox的编程手册
《RDMA Aware Networks Programming User Manual Rev 1.7》，最新版是2015年更新的。该手册写的比较详尽，并且附有示例程序，但是可能与最新的接口有一些差异。Mellanox VPI®（Virtual Procotol Interconnect）架构为同时支持InfiniBand和以太网语义的网络适配器和交换机提供高性能、低延迟和可靠的方法。

Book: Linux Kernel Networking - Implementation and Theory

Dotan’s blog: Dotan Barak, an InfiniBand Expert. Dotan is a Senior Software Manager at Mellanox Technologies working on RDMA Technologies.

性能分析工具（profiling）

Blog: Tips and tricks to optimize your RDMA code

libibprof

IB简介

RDMA - Remote Direct Memory Access 远程直接内存存取。

InfiniBand是一种高性能计算机网络通信标准，它具有极高的吞吐量和极低的延迟。如果您需要使用InfiniBand进行编程，您需要使用支持InfiniBand的编程语言（如C++）来编写代码。

机构和组织：

OFA: Open Fabrics Alliance.

IBTA: InfiniBand Trade Association.

概念

CQ - Complete Queue 完成队列
WQ - Work Queue 工作队列
WR - Work Request 工作请求
QP - Queue Pairs 队列对（Send-Receive）
SQ - Send Queue 发送队列
RQ - Receive Queue 接收队列
PD - Protection Domain 保护域，将QP和MR结合在一起
MR - Memory Region 内存区域。一块经注册过的且本地网卡可以读写的内存区域。包含R_Key和L_Key。
SGE - Scatter/Gather Elements 分散/聚集元素。
R_Key - Remote Key
L_Key - Local Key
CA - (Host) Channel Adapter, an inifiniband network interface card.
NIC - Network Interface Card 网卡。
LID - Local Identifier.
CM - Connection Manager.

其他常见缩写：

RC - reliable connected.
SCSI - Small Computer System Interface 小型计算机系统接口。
SRP - SCSI RDMA Protocol. / Secure Remote Password.

博客：https://blog.51cto.com/liangchaoxi/4044818

安装

InfiniBand 和 RDMA 相关软件包

sudo apt-get install infiniband-diags
sudo apt install ibverbs-utils

API

以下是一些支持InfiniBand的C++库：

Infinity：这是一个轻量级的C++ RDMA库，用于InfiniBand网络。它提供了对两侧（发送/接收）和单侧（读/写/原子）操作的支持，并且是一个简单而强大的面向对象的ibVerbs抽象。该库使用户能够构建使用RDMA的复杂应用程序，而不会影响性能1。

OFED：这是一个开放式Fabrics Enterprise Distribution，它提供了对InfiniBand和RoCE（RDMA over Converged Ethernet）技术的支持。OFED提供了一组用户空间库和驱动程序，可用于构建支持RDMA的应用程序2。

以下是使用Infinity库编写支持InfiniBand的C++代码示例：

// 创建新上下文
infinity::core::Context *context = new infinity::core::Context();

// 创建队列对
infinity::queues::QueuePairFactory *qpFactory = new infinity::queues::QueuePairFactory(context);
infinity::queues::QueuePair *qp = qpFactory->connectToRemoteHost(SERVER_IP, PORT_NUMBER);

// 创建并向网络注册缓冲区
infinity::memory::Buffer *localBuffer = new infinity::memory::Buffer(context, BUFFER_SIZE);

// 从远程缓冲区读取（单向）并等待完成
infinity::memory::RegionToken *remoteBufferToken = new infinity::memory::RegionToken(REMOTE_BUFFER_INFO);
infinity::requests::RequestToken requestToken(context);
qp->read(localBuffer, remoteBufferToken, &requestToken);
requestToken.waitUntilCompleted();

// 将本地缓冲区的内容写入远程缓冲区（单向）并等待完成
qp->write(localBuffer, remoteBufferToken, &requestToken);
requestToken.waitUntilCompleted();

// 将本地缓冲区的内容通过队列对发送（双向）并等待完成
qp->send(localBuffer, &requestToken);
requestToken.waitUntilCompleted();

// 关闭连接
delete remoteBufferToken;
delete localBuffer;
delete qp;
delete qpFactory;
delete context;

以下是使用OFED库编写支持InfiniBand的C++代码示例：

// 创建新上下文
struct ibv_context *context = ibv_open_device(*device);

// 创建完成端口
struct ibv_pd *pd = ibv_alloc_pd(context);

// 创建队列对
struct ibv_qp_init_attr qp_init_attr;
memset(&qp_init_attr, 0, sizeof(qp_init_attr));
qp_init_attr.send_cq = cq;
qp_init_attr.recv_cq = cq;
qp_init_attr.qp_type = IBV_QPT_RC;
qp_init_attr.cap.max_send_wr = 1;
qp_init_attr.cap.max_recv_wr = 1;
qp_init_attr.cap.max_send_sge = 1;
qp_init_attr.cap.max_recv_sge = 1;
struct ibv_qp *qp = ibv_create_qp(pd, &qp_init_attr);

// 创建并向网络注册缓冲区
char *localBuffer = (char *)malloc(BUFFER_SIZE);
struct ibv_mr *mr = ibv_reg_mr(pd, localBuffer, BUFFER_SIZE, IBV_ACCESS_LOCAL_WRITE | IBV_ACCESS_REMOTE_READ | IBV_ACCESS_REMOTE_WRITE);

// 连接到远程主机
struct sockaddr_in remoteAddress;
memset(&remoteAddress, 0, sizeof(remoteAddress));
remoteAddress.sin_family = AF_INET;
remoteAddress.sin_port = htons(PORT_NUMBER);
inet_pton(AF_INET, SERVER_IP, &remoteAddress.sin_addr);
struct rdma_cm_id *cmId;
rdma_create_id(*eventChannel, &cmId, NULL, RDMA_PS_TCP);
rdma_resolve_addr(cmId, NULL, (struct sockaddr *)&remoteAddress, RESOLVE_TIMEOUT_MS);

// 等待连接完成
rdma_wait_event(*eventChannel, RDMA_CM_EVENT_ESTABLISHED);
rdma_ack_cm_event(cmEvent);

// 获取远程缓冲区信息
struct ibv_wc wc;
ibv_post_recv(qp, &recvWr, &badRecvWr);
do {
    ibv_poll_cq(cq, 1, &wc);
} while (wc.status != IBV_WC_SUCCESS || wc.opcode != IBV_WC_RECV_RDMA_WITH_IMM || wc.imm_data != htonl(IMM_DATA));
remoteBufferInfo.rkey = ntohl(wc.imm_data >> 8);
remoteBufferInfo.vaddr = wc.wr_id;

// 将本地缓冲区的内容写入远程缓冲区（单向）
struct ibv_send_wr sendWr;
memset(&sendWr, 0, sizeof(sendWr));
sendWr.wr_id = 0;
sendWr.opcode = IBV_WR_RDMA_WRITE_WITH_IMM;
sendWr.sg_list = &localSge;
sendWr.num_sge = 1;
sendWr.send_flags = IBV_SEND_SIGNALED;
sendWr.wr.rdma.remote_addr = remoteBufferInfo.vaddr;
sendWr.wr.rdma.rkey = remoteBufferInfo.rkey;
localSge.addr = (uintptr_t)localBuffer;
localSge.length = BUFFER_SIZE;
localSge.lkey = mr->lkey;
ibv_post_send(qp, &sendWr, &badSendWr);

// 关闭连接
ibv_dereg_mr(mr);
free(localBuffer);
ibv_destroy_qp(qp);
ibv_dealloc_pd(pd);
ibv_close_device(context);

入门级文档：https://zhuanlan.zhihu.com/p/337461037
文档：https://docs.kernel.org/infiniband/index.html
文档：http://blog.foool.net/wp-content/uploads/linuxdocs/infiniband.pdf
文档：https://support.bull.com/documentation/byproduct/infra/sw-extremcomp/sw-extremcomp-com/g
文档：https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/8/html-single/configuring_infiniband_and_rdma_networks/index
博客：https://zhuanlan.zhihu.com/p/337461037
文档：https://access.redhat.com/documentation/zh-cn/red_hat_enterprise_linux/7/html/networking_guide/ch-configure_infiniband_and_rdma_networks
知乎专栏：https://www.zhihu.com/column/c_1231181516811390976
知乎专栏：https://www.zhihu.com/column/rdmatechnology

Linux manual page

Command-Line

文档：https://docs.nvidia.com/networking/pages/viewpage.action?pageId=43719572

ibstat
ibhosts - 查看所有的IB hosts。
ibnetdiscover - discover InfiniBand topology.
ibv_devices - list RDMA devices.
ibv_devinof - Print information about RDMA devices available for use from userspace.
ibv_rc_pingpong - Run a simple ping-pong test over InfiniBand via the reliable connected (RC) transport.
targetcli - administration shell for storage targets

targetcli is a shell for viewing, editing, and saving the configuration of the kernel’s target subsystem,
also known as LIO. It enables the administrator to assign local storage resources backed by either files,
volumes, local SCSI devices, or ramdisk, and export them to remote systems via network fabrics, such as iSCSI or FCoE.
srp_daemon - Discovers and connects to InfiniBand SCSI RDMA Protocol (SRP) targets in an IB fabric.
ibsrpdm - List InfiniBand SCSI RDMA Protocol (SRP) targets on an IB fabric.

liraries

devid: device ID library. Refer to here.

ibverbs: 使得用户空间进程能够使用RDMA verbs（即进行RDMA操作）。Refer to here.

dl: Dynamic Loader.

bsub用法

Posted on 2023-12-06 Edited on 2025-08-01 In Network

find_host_queue.sh

寻找 hostname 所在的 queue ：

find_host_queue.shview raw

#!/bin/bash

# 检查是否提供了主机名参数
if [ -z "$1" ]; then
    echo "用法: $0 <hostname>"
    exit 1
fi

HOSTNAME=$1

echo "正在查找包含主机 [$HOSTNAME] 或其主机组的队列..."

# 获取所有队列名
queues=$(bqueues | awk 'NR>1 {print $1}')

for q in $queues; do
    # 获取队列的 HOSTS 字段
    hosts_line=$(bqueues -l "$q" | awk '/HOSTS:/,/^$/')
    # 将字符串按空格拆分为数组
    host_array=($hosts_line)

    # 提取所有主机或主机组
    for entry in "${host_array[@]}"; do
        # 如果是主机组（以@开头或以/结尾）
        if [[ $entry == @* || $entry == */ ]]; then
            # if [[ $entry == @* ]]; then
            #     # 去掉前面的@符号
            #     entry=${entry:1}
            # fi
            # 去掉前面的@符号和后面的斜杠
            group=${entry#@}
            group=${entry%/}
            # 获取主机组中的主机列表
            if bmgroup $group 2>/dev/null | grep -qw "$HOSTNAME"; then
                echo "✅ 队列 [$q] 包含主机组 [$group]，其中包括主机 [$HOSTNAME]"
            fi
        else
            # 直接匹配主机名
            if [[ "$entry" == "$HOSTNAME" ]]; then
                echo "✅ 队列 [$q] 直接包含主机 [$HOSTNAME]"
            fi
        fi
    done
done

auto_submit_to_host_queue.sh

根据提供的 hostname ，自动寻找最空闲的队列提交 bsub 作业：

auto_submit_to_host_queue.shview raw

#!/bin/bash

# 该脚本会自动将 hostname 提交到延迟最小、最空闲的队列
# 处理后的命令为 bsub -q <queue> -m <host> <args>

# 用法提示
# 例如：$0 myhostname -Is bash
if [ $# -lt 2 ]; then
    echo "用法: $0 <hostname> <args>"
    exit 1
fi

HOSTNAME=$1
# JOB_SCRIPT=$2

# # 检查作业脚本是否存在
# if [ ! -f "$JOB_SCRIPT" ]; then
#     echo "错误：找不到作业脚本 $JOB_SCRIPT"
#     exit 1
# fi

echo "🔍 正在查找包含主机 [$HOSTNAME] 的队列..."

declare -A matching_queues

# 获取所有队列名
queues=$(bqueues | awk 'NR>1 {print $1}')

for q in $queues; do
    # 获取队列的 HOSTS 字段
    hosts_line=$(bqueues -l "$q" | awk '/HOSTS:/,/^$/')
    host_array=($hosts_line)

    for entry in "${host_array[@]}"; do
        # 如果是主机组（以@开头或以/结尾）
        if [[ $entry == @* || $entry == */ ]]; then
            # 去掉前面的@符号和后面的斜杠
            group=${entry#@}
            group=${entry%/}
            if bmgroup "$group" 2>/dev/null | grep -qw "$HOSTNAME"; then
                echo "✅ 队列 [$q] 包含主机组 [$group]，其中包括主机 [$HOSTNAME]"
                matching_queues["$q"]=1
            fi
        elif [[ "$entry" == "$HOSTNAME" ]]; then
            echo "✅ 队列 [$q] 直接包含主机 [$HOSTNAME]"
            matching_queues["$q"]=1
        fi
    done
done

if [ ${#matching_queues[@]} -eq 0 ]; then
    echo "❌ 没有找到包含主机 [$HOSTNAME] 的队列。"
    exit 1
fi

echo "✅ 找到以下队列包含主机 [$HOSTNAME]："
for q in "${!matching_queues[@]}"; do
    echo " - $q"
done

# 获取这些队列的等待任务数，选择最空闲的一个
best_queue=""
min_pend=999999

sorted_queues=$(for q in "${!matching_queues[@]}"; do
    pend=$(bqueues "$q" | awk 'NR==2 {print $9}')
    echo "$pend $q"
    # if [[ "$pend" =~ ^[0-9]+$ ]] && [ "$pend" -lt "$min_pend" ]; then
    #     min_pend=$pend
    #     best_queue=$q
    # fi
done | sort -n | awk '{print $2}')

# if [ -z "$best_queue" ]; then
#     echo "⚠️ 无法确定最空闲队列，默认使用第一个：${!matching_queues[@]}"
#     best_queue=${!matching_queues[@]}
# fi


# 依次尝试提交任务
for q in $sorted_queues; do
    echo "🔎 尝试队列 [$q]..."
    test_output=$(timeout 10 bsub -q "$q" -n 1 -Is /bin/true 2>&1)
    if [ $? -eq 124 ]; then
        echo "⏳ 队列 [$q] 测试超时，跳过。"
        continue
    fi
    if echo "$test_output" | grep -q "User cannot use the queue"; then
        echo "⛔ 无权限使用队列 [$q]，跳过。"
        continue
    fi

    echo "🚀 提交任务到队列 [$q]..."
    CMD="bsub -q $q -m $HOSTNAME ${@:2}"
    # exec将当前终端传递给bsub
    # exec $CMD
    $CMD
    exit 0
done

echo "❌ 所有队列都无法使用或提交失败。"
exit 1

# echo "🚀 正在将任务提交到最空闲的队列 [$best_queue]..."
# # bsub -q "$best_queue" "$JOB_SCRIPT"
# bsub -q "$best_queue" -m "$HOSTNAME" "$argv[2-]"

单例模式

Posted on 2023-11-30 Edited on 2025-08-01 In c/cpp

Multiple instances of singleton across shared libraries on Linux

printf

Posted on 2023-11-27 Edited on 2025-08-01 In c/cpp

Functions

https://cpp.hotexamples.com/zh/examples/-/-/lprintf/cpp-lprintf-function-examples.html

printf
lprintf
fprintf
sprintf
vsprintf

字符串处理函数
bcopy

非打印字符

参见 Escape sequeneces.

1
char str[] = "\x1E"; // "0x1E" 是一个非打印字符

Socket Programming

Posted on 2023-11-27 Edited on 2025-08-01 In Network

Files

/etc/services: 端口列表
/etc/protocols: 协议列表

Reference

端口0的作用

Makefile入门

Posted on 2023-11-17 Edited on 2025-08-01 In c/cpp

Makefile默认shell

Makefile 默认的 shell 是 /bin/sh:
查看 Makefile 默认的 shell:
$(warning ${SHELL}) # 查看默认 shell

如果在 Makefile 开头加上以下语句，可以指定 shell:
SHELL := /bin/bash

Makefile 的 shell 命令似乎每一条都会新开辟一个 shell 环境来执行，因为每条 shell 命令似乎都执行了一次 .cshrc 脚本。
要想在同一个 shell 环境中执行所有命令，则需要使用分号分割并转义换行符。

Makefile环境变量

你可以通过设置环境变量 MAKEFLAGS 来让所有的子shell都将 make 认作 make -n：
export MAKEFLAGS=”-n”
注：-n, –dry-run 表示只打印将要执行的命令，但是不真正执行它们。

Makefile 设置 PATH 环境变量：
PATH := mypath:$(PATH)
必须使用 “:=” ，因为 “:=” 是简单赋值，但是 “=” 会递归展开，会导致报错 “Recursive variable `PATH’ references itself (eventually)”。

Makefile 定义多行变量：使用 define 语句。
Makefile 接收命令行参数

非常奇特的现象：
$ make clean
cat clean.sh >clean
chmod a+x clean
因为 Makefile 文件中没有 clean 的 recipe，但是当前目录下有个 clean.sh 文件。
但是，当再次执行 make clean，clean 脚本还是不会被执行：
$ make clean
make: `clean’ is up to date.

特殊符号

空格

Makefile对空格的处理，似乎是：从第一个非空格开始，到明确的截止符（换行、逗号、括号、注释标记’#’等）为止。
a = b #注意末尾有3个空格
$(warning a=$(a)c)

结果：
a= b c

Makefile转义符：
字符转义方法
$ $$
# #
\ \

注意：这里说的是Makefile中的转义符，不是bash中的转义符。

括号

引用变量时，Shell使用大括号，Makefile则大括号和小括号都行。但是在命令中使用Shell变量就需要使用大括号。

参考

Makefile调试方法

要调试 Makefile 并查看其执行过程，可以使用以下几种方法：
1. 使用 make 的 -n 或 –dry-run 选项：这将显示 Makefile 中的所有命令，而不会真正执行它们。
make -n
1. 使用 make 的 -d 或 –debug 选项：这将显示详细的调试信息，包括变量的展开和规则的匹配过程。
make -d
1. 使用 make 的 -p 或 –print-data-base 选项：这将打印所有的变量、规则和隐含规则。
make -p
1. 在 Makefile 中添加调试信息：你可以在 Makefile 中添加一些调试信息，例如使用 $(info …) 来打印变量的值。
print:
@$(foreach V, $(.VARIABLES), $(info $(V) = $($(V))))
1. 使用 make 的 -j 选项：如果你使用并行执行，可以使用 -j 选项来限制并行任务的数量，并更容易地跟踪输出。
make -j1

makefile打印所有变量的值：
debug:
@$(foreach V, $(.VARIABLES), $(info $(V) = $($(V))))
然后在命令行中运行：
make debug
这将打印所有变量及其值。

print-%:
@echo $* = $($*)

print-% 是一个 Makefile 目标，用于打印变量的值。具体步骤如下：
1. 定义一个目标 print-%，其中 % 是一个通配符，表示任意变量名。
2. 使用 @echo $* = $($*) 打印变量名和变量值。

示例代码：
print-%:
@echo $* = $($*)
使用方法：
在命令行中运行：
make print-VARIABLE_NAME
例如：
make print-XTENSA_SW_RELEASE
这将打印 XTENSA_SW_RELEASE 变量的值。

命令行参数

See here.

@: See here.

This works fine for me:

# If the first argument is "run"...
ifeq (run,$(firstword $(MAKECMDGOALS)))
  # use the rest as arguments for "run"
  RUN_ARGS := $(wordlist 2,$(words $(MAKECMDGOALS)),$(MAKECMDGOALS))
  # ...and turn them into do-nothing targets
  # TODO: What does the following line mean?
  # $(eval $(RUN_ARGS):;@:)
endif

# "cmd" refers to any command
run:
	cmd $(RUN_ARGS)

makefile同名目标处理方式

参考：

makefile将命令结果赋值给变量

Makefile中短划线

1 2	all: -/bin/rm -rf *.log

其中，”-/bin/rm“的短划线”-“是一个特殊前缀，表示忽略命令执行过程的错误。

为每个源文件生成一个可执行程序

SRCS = $(wildcard *.c)

all: $(SRCS:.c=)

# Unnecessary, as the default rules are adequate.
.c:
	gcc $(CPFLAGS) $< -o $@

最后两行其实不需要，默认规则已经足够了。

其中，$(SRCS:.c=.o)表示将变量SRCS中的每个单词（以空格分割）中的.c替换为.o。以上代码则是将所有.c都去掉。

Shell Configuration

Posted on 2023-11-13 Edited on 2025-08-01 In Linux

Color Scheme

Refer to the link.

Add these three lines to ~/.bashrc

$ vi ~/.bashrc
export LS_OPTIONS='--color=auto'
# dircolors - color set for ls
eval "$(dircolors -b)"
alias ls='ls $LS_OPTIONS'

虚拟内存

Posted on 2023-11-07 Edited on 2025-08-01 In Linux

1. 术语

resident set size (RSS)

2. 文件系统

/proc/self/statm

3. 相关命令

3.1. top

3.1.1. Fields

TIME+¹	TIME
`5432:01` means “5432 minutes and 1 second”	`90,32` means “90 hours and 32 minutes”
`25:15.20` means “25 minutes, 15 seconds and 20% of 1 second”	`25:15` means “25 minutes and 15 seconds”

3.2. ps

3.2.1. 输出说明

TIME: the cumulated CPU time in [DD-]hh:mm:ss format (time=TIME)

Field	value & means
`TIME`	`1-18:09:38` means “1 day, 18 hours, 9 minutes and 38 seconds”

4. 相关系统调用

4.1. fork

子进程是父进程的副本，获取了父进程的数据空间、堆和栈的副本，但是他们共享正文段。

写时复制（Copy-On-Write，COW）：不复制父进程的完全副本，只有在父或子进程尝试修改这些区域时，则为修改区域的那块内存制作一个副本，通常是虚拟内存的一页。

博主注： 如果父进程尝试修改共享的内存页，内核会为父进程同样制作副本，而把原本的内存页留给子进程使用，这会导致即使在父进程中，原本的内存页的物理地址也会发生改变，从而使得 RDMA 等机制发生错误（要求物理地址保持不变），所以此时需要使用 madise 设置 MADV_DONTFORK 标志。

在 Linux 中，写时复制（Copy-On-Write, COW）机制主要通过页表和内存管理单元（MMU）来实现。以下是 COW 在 Linux 中的具体实现步骤：

页表标记：当进程调用 fork() 创建子进程时，父进程和子进程的页表会标记共享的内存页为只读。这意味着这些页在初始状态下是共享的，且无法被写入。

页错误处理：如果父进程或子进程尝试写入这些只读页，会触发页错误（page fault）。操作系统内核会捕获这个页错误，并执行 COW 机制。

内存页复制：在页错误发生时，操作系统会分配一个新的物理内存页，并将原始页的内容复制到这个新页中。然后，页表会更新，以指向新的可写内存页。

页表更新：操作系统更新进程的页表，使得写入操作可以在新的内存页上进行，而不会影响其他进程共享的原始页。

引用计数：操作系统维护每个内存页的引用计数，以跟踪有多少进程共享该页。当引用计数减少到零时，内存页可以被释放。

4.2. mmap

TODO

4.3. madvise

madvise 是一个系统调用，用于向内核提供关于内存使用的建议。

1
2
3

#include <sys/mman.h>

int madvise(void *addr, size_t length, int advice);

4.3.1. 选项 advice：

4.3.1.1. `MADV_DONTFORK`

MADV_DONTFORK 阻止 fork() 后的子进程看见这些范围的内存页。

这意味该内存不会被复制，即在 fork() 调用时，指定的内存区域不会被子进程继承，避免写时复制导致的页物理地址发生变化。在 fork() 之后，如果父进程对共享内存页进行写操作，写时复制（COW）机制会将这些页复制到新的物理位置。这会导致 RDMA 操作使用的内存地址不一致，从而引发数据错误。

拓展： RDMA 中，ibv_fork_init 和 RDMAV_HUGEPAGES_SAFE 会调用 madvise() 来为 IB 卡的 DMA 内存页设置 MADV_DONTFORK ，以避免数据损坏。

5. 参考

what-does-virtual-memory-size-in-top-mean
[2]: https://blog.csdn.net/weixin_42319496/article/details/125940896
[3]: https://docs.nvidia.com/networking/display/rdmaawareprogrammingv17/ibv_fork_init

KiB vs KB vs kB

Posted on 2023-11-07 Edited on 2025-08-01 In Misc

See the article: Prefixes for binary multiples

Table:

Prefixes for binary multiples

Factor	Name	Symbol	Origin	Derivation
2¹⁰	kibi	Ki	kilobinary: (2¹⁰)¹	kilo: (10³)¹
2²⁰	mebi	Mi	megabinary: (2¹⁰)²	mega: (10³)²
2³⁰	gibi	Gi	gigabinary: (2¹⁰)³	giga: (10³)³
2⁴⁰	tebi	Ti	terabinary: (2¹⁰)⁴	tera: (10³)⁴
2⁵⁰	pebi	Pi	petabinary: (2¹⁰)⁵	peta: (10³)⁵
2⁶⁰	exbi	Ei	exabinary: (2¹⁰)⁶	exa: (10³)⁶

Examples and comparisons with SI prefixes
one kibibit	1 Kibit = 2¹⁰ bit = 1024 bit
one kilobit	1 kbit = 10³ bit = 1000 bit
one byte	1 B = 2³ bit = 8 bit
one mebibyte	1 MiB = 2²⁰ B = 1 048 576 B
one megabyte	1 MB = 10⁶ B = 1 000 000 B
one gibibyte	1 GiB = 2³⁰ B = 1 073 741 824 B
one gigabyte	1 GB = 10⁹ B = 1 000 000 000 B