本文由GPT-5.3-Codex·Medium撰写。

1. 先理解 YOLO11n 是如何被加载的

在这个仓库里，YOLO11n 不是单独一个 yolo11n.yaml 文件，而是通过 yolo11.yaml 里的 scales.n 缩放规则得到。

核心流程：

1. 传入 model=yolo11n.yaml 或 yolo11n.pt
2. 解析时会统一映射到 ultralytics/cfg/models/11/yolo11.yaml
3. 从文件名中提取 scale=n
4. 使用 parse_model() 按 YAML 的 backbone/head 构建网络

涉及关键代码：

• ultralytics/nn/tasks.py
  • yaml_model_load()
  • guess_model_scale()
  • parse_model()
  • DetectionModel.init()

2. 改结构时通常要改哪些文件

A. 只改网络拓扑（不新增新算子）

只需要改：

• ultralytics/cfg/models/11/yolo11.yaml

建议不要直接覆盖官方 yolo11.yaml，改为新文件，例如：

• ultralytics/cfg/models/11/yolo11n_my.yaml

前提：你用到的模块（如 Conv、C2f、C3k2、SPPF、Detect）已经在 parse_model 中支持。

B. 新增自定义模块（新增算子/Block）

通常至少需要改 3 类文件：

1. 模块实现文件

• ultralytics/nn/modules/block.py
• 或 ultralytics/nn/modules/conv.py
• 或 ultralytics/nn/modules/head.py

1. 模块导出文件

• ultralytics/nn/modules/init.py

1. 模型解析与注册

• ultralytics/nn/tasks.py
  • 顶部 import 列表要导入新模块
  • parse_model() 里按模块类型处理参数
  • 若你的模块是 [c1, c2, …] 这种常规结构块，要加入 base_modules
  • 若你的模块支持 repeats，要加入 repeat_modules

C. 如果改了检测头输出定义

还要同步检查：

• ultralytics/nn/modules/head.py
• ultralytics/utils/loss.py
• 推理后处理相关逻辑（如解码、维度约定）

否则可能出现训练正常但推理/导出异常，或 loss 维度不匹配。

3. 示例 1：只改 YAML（推荐先从这里开始）

目标：把骨干某层从 C3k2 改成 C2f，快速验证结构变更流程。

3.1 新建配置文件

复制：

• ultralytics/cfg/models/11/yolo11.yaml
  到：
• ultralytics/cfg/models/11/yolo11n_my.yaml

然后把其中一层改掉（示例）：

1
2
3
4
5

# 原来
- [-1, 2, C3k2, [256, False, 0.25]]

# 修改后
- [-1, 2, C2f, [256, True]]

说明：

• C2f 已被 parse_model 支持，通常不需要改 Python 源码。
• 这是最稳妥的“改结构”方式，适合先做 baseline。

3.2 训练验证

1

yolo detect train model=ultralytics/cfg/models/11/yolo11n_my.yaml data=coco8.yaml imgsz=640 epochs=1

4. 示例 2：新增自定义模块 MyBlock

假设你要新增一个模块 MyBlock，并在 YAML 里使用它。

4.1 在模块文件中实现

在 ultralytics/nn/modules/block.py 增加：

1
2
3
4
5
6
7
8

class MyBlock(nn.Module):
    def __init__(self, c1, c2, k=3):
        super().__init__()
        self.cv1 = Conv(c1, c2, k, 1)
        self.cv2 = Conv(c2, c2, 3, 1)

    def forward(self, x):
        return self.cv2(self.cv1(x))

4.2 在导出文件注册

在 ultralytics/nn/modules/init.py：

1. 从 block import MyBlock
2. 把 MyBlock 加入 all

4.3 在 tasks.py 注册给解析器

在 ultralytics/nn/tasks.py：

1. 顶部 from ultralytics.nn.modules import (…) 中加入 MyBlock
2. 在 parse_model() 的 base_modules 集合加入 MyBlock
3. 如果 MyBlock 支持 repeats 参数 n，再加入 repeat_modules

4.4 在 YAML 中使用

例如在 yolo11n_my.yaml 中：

1

- [-1, 1, MyBlock, [256, 3]]

5. 高风险注意事项（非常重要）

1. 文件命名与 scale 自动识别

• scale 是从文件名里识别的（n/s/m/l/x）。
• 如果命名不规范，可能拿不到期望的缩放系数。
• 推荐命名包含 n/s/m/l/x，例如 yolo11n_my.yaml。

1. 通道数和拼接索引必须匹配

• Concat 的输入层索引、输出通道必须和后续层对齐。
• 一旦改动 backbone/head 任意层，后续引用索引都要复核。

1. repeats 和参数顺序

• parse_model 会对部分模块自动插入 repeats 到参数中。
• 如果你的模块参数顺序设计不一致，会在构建时报错或 silent shape 错误。

1. Detect 头改动要联动 loss 与后处理

• 改检测头输出格式，不仅要改 head，还要改 loss 与 decode 逻辑。

1. 预训练权重加载不是全量匹配

• 改结构后常见现象是仅部分权重能迁移，这是正常的。
• 需要关注日志里的 transferred items，确认是否符合预期。

1. 先做最小可运行验证

• 建议先用 coco8 做 1 个 epoch 烟雾测试，再跑正式训练。

6. 推荐修改流程（实践版）

1. 先只改 YAML，确保能 train + val + predict。
2. 再引入自定义模块，逐步加到 parse_model。
3. 每改一步都做一次最小训练/推理验证。
4. 最后再考虑导出（ONNX/TensorRT）兼容性测试。

7. 快速自检清单

• 是否新建了独立 YAML（避免污染官方配置）
• parse_model 是否能识别你的模块名
• base_modules/repeat_modules 是否注册正确
• Concat/Detect 的输入索引和通道是否一致
• 训练、推理、导出至少各做过一次最小验证

PS：封面图来源：AiRomance

量化可以分为两类，一类是模型压缩，一类是网络结构设计。

模型压缩的技术主要包括剪枝，量化和知识蒸馏。

现有的目标检测模型的Backbone主要是基于CNN或者Transformer。相比之下CNN是更有效率的，Transformer的注意力机制会产生大量的计算。

关于轻量级网络设计

基于CNN的轻量级网络设计

这里多是设计base CNN的网络的，卷积块的设计。比如深度可分离卷积、分组卷积和幽灵卷积。

对于普通卷积，输入特征图的尺寸为$H×W×C{in}$，输出特征图的尺寸为$H×W×C{out}$，卷积核实际维度为$K×K×C{in}$。输出通道数为$C{out}$，代表卷积核的数量。

深度可分离卷积是将标准卷积分解为深度卷积和逐点卷积。深度卷积对每个输入通道进行独立的卷积操作，而逐点卷积则使用1x1卷积来混合不同通道的信息。这种方法显著减少了计算量和参数数量。但是深度卷积并行效率较低，信息提取能力也更弱。

分组卷积将输入通道分成多个组，每个组独立进行卷积操作。然后将每个组的输出特征图连接起来形成最终的输出特征图。但是不同组之间不能信息交换，有channel shuffle operation来解决这个问题。反向想，如果分组卷积用和普通卷积相同参数量，那么就会生成分组数倍的特征图，比如YOLOv7中的E-ELAN。但是分组卷机会增加memory access costs（内存访问成本）。

幽灵卷积，一代幽灵卷积是通过生成一些“幽灵特征图”来减少计算量和参数数量。它首先使用一个小的卷积核生成一部分特征图，然后通过线性变换生成剩余的特征图。v2引入DFC注意力机制来解决空间信息表示不足的问题。v3加入很多轻量化策略。

因为卷积块还是受限于矩形形状，也有很多研究不同形状的卷积块。

总之，轻量卷积的方法基本就是在保证特征提取能力的同时减少冗余计算，同时也要注意计算效率。

Reparameterisation，训练时使用复杂的结构来增强模型的表达能力，推理时将其转换为更简单的结构以提高效率。比如训练时使用残差网络结构，推理时将其转换为普通卷积结构。

基于Transformer的轻量级网络设计

开发高效的轻量级注意力机制对于轻量级Transformer模型至关重要。注意力机制的更改需要非常专业的知识，也有Neural Architecture Search (NAS)来自动搜索更高效的注意力机制。

关于模型压缩

剪枝

对于目标检测模型，模型结构对结果的影响很大，所以大多数剪枝的研究都是结构化剪枝。剪枝主要是将不重要的卷积核或者通道剪掉，减少计算量和参数数量。早期的剪枝方法主要是基于权重的绝对值来判断重要性，后来引入了更多的指标，比如梯度、特征图等。剪枝后需要进行微调来恢复模型的性能。

量化

量化指用低精度数据替换高精度数据。

根据量化过程发生的阶段，可分为训练时量化（Quantization Aware Training, QAT）和后训练量化（Post-Training Quantization, PTQ）。QAT在训练过程中模拟量化误差，允许模型适应低精度表示，从而通常能获得更好的性能。PTQ则是在模型训练完成后进行量化。

根据量化的数据点之间的间隔，可分为均匀量化和非均匀量化。均匀量化使用固定的间隔将数值范围划分为离散的级别，而非均匀量化则根据数据分布动态调整间隔。均匀量化常用方法有超低精度量化和INT8量化。

知识蒸馏

蒸馏分为离线蒸馏和在线蒸馏。离线蒸馏是先训练一个大模型（教师模型），然后用它来指导一个小模型（学生模型）的训练。在线蒸馏则是同时训练教师模型和学生模型，教师模型在训练过程中不断更新。

还有自蒸馏（Self-Distillation），即模型自己作为教师来指导自己的训练。

根据传递的知识类型，蒸馏可以分为响应蒸馏、特征蒸馏和关系蒸馏。响应蒸馏是通过教师模型的输出概率分布来指导学生模型的训练。特征蒸馏是通过教师模型的中间特征图来指导学生模型的训练。关系蒸馏是通过教师模型中不同层之间的关系来指导学生模型的训练。

以上总结基于以下文章：
He, Jing, Jianfei Jiang, and Changfan Zhang. “A Survey of Lightweight Methods for Object Detection Networks.” Array (2025): 100589.

PS：封面图来源：marronpan160

Harbor自带Trivy扫描器，可以用来扫描仓库中的镜像是否有漏洞。开启仅需要运行命令sudo ./install.sh --with-trivy即可。但是Trivy默认要联网下载数据库，国内服务器完全连不上它的数据库网址，然后下载失败。

总体思路是在别的电脑上先下载所需要的文件，然后通过scp上传到服务器上，解压后放在Trivy挂载的文件夹里面。

下载db和java-db文件

我们需要Trivy DB v2，这里选择用Oras CLI进行下载。
根据Oras官网安装文档,选择通过Docker下载。

1
2

docker pull ghcr.io/oras-project/oras:v1.3.0

这里需要用wsl或者linux运行命令：

1
2

docker run -it --rm -v $(pwd):/workspace ghcr.io/oras-project/oras:v1.3.0 pull ghcr.io/aquasecurity/trivy-db:2
docker run -it --rm -v $(pwd):/workspace ghcr.io/oras-project/oras:v1.3.0 pull ghcr.io/aquasecurity/trivy-java-db:1

关闭trivy自动更新

在harbor.yml文件里找到trivy的配置：

1
2
3

skip_update: true
skip_java_db_update: true
offline_scan: true

1
2

sudo docker compose down
sudo docker compose up -d

将文件放在挂载目录

harbor会自动将自己默认存储位置挂载到trivy镜像里面，
如何查看Trivy挂载的文件位置：

1

docker inspect <trivy容器ID> | grep -A5 Mounts

1
2
3
4
5
6

"Mounts": [
    {
        "Type": "bind",
        "Source": "/home/harbor/data/trivy-adapter/trivy",
        "Destination": "/home/scanner/.cache/trivy",
        "Mode": "rw",

1
2
3

# 假设你当前在 /home/yourname/trivy
sudo cp -r trivy/db /home/yourname/harbor/data/trivy-adapter/trivy/
sudo cp -r trivy/java-db /home/yourname/harbor/data/trivy-adapter/trivy/

最终文件结构：

1
2
3
4
5
6
7

/home/yourname/harbor/data/trivy-adapter/trivy/
├── db
│   ├── trivy.db
│   └── metadata.json
├── java-db
    ├── trivy-java.db
    └── metadata.json

拷贝完trivy应该能正常工作了。如果有问题的话有可能是文件的权限问题。

PS: 封面来自这里

1. 概览

使用设备：Windows11，内存32G，Demo所需存储空间约为50G。

Harbor版本：2.14.2

Docker版本：29.1.3

2. wsl中Ubuntu-22.04的安装

1

wsl --install -d Ubuntu-22.04

输入ubuntu系统用户名和密码。

查看你安装了哪些版本的linux

1

wsl -l -v

1

wsl -d Ubuntu-22.04

1

wsl --set-default Ubuntu-22.04

3. 安装Harbor

1. 下载Harbor离线安装包

   1 2 3 4 5

   mkdir demo cd demo wget https://github.com/goharbor/harbor/releases/download/v2.14.2/harbor-offline-installer-v2.14.2.tgz tar xzvf harbor-offline-installer-v2.14.2.tgz cd harbor

   只有在与外部互联网完全隔离的测试或开发环境中，使用 HTTP 才是可接受的。
   在此并不配置https。配置https官方教程
   Harbor在版本1.9.x（包含）都默认使用http进行通信

2. 编辑Harbor YML File

1
2

cp harbor.yml.tmpl harbor.yml
vi harbor.yml

修改成

1
2
3
4

hostname: harbor.local
http:
  port: 5000
harbor_admin_password: Harbor12345

运行./prepare

因为windows的wsl占用了1514端口，需要更改log端口：

1
2

sed -i 's/localhost:1514/localhost:1515/g' docker-compose.yml
sed -i 's/127.0.0.1:1514/127.0.0.1:1515/g' docker-compose.yml

然后：

1

sudo docker compose up -d

1. 访问

Windows浏览器访问http://localhost:5000/即可进行登录

关于管理员可以做什么，官网文档链接

停止Harbor镜像：

1

sudo docker compose stop

1

sudo docker compose start

4. 镜像管理

首先创建一个Project，名字取为algos,设置为public,存储空间限制为30G。

5. YOLO11 镜像Demo

构建镜像:

1
2

docker build -f docker/Dockerfile.cpu -t yolov11-cpu .
docker build -f docker/Dockerfile.gpu -t yolov11-gpu .

使用镜像：

1
2
3

docker run --rm -v D:\datasets\food-101\images\baby_back_ribs:/input -v D:\output:/output yolov11-cpu python infer.py /input/54203.jpg /output/result.jpg

docker run --rm --gpus all -v D:\datasets\food-101\images\baby_back_ribs:/input -v D:\output:/output yolov11-gpu python infer.py /input/54203.jpg /output/result.jpg

查看wsl的ip,在wsl中运行：

1

ip addr show eth0

1

"insecure-registries": ["172.18.246.156:5000"]

1
2
3
4
5
6
7
8
9
10
11
12

{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "insecure-registries": [
    "172.18.246.156:5000"
  ]
}

1

docker login 172.18.246.156:5000

输入账号密码

登陆成功后给镜像打标签并推送：

1
2

docker tag yolov11-cpu:latest 172.18.246.156:5000/algos/yolov11-cpu:latest
docker push 172.18.246.156:5000/algos/yolov11-cpu:latest

1
2

docker tag yolov11-gpu:latest 172.18.246.156:5000/algos/yolov11-gpu:latest
docker push 172.18.246.156:5000/algos/yolov11-gpu:latest

如何删除wsl上的系统

1
2

wsl --list --verbose
wsl --unregister Ubuntu-22.04

PS: 封面链接

状态空间模型（State Space Models）

用于预测连续序列在给定输入下的下一状态。
固定动态特性

Mamba

Mamba 是一种基于 选择性状态空间模型（Selective SSM） 的序列建模架构，它最大的特点是：

• 时间复杂度和显存复杂度都是 线性 O(L)
• 非常擅长 长序列建模
• 可以作为 Transformer Block 的高效替代

目前已经在 NLP、Vision 以及多模态领域 都有广泛应用。

从本质上看，Mamba 用 SSM 来建模序列依赖，避免了自注意力的二次复杂度瓶颈。

MambaVision: A Hybrid Mamba-Transformer Vision Backbone

这篇文章是英伟达更改Mamba结构然后在视觉任务上的一次尝试。

核心问题

• transformer 计算瓶颈（n2）
• 原生Mamba在视觉任务上局限性

创新点

• 专为视觉设计的Mamba模块：MambaVision Mixer
• Mamba与Transformer混合新架构
• 分层设计

架构设计

1. 在高分辨率图像输入后先用卷积层进行下采样（前两个阶段）
2. MambaVision blocks 进行深度特征的序列建模，Transformer blocks 恢复丢失的全局上下文并捕获长程空间依赖性。

先用 MambaVision Mixer 提升 token 的全局语义一致性
再用 Transformer 精修空间关系

RoMA: Scaling up Mamba-based Foundation Models for Remote Sensing

这篇论文是讲Mamba模型应用到遥感图像领域，专注于高分辨率遥感图像中的多尺度视觉任务。

RoMA 主要有三点贡献：

1. 它是首个面向遥感的 Mamba 自监督自回归预训练框架。
2. 提出了 动态旋转感知机制，应对目标方向任意的问题。
3. 设计了 多尺度预测目标，解决遥感中目标尺度变化极大的问题。

自回归预训练策略

在预训练策略上，RoMA 和 MAE 有本质区别。

• MAE 只编码部分可见 patch
• RoMA 用 Mamba 编码 所有 patch
  同时：
• MAE 是重建被 mask 的区域
• RoMA 是预测 下一个 token
  这种自回归方式与 Mamba 的顺序建模特性是天然契合的。

自适应旋转编码

针对遥感目标 方向任意、分布稀疏 的问题，RoMA 提出了自适应旋转编码策略。
核心包括两点：

• 使用 LBP 算法筛选高价值区域进行旋转增强
• 显式引入角度嵌入，提供方向先验
  这显著提升了模型对旋转不变性的感知能力。

多尺度预测 & 可扩展性

在多尺度方面，RoMA 不仅计算每个 patch 的 loss，还计算 patch 组合形成的 簇级别 loss。
这让模型同时关注：

• 小目标
• 大结构

同时实验表明：

• 数据越多，效果越好
• 模型越大，效果越好
  具备良好的基础模型扩展性。

下游任务 & 总结

在下游任务上，RoMA 在场景分类、变化检测和语义分割中都取得了优异表现。
特别是在线性探测设置下，小目标效果依然很好，说明预训练特征质量很高。

在 1248×1248 分辨率下，相对于ViT模型，

• 显存降低近 79%
• 推理速度提升 1.56 倍

引用

1. Mamba 模型
2. 【SCI论文高能解析】从NLP杀到CV的降维打击！MambaVision首次挑战Transformer霸主地位！

PS: 封面来自这里