关注「索引目录」公众号，获取更多干货。
目前正在开发FreeDevTools online，这是一个*汇集所有开发工具、秘籍和简要说明*的平台*——一个免费的开源中心，开发者可以在这里快速找到并使用各种工具，而无需在互联网上到处搜索。
处理大量 SVG 文件时，在将它们的元数据写入 SQLite 的同时并行处理它们可能具有挑战性。
SQLite 提供强大的事务保证，但一次只允许一个写入者。
如果多个 goroutine 并发写入，数据库就会成为瓶颈，导致争用、速度减慢或锁超时。
为了解决这一限制，我在 Go 中实现了生产者-消费者模式。
该设计将多个 CPU 核心专门用于 CPU 密集型工作（SVG 处理），并将所有数据库写入隔离到一个单一的、线性化的消费者阶段。
这样既能保证高吞吐量，又不会使 SQLite 过载。
架构概述
该系统包含三个主要组成部分：
- 生产者
：多个 goroutine，用于处理 CPU 密集型的 SVG 处理。 - 通道
：将生产者与消费者解耦的缓冲管道。 - 消费者
：专门负责数据库写入的 goroutine。
目标是在确保 SQLite 不发生争用的情况下，使 CPU 充分利用并行工作。
为什么选择这种建筑风格？
-
我的机器有8个核心。 - 分配了7 个核心
给用于解析 SVG、计算 base64、提取元数据和准备插入有效载荷的生产者。 - 1 个核心
被一个对 SQLite 执行顺序写入的用户有效利用。 -
这保证了： -
CPU密集型任务的最大吞吐量。 -
不允许并行写入 SQLite。 -
流畅、高速率的数据摄取，无数据库锁定错误。
组件详解
1. 缓冲通道
通信机制采用两个缓冲通道：
iconChan图标元数据 clusterChan集群元数据
这些渠道起到反压力作用。生产者可以持续生产，直到缓冲库存填满，而消费者则可以按照自己的节奏消耗这些库存。
iconChan := make(chan IconInsertData, 100)
clusterChan := make(chan ClusterInsertData, 50)2. 生产者 Goroutine（工作程序）
七个工作进程同时运行。每个工作进程从类别渠道接收类别任务并处理 SVG 资源：
-
解析每个文件 -
将 SVG 转换为 base64 -
提取元数据 -
将准备好的有效载荷发送到通道
示例结构：
for i := 0; i < maxWorkers; i++ {
wg.Add(1)
go func(id int) {
defer wg.Done()
for cat := range categoryChan {
// CPU-heavy SVG processing
iconChan <- IconInsertData{ /*...*/ }
clusterChan <- ClusterInsertData{ /*...*/ }
}
}(i)
}通过将七个 CPU 核心专门用于此处理阶段，可以最大限度地提高繁重工作的吞吐量。
3. 消费者 goroutine（数据库写入器）
SQLite 对并发写入的处理能力较差。我们没有让所有生产者直接写入数据库，而是使用了两个专用的消费者 goroutine——一个用于图标，一个用于集群。
每个消费者从各自的通道读取数据并写入数据库。由于每个消费者都是其域中唯一的写入者，因此消除了事务冲突。
go func() {
defer dbWg.Done()
for iconData := range iconChan {
// Insert iconData into SQLite
}
}()类似地，对于聚类数据：
go func() {
defer dbWg.Done()
for clusterData := range clusterChan {
// Insert clusterData into SQLite
}
}()这种结构明确了职责划分：
- 生产者负责所有计算密集型任务。
- 消费者对数据库操作进行序列化。
4. 同步
两个WaitGroups 协调所有 goroutine：
wg等待生产工人。 dbWg等待消费者作家。
所有生产者阅读完类别后：
close(iconChan)
close(clusterChan)消费者检测到关闭的通道，完成待处理的写入操作，并正常退出。
为什么这种方法对 SQLite 特别有效
SQLite 的写锁模型很简单：一次只能进行一个写事务。
如果多个 goroutine 同时尝试写入：
-
你犯了 database is locked一些错误。 -
写入操作无论如何都会被序列化，但这会造成不必要的争用。 -
吞吐量严重下降。
通过为每个表域指定一个写入器，写入操作变为：
-
可预测的 -
无内容 -
高效的
由于生产者从不直接接触数据库，SQLite 始终可用于插入操作，不存在并行写入冲突的风险。
性能特征
CPU 利用率：
在进行大量 SVG 处理时，7 个生产者工作进程完全占用 7 个 CPU 核心。
数据库稳定性：
消费者 goroutine 写入 SQLite 时始终保持较低的 CPU 使用率，并且没有锁争用。
吞吐量：
该模型能够实现高摄取速率，原因如下：
-
生产者从不等待数据库。 -
消费者之间从不发生冲突。 -
通道缓冲区可以平滑短时工作负载突发。
最后说明
这种架构是典型的生产者-消费者模式，并针对 Go 的并发模型和 SQLite 的限制进行了定制。它确保：
-
CPU密集型任务并行执行。 -
I/O密集型数据库操作仍然串行执行。 -
该系统在 SQLite 的限制范围内高效利用硬件。
关注「索引目录」公众号，获取更多干货。