SQLite 中的内部 BLOB 与外部 BLOB

如果您有一个包含大型 BLOB 的数据库，当您将完整的 BLOB 内容直接存储在数据库中时，读取性能会更好吗？还是将每个 BLOB 存储在一个单独的文件中并仅将相应的文件名存储在数据库中会更快？

为了尝试回答这个问题，我们在 Linux 工作站（大约 2011 年的 Ubuntu，在快速 SATA 磁盘上使用 Ext4 文件系统）上运行了 49 个具有各种 BLOB 大小和 SQLite 页面大小的测试用例。对于每个测试用例，都会创建一个包含 100MB BLOB 内容的数据库。BLOB 的大小从 10KB 到 1MB 不等。BLOB 的数量有所不同，以便将总 BLOB 内容保持在大约 100MB。（因此，1MB 大小有 100 个 BLOB，10K 大小有 10000 个 BLOB，等等。）使用了 SQLite版本 3.7.8 (2011-09-19)。

更新：SQLite 版本 3.19.0 (2017-05-22) 的新测量表明，对于 10KB blob 的读取和写入，SQLite 比直接磁盘 I/O 快约 35% 。

下面的矩阵显示了读取存储在单独文件中的 BLOB 所需的时间除以读取完全存储在数据库中的 BLOB 所需的时间。因此，对于大于 1.0 的数字，将 BLOB 直接存储在数据库中会更快。对于小于 1.0 的数字，将 BLOB 存储在单独的文件中会更快。

在每种情况下，页面缓存大小都进行了调整，以将缓存内存量保持在大约 2MB。例如，2000 页面缓存用于 1024 字节页面，31 页面缓存用于 65536 字节页面。BLOB 值以随机顺序读取。

数据库页面大小	BLOB 大小
数据库页面大小	10k	20k	50k	100k	200k	500k	1m
1024	1.535	1.020	0.608	0.456	0.330	0.247	0.233
2048	2.004	1.437	0.870	0.636	0.483	0.372	0.340
4096	2.261	1.886	1.173	0.890	0.701	0.526	0.487
8192	2.240	1.866	1.334	1.035	0.830	0.625	0.720
16384	2.439	1.757	1.292	1.023	0.829	0.820	0.598
32768	1.878	1.843	1.296	0.981	0.976	0.675	0.613
65536	1.256	1.255	1.339	0.983	0.769	0.687	0.609

我们从上面的矩阵中推导出以下经验法则：

8192 或 16384 的数据库页面大小可为大型 BLOB I/O 提供最佳性能。
对于小于 100KB 的 BLOB，当 BLOB 直接存储在数据库文件中时读取速度更快。对于大于 100KB 的 BLOB，从单独的文件读取速度更快。

当然，您的里程可能因硬件、文件系统和操作系统而异。在进行特定设计之前，请仔细检查目标硬件上的这些数字。