分页是处理大型数据集时任何数据库操作的关键部分。它允许您将数据分割成可管理的块，从而更容易浏览、处理和显示。 MongoDB 提供了两种常见的分页方法：基于偏移量和基于游标。虽然这两种方法具有相同的目的，但它们在性能和可用性方面显着不同，尤其是随着数据集的增长。
让我们深入研究这两种方法，看看为什么基于光标的分页通常优于基于偏移量的分页。
基于偏移量的分页非常简单。它检索从给定偏移量开始的特定数量的记录。例如，第一页可能检索记录 0-9，第二页检索记录 10-19，依此类推。
但是，这种方法有一个显着的缺点：当您移动到更高的页面时，查询会变得更慢。这是因为数据库需要跳过前几页的记录，这涉及到扫描它们。
这是基于偏移量的分页代码：
async function offset_based_pagination(params) {
const { page = 5, limit = 100 } = params;
const skip = (page - 1) * limit;
const results = await collection.find({}).skip(skip).limit(limit).toArray();
console.log(`Offset-based pagination (Page ${page}):`, results.length, "page", page, "skip", skip, "limit", limit);
}
基于游标的分页，也称为键集分页，依赖于唯一标识符（例如 ID 或时间戳）来对记录进行分页。它不会跳过一定数量的记录，而是使用最后检索到的记录作为获取下一组记录的参考点。
这种方法更加高效，因为它避免了扫描当前页面之前的记录。因此，无论您深入数据集多深，查询时间都保持一致。
这是基于光标的分页代码：
async function cursor_based_pagination(params) {
const { lastDocumentId, limit = 100 } = params;
const query = lastDocumentId ? { documentId: { $gt: lastDocumentId } } : {};
const results = await collection
.find(query)
.sort({ documentId: 1 })
.limit(limit)
.toArray();
console.log("Cursor-based pagination:", results.length);
}
在此示例中，lastDocumentId 是上一页中最后一个文档的 ID。当查询下一页时，数据库会获取ID大于该值的文档，确保无缝过渡到下一组记录。
让我们看看这两种方法如何在大型数据集上执行。
async function testMongoDB() {
console.time("MongoDB Insert Time:");
await insertMongoDBRecords();
console.timeEnd("MongoDB Insert Time:");
// Create an index on the documentId field
await collection.createIndex({ documentId: 1 });
console.log("Index created on documentId field");
console.time("Offset-based pagination Time:");
await offset_based_pagination({ page: 2, limit: 250000 });
console.timeEnd("Offset-based pagination Time:");
console.time("Cursor-based pagination Time:");
await cursor_based_pagination({ lastDocumentId: 170000, limit: 250000 });
console.timeEnd("Cursor-based pagination Time:");
await client.close();
}
在性能测试中，您会注意到基于偏移分页需要更长，因为页码增加，而光标基于的分页保持一致，使其成为大型数据集的更好选择。此示例还展示了索引的强大功能。尝试删除索引然后查看结果！
如果没有索引，MongoDB 将需要执行集合扫描，这意味着它必须查看集合中的每个文档以查找相关数据。这是低效的，尤其是当数据集增长时。索引可以让 MongoDB 高效地找到符合您查询条件的文档，显着提升查询性能。
在基于游标的分页上下文中，索引可确保快速获取下一组文档（基于 documentId），并且不会随着更多文档添加到集合中而降低性能。
虽然基于偏移的分页很容易实现，但由于需要扫描记录，因此对于大型数据集来说它可能会变得低效。另一方面，基于游标的分页提供了更具可扩展性的解决方案，无论数据集大小如何，都可以保持性能一致。如果您在 MongoDB 中处理大型集合，值得考虑基于游标的分页以获得更流畅、更快的体验。
const { MongoClient } = require("mongodb");
const uri = "mongodb://localhost:27017";
const client = new MongoClient(uri);
client.connect();
const db = client.db("testdb");
const collection = db.collection("testCollection");
async function insertMongoDBRecords() {
try {
let bulkOps = [];
for (let i = 0; i < 2000000; i++) {
bulkOps.push({
insertOne: {
documentId: i,
name: `Record-${i}`,
value: Math.random() * 1000,
},
});
// Execute every 10000 operations and reinitialize
if (bulkOps.length === 10000) {
await collection.bulkWrite(bulkOps);
bulkOps = [];
}
}
if (bulkOps.length > 0) {
await collection.bulkWrite(bulkOps);
console.log("? Inserted records till now -> ", bulkOps.length);
}
console.log("MongoDB Insertion Completed");
} catch (err) {
console.error("Error in inserting records", err);
}
}
async function offset_based_pagination(params) {
const { page = 5, limit = 100 } = params;
const skip = (page - 1) * limit;
const results = await collection.find({}).skip(skip).limit(limit).toArray();
console.log(`Offset-based pagination (Page ${page}):`, results.length, "page", page, "skip", skip, "limit", limit);
}
async function cursor_based_pagination(params) {
const { lastDocumentId, limit = 100 } = params;
const query = lastDocumentId ? { documentId: { $gt: lastDocumentId } } : {};
const results = await collection
.find(query)
.sort({ documentId: 1 })
.limit(limit)
.toArray();
console.log("Cursor-based pagination:", results.length);
}
async function testMongoDB() {
console.time("MongoDB Insert Time:");
await insertMongoDBRecords();
console.timeEnd("MongoDB Insert Time:");
// Create an index on the documentId field
await collection.createIndex({ documentId: 1 });
console.log("Index created on documentId field");
console.time("Offset-based pagination Time:");
await offset_based_pagination({ page: 2, limit: 250000 });
console.timeEnd("Offset-based pagination Time:");
console.time("Cursor-based pagination Time:");
await cursor_based_pagination({ lastDocumentId: 170000, limit: 250000 });
console.timeEnd("Cursor-based pagination Time:");
await client.close();
}
testMongoDB();
以上是释放 MongoDB：为什么基于游标的分页每次都优于基于偏移量的分页！的详细内容。更多信息请关注PHP中文网其他相关文章！
