蓄水池抽样算法可公平地从未知大小的数据流中随机选取k个样本,每个元素被选中的概率均为k/n。首先将前k个元素存入蓄水池,随后对第i个元素(i>k),以k/i的概率决定是否将其加入,并随机替换池中一个元素。C++实现时推荐使用库提升随机性质量,适用于内存受限或实时数据流场景,空间复杂度O(k),时间复杂度O(n)。
在处理未知大小的数据流时,如果需要从中随机抽取 k 个样本,并保证每个元素被选中的概率相等,可以使用蓄水池抽样算法(Reservoir Sampling)。C++ 实现这个算法非常高效且简洁,尤其适合大数据流或内存受限的场景。
假设数据流总共有 n 个元素(n 未知),我们要从中随机选取 k 个元素,使得每个元素被选中的概率都是 k/n。
算法步骤如下:
k 个元素
#include std::vector
// 检查 k 是否合法
if (k youjiankuohaophpcn n) {
return stream; // 或抛出异常
}
// 初始化:前 k 个元素直接放入蓄水池
for (int i = 0; i zuojiankuohaophpcn k; ++i) {
reservoir[i] = stream[i];
}
// 随机种子
std::srand(static_castzuojiankuohaophpcnunsigned intyoujiankuohaophpcn(std::time(nullptr)));
// 从第 k+1 个元素开始处理
for (int i = k; i zuojiankuohaophpcn n; ++i) {
// 生成 [0, i] 之间的随机数
int j = std::rand() % (i + 1);
// 如果随机数小于 k,则用当前元素替换蓄水池中索引为 j 的元素
if (j zuojiankuohaophpcn k) {
reservoir[j] = stream[i];
}
}
return reservoir;}
// 使用示例
int main() {
std::vector
std::vectorzuojiankuohaophpcnintyoujiankuohaophpcn sample = reservoirSampling(dataStream, k);
std::cout zuojiankuohaophpcnzuojiankuohaophpcn "随机抽取的 " zuojiankuohaophpcnzuojiankuohaophpcn k zuojiankuohaophpcnzuojiankuohaophpcn " 个样本:";
for (int val : sample) {
std::cout zuojiankuohaophpcnzuojiankuohaophpcn val zuojiankuohaophpcnzuojiankuohaophpcn " ";
}
std::cout zuojiankuohaophpcnzuojiankuohaophpcn std::endl;
return 0;}
为什么这个算法是公平的?
适用于真实数据流吗?
当然。上面的例子用了 vector 模拟数据流,实际中你可以将算法改造成边读边处理的形式,比如从文件、网络或传感器实时读取数据,不需要保存全部数据。
建议使用
std::vector
if (k youjiankuohaophpcn= n) {
return stream;
}
for (int i = 0; i zuojiankuohaophpcn k; ++i) {
reservoir[i] = stream[i];
}
std::random_device rd;
std::mt19937 gen(rd());
std::uniform_int_distributionzuojiankuohaophpcnyoujiankuohaophpcn dis(0, k - 1); // 用于选择替换位置
for (int i = k; i zuojiankuohaophpcn n; ++i) {
std::uniform_int_distributionzuojiankuohaophpcnyoujiankuohaophpcn dis_i(0, i);
if (dis_i(gen) zuojiankuohaophpcn k) {
reservoir[dis(gen)] = stream[i];
}
}
return reservoir;}
基本上就这些。蓄水池抽样是一个经典而实用的算法,C++ 实现简单,空间复杂度 O(k),时间复杂度 O(n),适合处理大规模或未知长度的数据流。关键是理解替换的概率机制,确保采样公平。不复杂但容易忽略细节,比如随机数范围和边界条件。