跑过Hadoop集群的人都明白，单机跑K-means遇上TB级数据基本卡死。有人问为什么不用Spark，当时项目是2014年的，集群就Hadoop一家，只能硬在MapReduce上实现。把K-means搬上来，本质是把迭代聚类的两步——算距离、更新质心——拆成Map和Reduce两个阶段反复跑。思路不复杂，但工程细节坑不少，结合我做过的项目展开说。
mapreduce跑kmeans
Map阶段做的事很直白：每个数据点计算到当前全部质心的距离，取最近质心的ID作为输出key，数据点本身当value写出去。注意这里一个点只产生一条输出，不是k条，所以Map的输出量等于输入量，不会膨胀。Reduce端按质心ID分组，收齐同组所有点之后算各维度坐标均值，得到新质心坐标。一轮MapReduce刚好完成一次K-means迭代，逻辑干净但HDFS的IO量很大，是主要瓶颈。
实际跑的时候有个容易忽略的坑：质心数k设得大，Map里每个点要算k次距离，CPU开销直接翻倍。我们项目k=256、数据量5亿条，单轮Map跑了四十多分钟，其中读写HDFS占了一大半时间。后来把质心坐标通过DistributedCache广播到每个MapTask的本地内存，省掉了每轮反复读HDFS的开销，单轮压到十二分钟出头，效果立竿见影。质心总共也就几百KB，广播成本几乎为零。
kmeans几轮mapreduce
收敛轮数主要看数据分布和质心初值。数据干净、初值合理，三五轮就稳；多模态分布或者初值踩了坏位置，十几轮不收敛也正常。MapReduce框架本身没有内置终止条件，得在Driver里写循环逻辑：每轮Reduce跑完，拿新旧质心算各质心移动距离的均方根，小于阈值就停，否则把新质心序列写回HDFS再提交下一轮作业。阈值定多少很经验，我们项目设的0.01，基本五到七轮收敛。
还有个点容易忽略：轮与轮之间是严格的串行依赖，第n+1轮的质心依赖第n轮Reduce的输出，没法跨轮并行。整个算法总耗时就是轮数乘单轮耗时，想提速只能缩短单轮或者砍掉无意义的迭代轮数，没有别的结构上的捷径。
跑完整个项目下来，kmeans mapreduce原理说白了就是把迭代拆成多轮MapReduce，轮内并行、轮间串行。工程上最该盯住两件事：质心怎么广播、收敛阈值怎么设。这两点调好，整体性能差距能有两三倍，别小看这些细节。
