17370845950

fgetcsv读取Excel导出的CSV时因UTF-8 BOM未自动剥离导致去重失效，需用ltrim($line, "\xEF\xBB\xBF")预处理；同时应清洗零宽字符、使用事务保证原子性，并借助ON DUPLICATE KEY UPDATE高效处理重复。

为什么 fgetcsv 读取 Excel 导出的 CSV 会多出 BOM 头导致去重失效

很多班级通信录是老师用 Excel 编辑后另存为 CSV 的，这类文件开头常带 UTF-8 BOM（\xEF\xBB\xBF），但 fgetcsv 不自动剥离。结果同样是“张三”，一条是 "张三"，另一条是 "\xEF\xBB\xBF张三"，用 array_unique 或数据库 UNIQUE 都判为不同。

实操建议：

• 读取每行前先用 ltrim($line, "\xEF\xBB\xBF") 去 BOM，别只依赖 mb_convert_encoding
• 用 hexdump -C file.csv | head -n1 检查原始文件是否含 BOM（开头出现 ef bb bf）
• 如果用 str_getcsv 处理单行，也要对字段逐个 trim() + ltrim(..., "\xEF\xBB\xBF")

用 INSERT ... ON DUPLICATE KEY UPDATE 还是先 SELECT 再判断

班级通信录导入常见主键是学号或手机号，设为 UNIQUE 后，直接走 MySQL 的冲突处理比 PHP 层查再插快得多，尤其批量超 50 条时。

实操建议：

• 建表时给 student_id 或 phone 加 UNIQUE 索引，否则 ON DUPLICATE KEY 不生效
• SQL 示例：INSERT INTO class_contact (student_id, name, phone) VALUES (?, ?, ?) ON DUPLICATE KEY UPDATE name=VALUES(name), phone=VALUES(phone)
• 避免用 REPLACE INTO：它本质是删+插，会引发自增 ID 跳变、触发器重复执行
• 如果要记录“本次跳过几条重复数据”，可在 PHP 中捕获 mysqli_affected_rows() 返回值：0 表示冲突更新（即原记录存在），1 表示新插入

PHP 数组去重时，array_unique 默认不比较中文字段？

array_unique 默认用 string 比较，对 UTF-8 中文没问题，但前提是所有字段已统一编码且无不可见字符（如全角空格、零宽空格）。班级名单里常混入从微信复制的姓名，带 \xE2\x80\x8B（Zero Width Space）。

实操建议：

• 清洗字段时加一步：preg_replace('/[\x{200B}-\x{200D}\x{FEFF}]/u', '', $str)（移除常见零宽字符）
• 用 array_unique($data, SORT_REGULAR)，别用 SORT_STRING（后者会强制转字符串，可能把数字学号变成字符串再比，影响逻辑）
• 调试时用 bin2

  

  hex($name) 看实际字节，比肉眼判断更可靠

导入中途失败，怎么保证已入库数据不残留“半条记录”

班级通信录常含多个关联字段（如学生、班级、家长电话），如果用单条 INSERT 循环，某条因手机号格式错误中断，前面成功的就留在库中，下次重跑又重复——这不是去重问题，是事务缺失。

实操建议：

• 整个导入过程包在 mysqli_begin_transaction() + try/catch 里，失败则 rollback()
• 不要在循环里逐条 commit，等全部验证通过再 commit()
• 若必须分批（比如 500 条一批），每批独立事务，并记录最后成功导入的 student_id 到临时表，供断点续传用

真正麻烦的不是重复本身，而是“看起来去重了，其实因编码/空白/事务问题漏掉了某些重复场景”。每次上线前，拿含 BOM、带零宽空格、手机号中间有空格的测试文件跑一遍，比写十遍逻辑更管用。