2
0

generate-area-sql.mjs 4.5 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168
  1. #!/usr/bin/env node
  2. /**
  3. * 区域数据CSV转SQL导入脚本
  4. * 将 docs/省市区.csv 转换为 area_data 表的 INSERT 语句
  5. * 使用方法: node docs/generate-area-sql.mjs
  6. */
  7. import fs from 'fs';
  8. import path from 'path';
  9. import { fileURLToPath } from 'url';
  10. // 获取当前目录
  11. const __filename = fileURLToPath(import.meta.url);
  12. const __dirname = path.dirname(__filename);
  13. // 文件路径
  14. const csvFilePath = path.join(__dirname, '省市区.csv');
  15. const outputSqlPath = path.join(__dirname, 'area_data_init.sql');
  16. // 读取CSV文件
  17. function readCSV(filePath) {
  18. try {
  19. const content = fs.readFileSync(filePath, 'utf-8');
  20. return content.trim().split('\n');
  21. } catch (error) {
  22. console.error('读取CSV文件失败:', error.message);
  23. process.exit(1);
  24. }
  25. }
  26. // 解析CSV行
  27. function parseCSVLine(line) {
  28. // 处理包含逗号的字段
  29. const parts = line.split(',');
  30. if (parts.length !== 3) {
  31. console.warn('跳过格式不正确的行:', line);
  32. return null;
  33. }
  34. const [id, parentId, name] = parts;
  35. return {
  36. id: parseInt(id.trim()),
  37. parentId: parseInt(parentId.trim()) || null,
  38. name: name.trim()
  39. };
  40. }
  41. // 生成SQL语句
  42. function generateSQLStatements(data) {
  43. const statements = [
  44. '-- 区域数据初始化脚本',
  45. '-- 来源: docs/省市区.csv',
  46. '-- 生成时间: ' + new Date().toISOString(),
  47. '',
  48. '-- 清空现有数据(可选)',
  49. '-- TRUNCATE TABLE area_data;',
  50. '',
  51. '-- 插入区域数据',
  52. 'INSERT INTO area_data (id, parent_id, name, created_at, updated_at) VALUES'
  53. ];
  54. const values = data.map(item =>
  55. ` (${item.id}, ${item.parentId === 0 ? 'NULL' : item.parentId}, '${escapeString(item.name)}', NOW(), NOW())`
  56. );
  57. statements.push(values.join(',\n'));
  58. statements.push(';');
  59. return statements.join('\n');
  60. }
  61. // 转义SQL字符串
  62. function escapeString(str) {
  63. return str.replace(/'/g, "''");
  64. }
  65. // 验证数据完整性
  66. function validateData(data) {
  67. const ids = new Set();
  68. const parentIds = new Set();
  69. for (const item of data) {
  70. if (ids.has(item.id)) {
  71. console.warn(`重复的ID: ${item.id}`);
  72. }
  73. ids.add(item.id);
  74. if (item.parentId !== null && item.parentId !== 0) {
  75. parentIds.add(item.parentId);
  76. }
  77. }
  78. // 检查所有parentId是否都存在对应的记录
  79. for (const parentId of parentIds) {
  80. if (!ids.has(parentId)) {
  81. console.warn(`父ID不存在: ${parentId}`);
  82. }
  83. }
  84. console.log(`总计 ${data.length} 条区域数据`);
  85. console.log(`顶级区域数量: ${data.filter(item => item.parentId === 0 || item.parentId === null).length}`);
  86. }
  87. // 主函数
  88. function main() {
  89. console.log('开始生成区域数据SQL文件...');
  90. // 检查CSV文件是否存在
  91. if (!fs.existsSync(csvFilePath)) {
  92. console.error('CSV文件不存在:', csvFilePath);
  93. process.exit(1);
  94. }
  95. // 读取并解析CSV
  96. const lines = readCSV(csvFilePath);
  97. // 跳过表头
  98. const header = lines[0];
  99. if (header !== 'aId,aFId,aName') {
  100. console.warn('CSV文件格式可能不正确,表头不匹配');
  101. }
  102. const data = [];
  103. for (let i = 1; i < lines.length; i++) {
  104. const line = lines[i].trim();
  105. if (line) {
  106. const item = parseCSVLine(line);
  107. if (item) {
  108. data.push(item);
  109. }
  110. }
  111. }
  112. // 验证数据
  113. validateData(data);
  114. // 生成SQL
  115. const sql = generateSQLStatements(data);
  116. // 写入SQL文件
  117. try {
  118. fs.writeFileSync(outputSqlPath, sql, 'utf-8');
  119. console.log('SQL文件已生成:', outputSqlPath);
  120. console.log('文件大小:', (fs.statSync(outputSqlPath).size / 1024).toFixed(2), 'KB');
  121. } catch (error) {
  122. console.error('写入SQL文件失败:', error.message);
  123. process.exit(1);
  124. }
  125. // 生成使用说明
  126. console.log('\n使用说明:');
  127. console.log('1. 运行: node docs/generate-area-sql.mjs');
  128. console.log('2. 执行生成的SQL文件: mysql -u username -p database < docs/area_data_init.sql');
  129. console.log('3. 或者直接在数据库管理工具中执行SQL内容');
  130. }
  131. // 执行主函数
  132. if (import.meta.url === `file://${process.argv[1]}`) {
  133. main();
  134. }
  135. export {
  136. readCSV,
  137. parseCSVLine,
  138. generateSQLStatements,
  139. validateData
  140. };