SQL Server 去除重复数据问题

This topic created in 856 days ago, the information mentioned may be changed or developed.

我有一份 18 个 G 的 sql 文件, sql server 格式的,在导入过程中,老是导入一些就停止,然后我就删除 sql 文件已导入的部分,再重新运行 sql 文件,有一段删除之后忘了保存,直接运行了 sql 文件,导致有一部分数据重复,数据字段全是可重复的,有什么方法能去重码,数据量太大了

SQL

导入

文件

Server

4 replies • 2024-01-13 20:07:57 +08:00

Mithril

Jan 13, 2024

Group By 然后 Count ID > 1 ，删掉这些就行了

makejohn2015

Jan 13, 2024

@Mithril 主要就是数据太大, 这个重复的数据, 其实是在一个范围内的, 我能不能找到第一个重复的和最后一个重复的, 然后把这个区间内的删掉, 直接全表查的话,会不会太大呢
谢谢

Mithril

Jan 13, 2024

@makejohn2015 你自己找个大概范围设进去就行了

alinwu05

Jan 13, 2024

用存储过程去删除就行。导入的时候不用管有没有重复

WITH CTE AS (
SELECT
[YourPrimaryKeyColumn],
/* other columns, if any */
ROW_NUMBER() OVER (PARTITION BY [YourPrimaryKeyColumn] ORDER BY (SELECT NULL)) AS RowNum
FROM
YourTableName
)
DELETE FROM CTE WHERE RowNum > 1;