Вопрос по sql-server-2008, tsql, sql-server – Найти и удалить повторяющиеся подстроки

4

Я имею столбец в таблице SQL Server 2008, где часть строки была случайно повторена.

У кого-нибудь есть быстрый и простой способ удалить дублирующуюся подстроку?

Например,

alpha\bravo\charlie\delta\charlie\delta

должно быть

alpha\bravo\charlie\delta
@AaronBertrand: Да. Austin Salonen
Вы также хотите найти дубликаты, и это целая строка или подстрока в большей? Tony Hopkinson
@TonyHopkinson: пример - целая строка, а не часть большей. Длина дублирования варьируется (например,ABCDBCD -> ABCD). Austin Salonen
Я полагаю, что вы хотите устранить несколько дубликатов, например, источник =alpha\bravo\alpha\bravo\alpha становитсяalpha\bravo? Aaron Bertrand

Ваш Ответ

2   ответа
7

SET NOCOUNT ON;
DECLARE @UpperLimit INT;
SET @UpperLimit = 4000;

WITH n(rn) AS
(
    SELECT ROW_NUMBER() OVER (ORDER BY [object_id])
    FROM sys.all_columns
)
SELECT [Number] = rn - 1
INTO dbo.Numbers FROM n
WHERE rn <= @UpperLimit + 1;

CREATE UNIQUE CLUSTERED INDEX n ON dbo.Numbers([Number]);

Теперь универсальная функция split, которая превратит вашу строку с разделителями в набор:

CREATE FUNCTION dbo.SplitString
(
    @List NVARCHAR(MAX),
    @Delim CHAR(1)
)
RETURNS TABLE
AS
    RETURN ( SELECT 
        rn, 
        vn = ROW_NUMBER() OVER (PARTITION BY [Value] ORDER BY rn), 
        [Value]
      FROM 
      ( 
        SELECT 
          rn = ROW_NUMBER() OVER (ORDER BY CHARINDEX(@Delim, @List + @Delim)),
          [Value] = LTRIM(RTRIM(SUBSTRING(@List, [Number],
          CHARINDEX(@Delim, @List + @Delim, [Number]) - [Number])))
        FROM dbo.Numbers
        WHERE Number <= LEN(@List)
        AND SUBSTRING(@Delim + @List, [Number], 1) = @Delim
      ) AS x
    );
GO

И затем функция, которая собирает их вместе:

CREATE FUNCTION dbo.DedupeString
(
    @List NVARCHAR(MAX)
)
RETURNS NVARCHAR(MAX)
AS
BEGIN
    RETURN ( SELECT newval = STUFF((
     SELECT '\' + x.[Value] FROM dbo.SplitString(@List, '\') AS x
      WHERE (x.vn = 1)
      ORDER BY x.rn
      FOR XML PATH, TYPE).value('.', 'nvarchar(max)'), 1, 1, '')
    );
END
GO

Пример использования:

SELECT dbo.DedupeString('alpha\bravo\bravo\charlie\delta\bravo\charlie\delta');

Результаты:

alpha\bravo\charlie\delta

Вы также можете сказать что-то вроде:

UPDATE dbo.MessedUpTable
  SET OopsColumn = dbo.DedupeString(OopsColumn);

@MikaelEriksson, вероятно, предложит более эффективный способ использования XML для устранения дубликатов, но это то, что я могу предложить до тех пор. :-)

К сожалению. Нет, я добавил обычную & quot; пройтись по строке & quot; :). Я подумаю над XML.
Я знаю, что это старый пост, но святая корова сделала его мой день!
Это работает как шарм. Спасибо! Austin Salonen
@MikaelEriksson хаха +1 мой хороший человек
Я также добавил версию XML. Было немного сложно сохранить порядок слов. Но я не думаю, что использование XML для разделения строки превосходит числовую таблицу.
4
create function RemoveDups(@S nvarchar(max)) returns nvarchar(max)
as
begin
  declare @R nvarchar(max)
  declare @W nvarchar(max)
  set @R = ''

  while len(@S) > 1
  begin
    -- Get the first word
    set @W = left(@S, charindex('/', @S+'/')-1)

    -- Add word to result if not already added
    if '/'[email protected] not like '%/'[email protected]+'/%'
    begin
      set @R = @R + @W + '/'
    end 

    -- Remove first word
    set @S = stuff(@S, 1, charindex('/', @S+'/'), '')
  end

  return left(@R, len(@R)- 1)
end

Аарон Бертран, Однако я не буду претендовать на то, что быстрее всего выполнить.

-- Table to replace in
declare @T table
(
  ID int identity,
  Value nvarchar(max)
)

-- Add some sample data
insert into @T values ('alpha/beta/alpha/gamma/delta/gamma/delta/alpha')
insert into @T values ('delta/beta/alpha/beta/alpha/gamma/delta/gamma/delta/alpha')

-- Update the column
update T
set Value = NewValue
from (
       select T1.ID,
              Value,
              stuff((select '/' + T4.Value
                     from (
                            select T3.X.value('.', 'nvarchar(max)') as Value,
                                   row_number() over(order by T3.X) as rn
                            from T2.X.nodes('/x') as T3(X)
                          ) as T4
                     group by T4.Value
                     order by min(T4.rn)
                     for xml path(''), type).value('.',  'nvarchar(max)'), 1, 1, '') as NewValue
       from @T as T1
         cross apply (select cast('<x>'+replace(T1.Value, '/', '</x><x>')+'</x>' as xml)) as T2(X)
     ) as T

select *
from @T  
Очень умное действие XML там

Похожие вопросы