1

Вопрос по collation, hashmap, text, vb.net – Как убедиться, что файл имеет уникальную строку в vb.net, если размер файла очень большой

Language: vb.net Размер файла: 1 ГБ и прочее.

Encoding of the text file: UTF8 (поэтому каждый символ представлен разным количеством байтов).

Collation: UnicodeCI (когда несколько символов по сути одинаковы, самая популярная версия будет уникальной). Я думаю, что знаю, как справиться с этим.

Поскольку каждый символ представлен разным количеством байтов, а каждая строка имеет разное количество символов, количество байтов в каждой строке также варьируется.

Я предполагаю, что мы должны вычислить хеш для каждой строки. Нам также нужно хранить буферы в месте расположения каждой строки. Тогда мы должны сравнить буферы. Затем мы проверим, появляется ли та же строка или нет.

Есть ли специальные функции лучше всего для этого?

  • Error: User Rate Limit ExceededExit WhileError: User Rate Limit Exceeded

    от
  • Error: User Rate Limit Exceeded

    от user4951
  • Error: User Rate Limit Exceeded

    от user4951
  • Error: User Rate Limit Exceeded

    от user4951
  • Error: User Rate Limit Exceeded

    от user4951
  • 0

    Это современный ответ

    Public Sub makeUniqueForLargeFiles(ByVal strFileSource As String)
        Using sr As New System.IO.StreamReader(strFileSource)
            Dim changeFileName = reserveFileName(strFileSource, False, True)
            Using sw As New System.IO.StreamWriter(reserveFileName(strFileSource, False, True), False, defaultEncoding)
                sr.Peek()
                Dim lines As New Generic.Dictionary(Of Integer, System.Collections.Generic.List(Of Long))
                While sr.BaseStream.Position < sr.BaseStream.Length
                    Dim offset = sr.BaseStream.Position
                    Dim l As String = sr.ReadLine()
                    Dim nextOffset = sr.BaseStream.Position
                    Dim hash = l.GetHashCode
                    Do ' a trick to put the for each in a "nest" that we can exit from
                        If lines.ContainsKey(hash) Then
                            Using sr2 = New System.IO.StreamReader(strFileSource)
                                For Each offset1 In lines.Item(hash)
                                    sr2.BaseStream.Position = offset1
                                    Dim l2 = sr2.ReadLine
                                    If l = l2 Then
                                        Exit Do 'will sr2.dispose be called here?
                                    End If
                                Next
                            End Using
                        Else
                            lines.Add(hash, New Generic.List(Of Long))
                        End If
                        lines.Item(hash).Add(offset)
                        sw.WriteLine(l)
                    Loop While False
                    sr.BaseStream.Position = nextOffset
                End While
            End Using
        End Using
    End Sub
    

  • 1

    В зависимости от длины строк

    вы можете вычислить хеш-значение MD5 для каждой строки и сохранить, чем вHashMap:

    Using sr As New StreamReader("myFile")
        Dim lines As New HashSet(Of String)
        Dim md5 As New Security.Cryptography.MD5Cng()
    
        While sr.BaseStream.Position < sr.BaseStream.Length
            Dim l As String = sr.ReadLine()
            Dim hash As String = String.Join(String.Empty, md5.ComputeHash(System.Text.Encoding.UTF8.GetBytes(l)).Select(Function(x) x.ToString("x2")))
    
            If lines.Contains(hash) Then
                'Lines are not unique
                Exit While
            Else
                lines.Add(hash)
            End If
        End While
    End Using
    

    Не проверено, но это может быть достаточно быстро для ваших нужд. Я не могу думать о чем-то гораздо более быстром, которое все еще сохраняет некоторое подобие краткости :)