Вопрос по vb.net, hashmap, collation, text – Как убедиться, что файл имеет уникальную строку в vb.net, если размер файла очень большой

1

Language: vb.net Размер файла: 1 ГБ и прочее.

Encoding of the text file: UTF8 (поэтому каждый символ представлен разным количеством байтов).

Collation: UnicodeCI (когда несколько символов по сути одинаковы, самая популярная версия будет уникальной). Я думаю, что знаю, как справиться с этим.

Поскольку каждый символ представлен разным количеством байтов, а каждая строка имеет разное количество символов, количество байтов в каждой строке также варьируется.

Я предполагаю, что мы должны вычислить хеш для каждой строки. Нам также нужно хранить буферы в месте расположения каждой строки. Тогда мы должны сравнить буферы. Затем мы проверим, появляется ли та же строка или нет.

Есть ли специальные функции лучше всего для этого?

Ваш Ответ

2   ответа
1

вы можете вычислить хеш-значение MD5 для каждой строки и сохранить, чем вHashMap:

Using sr As New StreamReader("myFile")
    Dim lines As New HashSet(Of String)
    Dim md5 As New Security.Cryptography.MD5Cng()

    While sr.BaseStream.Position < sr.BaseStream.Length
        Dim l As String = sr.ReadLine()
        Dim hash As String = String.Join(String.Empty, md5.ComputeHash(System.Text.Encoding.UTF8.GetBytes(l)).Select(Function(x) x.ToString("x2")))

        If lines.Contains(hash) Then
            'Lines are not unique
            Exit While
        Else
            lines.Add(hash)
        End If
    End While
End Using

Не проверено, но это может быть достаточно быстро для ваших нужд. Я не могу думать о чем-то гораздо более быстром, которое все еще сохраняет некоторое подобие краткости :)

Error: User Rate Limit Exceeded user4951
Error: User Rate Limit Exceeded user4951
Error: User Rate Limit ExceededExit WhileError: User Rate Limit Exceeded
Error: User Rate Limit Exceeded user4951
Error: User Rate Limit Exceeded user4951
0

Public Sub makeUniqueForLargeFiles(ByVal strFileSource As String)
    Using sr As New System.IO.StreamReader(strFileSource)
        Dim changeFileName = reserveFileName(strFileSource, False, True)
        Using sw As New System.IO.StreamWriter(reserveFileName(strFileSource, False, True), False, defaultEncoding)
            sr.Peek()
            Dim lines As New Generic.Dictionary(Of Integer, System.Collections.Generic.List(Of Long))
            While sr.BaseStream.Position < sr.BaseStream.Length
                Dim offset = sr.BaseStream.Position
                Dim l As String = sr.ReadLine()
                Dim nextOffset = sr.BaseStream.Position
                Dim hash = l.GetHashCode
                Do ' a trick to put the for each in a "nest" that we can exit from
                    If lines.ContainsKey(hash) Then
                        Using sr2 = New System.IO.StreamReader(strFileSource)
                            For Each offset1 In lines.Item(hash)
                                sr2.BaseStream.Position = offset1
                                Dim l2 = sr2.ReadLine
                                If l = l2 Then
                                    Exit Do 'will sr2.dispose be called here?
                                End If
                            Next
                        End Using
                    Else
                        lines.Add(hash, New Generic.List(Of Long))
                    End If
                    lines.Item(hash).Add(offset)
                    sw.WriteLine(l)
                Loop While False
                sr.BaseStream.Position = nextOffset
            End While
        End Using
    End Using
End Sub

Похожие вопросы