Hashsummen erstellen für Strings oder Dateien

[Frabbing]

Die API HashData() aus der ShlWapi arbeitet zuverlässing und sehr schnell. Zum Vergleich zweier Dateien reicht mir ein 32 Bit-Hashwert (also der Inhalt eines LongInts) völlig aus, womit ich dann sehr schnell und komfortabel vergleichen kann. Nehme ich eine 64 Bit-Fliesskomma, ist es noch sicherer.
Die Funktion kann jedoch noch bis zu 1024 Bit Hash-Werten umgehen. Schon klasse, und gar nicht aufwendig.

HashData(DateiImSpeicher#, GroesseDatei&, Addr(Hash&), 4)
Print Hash& 'Hashwert als 32 Bit

Testcode:

Declare Datei#,hash&,file$,size&,ticks&

Def HashData(4) ! "Shlwapi","HashData"

Cls

file$ = LoadFile$(%Hwnd,"Datei öffnen","*.*",0)
If file$<>""
  size& = FileSize(file$)
  
  Dim datei#,size&
  Blockread(file$,datei#,0,size&)
  
  Print "Starte Berechnung..."
  
  ticks& = &GetTickCount
  HashData(Datei#,size&,Addr(Hash&),4)
  
  Print "Dateiname: " + file$
  Print "Dateigröße (MB): "+ Str$(size&/1048576)
  Print "Verarbeitungsdauer (ms): " + Str$(Int(&GetTickCount-ticks&))
  Print "Errechneter 32-Bit Hashwert:" + Str$(Hash&)
  
  Dispose datei#
EndIf

WaitInput

[p. specht]

ShlWapi ? Ach so, ein augegliederter Hinweis aus dem Themenzweig "Verlaufsanzeige"...

[Frabbing]

Genau.
ShlWapi ist eine System-Dll ähnlich Kernel32 oder User32.

[ts-soft]

Zitat von Frabbing

Genau.
ShlWapi ist eine System-Dll ähnlich Kernel32 oder User32.

Wobei 50% der Functionen nur Wrapper auf andere APIs sind, warum auch
immer

[p. specht]

Irgendwas fehlt mir noch an Info... HashData() ist offenbar ein Funktion innerhalb der ShlWapi.DLL, oder? Muss ich die vorher laden, oder Windows.h einbinden oder wie?

[ts-soft]

Zitat von p. specht

Irgendwas fehlt mir noch an Info... HashData() ist offenbar ein Funktion innerhalb der ShlWapi.DLL, oder? Muss ich die vorher laden, oder Windows.h einbinden oder wie?

So sieht es aus .

Def ...(4) "...", "..."

Let me google that for you

[Frabbing]

Zitat von ts-soft

Wobei 50% der Functionen nur Wrapper auf andere APIs sind, warum auch
immer

Sie wrappt nur nach UrlHashA().

[Frabbing]

Zitat von p. specht

Irgendwas fehlt mir noch an Info... HashData() ist offenbar ein Funktion innerhalb der ShlWapi.DLL, oder? Muss ich die vorher laden, oder Windows.h einbinden oder wie?

Peter, du kannst die Funktion ganz normal wie jede andere API benutzen. Am besten Dll laden und Funktion definieren oder importieren. Die Definition ist:

Def HashData(4) !"shlwapi","HashData"

[p. specht]

Ah... danke!

[Bangkok]

ich gehe mal davon aus, dass diese Vorgehensweise die richtige ist.

Def HashData(4) ! "Shlwapi","HashData"
Declare Datei#,hash&
CLS
Var file$ = Loadfile$(%Hwnd,"Datei öffnen","*.*",0)
Var int64 size = filesize(file$)
Dim datei#,size
Blockread(file$,datei#,0,size)
HashData(Datei#,size,Addr(Hash&),4)
Print Hash& 'Hashwert als 32 Bit
dispose datei#
waitinput

Dann ist das nur für kleinere Dateien geeignet. Bei großen Dateien ist es speicherabhängig, ob es funktioniert. Denn es kommt dann die Meldung, dass der Speicher nicht ausreicht. Schon so um die 100 MB wird es schon etwas zu langsam. Oder mache ich was falsch ?

[Frabbing]

Die Vorgehensweise ist richtig.

Ein Abbruch mangels Speicher hab ich jetzt nicht erzeugen können. Richtig ist aber, dass die Funktion nicht für Riesendateien geschaffen wurde. Die Datei muß sich ja innerhalb des Speichers befinden und wird nicht auf Platte verarbeitet.

HashData() ist dazu gedacht, Hashsummen von Strings zu erzeugen, und dazu ist sie ideal. Strings jenseits der 100 MB-Marke sind eben selten.

Die Schnelligkeit ist in Ordnung, finde ich. Eine Summe aus einem 100 MB Speicher in 2 Sekunden ist doch gar nicht schlecht. Da dauert das Laden mit BlockRead länger.
60 KB Daten werden in 16 ms verarbeitet. Damit kann man doch leben.

Hab dein Beispiel mal für kleine XProfan-Versionen erweitert:

Declare Datei#,hash&,file$,size&,ticks&

Def HashData(4) ! "Shlwapi","HashData"

Cls

file$ = LoadFile$(%Hwnd,"Datei öffnen","*.*",0)
If file$<>""
  size& = FileSize(file$)
  
  Dim datei#,size&
  Blockread(file$,datei#,0,size&)
  
  Print "Starte Berechnung..."
  
  ticks& = &GetTickCount
  HashData(Datei#,size&,Addr(Hash&),4)
  
  Print "Dateiname: " + file$
  Print "Dateigröße (MB): "+ Str$(size&/1048576)
  Print "Verarbeitungsdauer (ms): " + Str$(Int(&GetTickCount-ticks&))
  Print "Errechneter 32-Bit Hashwert:" + Str$(Hash&)
  
  Dispose datei#
EndIf

WaitInput

[Bangkok]

Ja du hast recht, ich habe das Blockread nicht raus genommen und das dauert auch, für eine Datei von 141 MB braucht die Berechnung 1158 ms. Die Speicherknappheit geht bei mir im Moment auf jeden Fall bei über 1 GB los. Ich habe einen Film mit 1,5 GB getestet, das war zu groß. Ich habe im Augenblick auch nur 2 GB Speicher, da bei mir ein Riegel kaputt ist.

[Frabbing]

Also im Zweifelsfall vorher den Speicherstand überprüfen. wenn es denn wirklich so große Dateien sein sollen, die man berechnen möchte. Aber ist ja bei allen Dingen so, die viel Speicher benötigen.

[Jac de Lad]

Versucht mal die: bloody random - XProfan (siehe hashes.dll)

Ich weiß aber nicht, ob die DLL in punkto Performanz und Dateigröße mithalten kann.

[AHT]

Zitat von Bangkok

Dann ist das nur für kleinere Dateien geeignet.

Erzeugungen von Hashes brauchen insgesammt lange. Bei Erzeugung von MD5 Hashes gibt es deshalb die Möglichkeit, die Datei aufzuteilen, Hab eine PCU gebastelt, die auch mit größeren Dateien zurechtkommen sollte.