Wie äußert sich das Problem denn genau? Schlägt die File.Delete()-Methode fehl (IOException)?

Ich kann mir nicht vorstellen, dass dein eigenes Programm daran Schuld ist. Könnte es nicht sein, dass ein anderer Prozess zum Zeitpunkt deines Delete()-Aufrufs Zugriff auf die Datei erlangt hat?