ObjectOutput schreibt im Binärformat deine Daten in die Datei.
Der Dateikopf einer PGM-Datei (Magische Zahl, Breite, Höhe, ...) muss aber im Textformat vorliegen! Deswegen wird dir dein Bildprogramm auch sagen, dass es die magische Zahl nicht erkennt.