Der 1869 offiziell gewordene Name hat eine lange Geschichte, die mit der heutigen Hafengasse zunächst nichts zu tun hat. Auf sie ist dieser Name wohl erst im 18. Jahrhundert übertragen worden. Eine „alte Hafengasse“ ist bereits 1356 erwähnt; ihr Name gehört damit zu den ältesten Gassenbezeichnungen Ulms und zu den wenigen jener Zeit, die nicht nach einem Anwohner, sondern nach einem Produkt oder einer Ware, dem Hafen (= Topf) benannt ist. Entweder wohnten dort Hafner oder sie führte zu einem Hafenmarkt. Sie lässt sie sich nicht mehr lokalisieren, könnte im Bereich des nördlichen Münsterplatzes gelegen haben, wobei 1365 das Münster noch nicht gebaut war. Das Prädikat „alt“ mag damit zusammenhängen, dass nach der Stadterweiterung 1316 im neuen Erweiterungsgebiet eine „neue“ Hafengasse entstanden ist: Sie entspricht dem heutigen  Hafenbad und führte vom nördlichen Münsterplatz bis zum Frauengraben.103 Daneben wurde auch der nördliche Münsterplatz zwischen Hafenbad und Platzgasse spätestens seit dem 15. Jahrhundert als „Hafengasse“ bezeichnet, weil an der Einmündung der Rabengasse der Hafenmarkt stattfand.104 Möglicherweise ist in diesem Bereich die „alte“ Hafengasse zu suchen. Die Geschichte der heutigen Hafengasse ist wesentlich jünger. An ihrer Stelle verlief zur Stauferzeit der Stadtgraben, der mit der Stadterweiterung von 1316 funktionslos wurde. An seinen Rändern wurde daraufhin gebaut, er selber wurde nur allmählich verfüllt. 1488 war er, wie Zeitzeuge Felix Fabri berichtet, noch so tief, dass man ihn nur mit Stegen und Brücken überschreiten konnte. Dennoch nennt Fabri ihn „longus vicus“ („lange Straße“)105 – die heutige Hafengasse. Damals aber wurde sie „uff dem Alten Graben“ genannt, die Häuser standen „am alten Graben“. Diese Adresse hielt sich noch bis Ende der Reichsstadtzeit in den Kaufurkunden. Da die Gasse auf dem alten Graben jedoch zum Hafenmarkt führte,107 wurde der Name „Hafengasse“ nun auch auf sie übertragen. Jedenfalls war er spätestens 1786 etabliert,108 bezeichnete damals aber auch noch den nördlichen Münsterplatz und das Hafenbad. Das änderte sich erst 1894, als die „obere Hafengasse“ zum „nördlichen Münsterplatz“ wurde und damit die Hafengasse auf ihr heutiges Maß reduziert wurde. In den Steuerbüchern der Reichsstadtzeit zählte der nördliche Münsterplatz schon 1427 zu den Abschnitten „Gen der Hafen Gaßen“ sowie zu „Wiederum Vetter Gaß“. Die heutige Hafengasse gehörte zu den Abschnitten „Irrgang“, „Gem Ulrich Ehinger“ und „Von Ulrich Kohnen gen der Sammlung“.