Hatte die Einwohnerzahl Ulms im 14. Jahrhunderts noch bei 4000 bis 7000 gelegen, so erreichte sie um 1600 mit ca. 21000 ihren Spitzenwert in reichsstädtischer Zeit, worauf sie bis zum Jahr 1800 wieder auf ca. 13000 zurückging. Die im Laufe des 14. Jahrhunderts deutlich vergrößerte Siedlungsfläche der Stadt bot bis zur Mitte des 19. Jahrhunderts ausreichend Platz für die stark schwankende Einwohnerzahl. Die Veränderungen im Stadtbild lassen sich anhand einer Reihe bildlicher Darstellungen gut nachvollziehen. Zu den wichtigsten gehören die Stadtansicht aus Hartmann Schedels Weltchronik vom Jahre 1493, die Abbildung aus Sebastian Münsters „Cosmographia“ von 1574 (1. Auflage 1544), der Vogelschauplan (1597) sowie der Kupferstich aus Matthäus Merians „Topographia Sueviae“ von 1643.

Bei der Außenansicht der Stadt fallen auf allen Abbildungen des relevanten Zeitraums zunächst mächtige Befestigungsanlagen auf. Bereits die Schedelsche Ansicht zeigt die 1480 an die Donau vorverlegte Stadtmauer. Ab 1527 ging man daran, die mittelalterlichen Stadtmauern zu einer Verteidigungsanlage mit Mauern, Gräben und Bastionen nach dem System von Albrecht Dürer auszubauen. Eine durchgreifende Veränderung des Stadtbildes brachte jedoch erst die Bastionärsbefestigung des 17. Jahrhunderts, bei der man der alten Befestigung einen weiteren Festungsring mit Wällen, Wassergräben und Bastionen vorlagerte. Baumeister war von 1605 bis 1615 der Ulmer Gideon Bacher, ab 1617 leitete der niederländische Ingenieur Johann van Valckenburgh den Ausbau. Die von den Festungswerken, Wällen und Gräben verbrauchte Fläche war zusammengenommen ähnlich groß wie die der gesamten bewohnten Stadt. Auf der nach dem System von Dürer umgestalteten mittelalterlichen Stadtmauer, die nun in die zweite Verteidigungslinie zurückgetreten war, entstanden die teilweise heute noch erhaltenen Grabenhäuschen als Soldatenunterkünfte. Von Verwüstungen durch den 30-jährigen Krieg blieb die schwer befestigte Stadt verschont. Die Festung schützte die Stadt jedoch nicht vor der Eroberung im Spanischen Erbfolgekrieg 1702, bei der als Handwerker, Bauern und Bäuerinnen verkleidete bayerische Offiziere die Wachen überrumpelten und sich mit den schon länger inkognito in der Stadt aufhaltenden bayerischen Offizieren vereinigten. Die Befestigungsanlagen wurden erst in napoleonischer Zeit geschleift

Prägten die Stadtansicht von außen vor allem die Befestigungsanlagen, so galt dies im Inneren der Stadt vor allem für die Kirchen und kirchlichen Einrichtungen. Das Münster, dessen Grundsteinlegung im Jahr 1377 stattfand, wurde 1405 geweiht. Den zu diesem Zeitpunkt noch unvollendeten Bau führte man bis 1543 fort, doch erst im 19. Jahrhundert, nach über dreihundertjähriger Unterbrechung, brachte man ihn mit der Vollendung des westlichen Münsterturms nach alten Plänen zum Abschluss. Auch Klöster sowie Kloster- bzw. Pfleghöfe, die auswärtigen Klöstern als Sammelstelle für Abgaben und als Ort des Warenhandels dienten, bestimmten das Erscheinungsbild, wenngleich deren Anzahl durch die Reformation reduziert wurde: Von den Klöstern konnten schließlich nur noch das Wengenstift und die Deutschherrenkommende ihre Existenz innerhalb der Stadtmauern behaupten. Das westlich ans Münster angrenzende Barfüßerkloster etwa wurde einem neuen Zweck zugeführt und beherbergte in nachreformatorischer Zeit mit der Lateinschule (später Gymnasium bzw. Gymnasium academicum) die oberste Bildungseinrichtung der Stadt. An der Stelle des ehemaligen Dominikanerklosters wurde 1621 die Dreifaltigkeitskirche fertig gestellt. Das Sammlungsstift, eine angesehene und einflussreiche klosterähnliche Frauengemeinschaft, befand sich über Jahrhunderte in der Frauenstraße. Es wurde 1536 in ein evangelisches Damenstift umgewandelt und existierte noch bis 1808.

Vom 14. bis zum 17. Jahrhundert entstand eine große Anzahl markanter öffentlicher Bauten. Genannt seien exemplarisch das Rathaus (ursprünglich Kaufhaus, 1419 erstmals als Rathaus erwähnt, Neubau des Nordflügels 1532), die Greth (1389, städtisches Waag- und Lagerhaus), das Zeughaus (1433, Neubau 1522), der Büchsenstadel (1485), das Schuhhaus (1536/37), der Salzstadel (1592), der Neue Bau (1585-93), das Kornhaus (1594), das Schwörhaus (1612/13) sowie das von Furttenbach erbaute Stadttheater (1641).

Infrastrukturelle Veränderungen gab es z.B. bei der Wasserversorgung zu verzeichnen. Mit Donau, Iller, Blau sowie verschiedenen Quellen waren hier gute natürliche Voraussetzungen gegeben. Aufgrund der gewachsenen Bevölkerungszahl musste der Stadt zu Beginn des 15. Jahrhunderts Wasser von außerhalb zugeleitet werden. Mitte des Jahrhunderts zählte man 23 Brunnen mit fließendem Wasser. Die Ansiedlung von Mühlen konzentrierte sich auf die Wasserläufe der Blau, da der Mühlenbetrieb an der Donau technisch nicht bewältigt werden konnte.
Die wirtschaftliche Topografie der Stadt war geprägt von einer Reihe von Märkten. Gewisse Ballungen entstanden hier v.a. in den Gebieten um den Münsterplatz, den Weinhof, den Marktplatz und den Judenhof. Weitere Märkte fand man verstreut über das Stadtgebiet.

Bayerns Friedens- und Freundschaftsvertrag mit Frankreich vom August 1801 folgte im Mai 1802 eine Vereinbarung über Entschädigungen für verlorene linksrheinische Gebiete. Zu den vorgesehenen Kompensationen gehörte auch Ulm mit seinem Territorium. Im August desselben Jahres einigten sich die reichsstädtischen Gesandten auf dem Städtekonvent in Ulm, eine gewaltsame Inbesitznahme der Städte geschehen zu lassen. Die offizielle Inbesitznahme Ulms durch Bayern erfolgte Ende November durch den Generalkommissär Freiherrn von Hertling durch das vom Kurfürsten unterzeichnete Besitznahme-Patent vom 28. November 1802, nachdem bereits Ende August bayerische Truppen in ulmisches Territorium einmarschiert waren. Das Augustinerchorherrenstift zu den Wengen wurde nach dem Übergang zu Bayern säkularisiert. Mobilien und der Kirchenschatz wurden veräußert, die Klostergebäude danach als Kaserne genutzt (1803-1919). Das Deutschordenshaus ging 1806 in bayerischen Staatsbesitz über. Der bereits 1800 begonnene Abbau der Bastionärsbefestigung aus dem 17./18. Jahrhundert wurde bis auf den mittelalterlichen Mauerring unter bayerischer Herrschaft fortgesetzt, nur für kurze Zeit 1805 unterbrochen.