Schon im April 1921 fragte ein gewisser A. Straub bei der Parteizentrale in München wegen der Gründung einer Ortsgruppe in Ulm an. Es dauerte dann allerdings bis zum 6. 11. 1922, ehe die gemeinsame Ortsgruppe Ulm/ Neu-Ulm entstand. Bereits 1923 wird auch eine erste SA-Gruppe ins Leben gerufen. Nach der Neugründung der Partei im Jahre 1926, die wegen des Parteiverbots im Zusammenhang mit dem Hitler – Ludendorff – Putsch vom November 1923 notwendig wurde – übernahm Wilhelm Dreher die Leitung. Dreher, der 1918 am Kieler Matrosenaufstand teilgenommen hatte und bis 1923 noch der SPD angehörte, sorgte dafür, dass auf lokaler Ebene dank seiner Beziehungen zur höchsten Parteiprominenz (er war mit Hitler persönlich bekannt, der mehrmals bei Veranstaltungen in Ulm als Hauptredner auftrat) und dank unablässiger Agitation in Form von Aufmärschen, Veranstaltungen und gewaltsamen Auseinandersetzungen die Präsenz der Partei gefestigt wurde. Die Reaktion auf das gewaltsame Auftreten der NSDAP und der SA in Ulm reichten – wie die nachfolgenden Quellen zur Ulmer Situation belegen – von beifälliger Zustimmung über wegsehendes Ignorieren (Ulmer Schutzpolizei etwa) bis hin zum gewaltsamen und durchaus stolzen Zurückschlagen (Mitglieder der linken Parteien).
Bei den Reichstagswahlen vom Mai 1924 kam die NSDAP auf Anhieb auf knapp 5 % der Stimmen, bei den folgenden beiden Wahlen blieb sie dann mit unter 4 % bedeutlungslos, seit 1930 war sie stärkste Partei in Ulm. Im Dunstkreis ehemaliger Frontsoldaten bildeten sich ab 1919 viele Ableger von republikfeindlichen Reichsorganisationen (vgl. 3.3.) in Ulm, die mehr oder weniger offen mit der NSDAP sympathisierten.
1931 zählte die Ulmer Ortsgruppe ungefähr 1000 Mitglieder. Sie legte sich mit dem „Ulmer Sturm“ ein eigenes Kampfblatt zu, dessen erster Herausgeber Wilhelm Dreher war. Im Zuge einer allgemeinen Parteiumstrukturierung erfolgte 1932 die Abtrennung der Neu-Ulmer Ortsgruppe. Die Partei organisierte sich nun nach Kreisen. Dem Kreisleiter von Ulm, Eugen Maier, unterstanden die Stadt- und Landortsgruppen.

Mit der Ernennung Hitlers zum Reichskanzler am 30. Januar 1933 setzten die Maßnahmen der Nationalsozialisten zur Machtsicherung ein. So setzte z.B. die Reichstagsbrandverordnung vom 28. Februar 1933 die Grundrechte der Weimarer Republik außer Kraft und ermöglichte dem Reich, in die Regierung der Länder einzugreifen. Die Umwälzungen auf staatlicher Ebene setzten sich auch in den Kommunen fort. Auf Antrag der NSDAP-Gemeinderatsfraktion stimmte am 13. März 1933 die Mehrheit des Gemeinderats gegen die Stimmen der sieben anwesenden SPD-Gemeinderäte bei zehn Enthaltungen des Zentrums für eine Selbstauflösung des Gemeinderats. Der Erlass des Gleichschaltungsgesetzes vom 31. März 1933 kam jedoch der Auflösung zuvor. Der Gemeinderat wurde nach dem in Ulm erzielten Ergebnis der Reichstagswahl vom 5. März 1933 umgebildet. Die KPD-Mitglieder waren zu diesem Zeitpunkt bereits verhaftet und zahlreiche SPD-Gemeinderäte aus der Partei ausgetreten. Am 15. Mai 1933 trat dann der gleichgeschaltete Gemeinderat zusammen, wobei man die übrig gebliebenen SPD-Mitglieder zum Verzicht auf ihr Mandat zwang. Am 7. Juni 1933 erfolgte das reichsweite Verbot der SPD und am 7. Juli die gesetzliche Entziehung der Mandate ehemaliger Sozialdemokraten. Die Angehörigen von DNVP und Zentrum verzichteten entweder in den folgenden Monaten unter dem Eindruck des Verbots ihrer Parteien auf ihr Amt oder traten als „Hospitanten“ der NSDAP-Fraktion bei.
Am 17. März 1933 zwang der vom neuen nationalsozialistischen württembergischen Staatspräsidenten Wilhelm Murr eingesetzte Staatskommissar Dr. Hermann Schmid den bisherigen Oberbürgermeister Dr. Schwammberger zur Amtsübergabe. Nach Dr. Hermann Schmid wurde am 4. April 1933 Friedrich Foerster zum Staatskommissar ernannt. Um politisch unzuverlässige städtische Bedienstete zu diskreditieren und aus dem Amt zu drängen, bedienten sie sich eines vor allem aus NS-Parteileuten bestehenden Untersuchungsausschusses. Nach außen hin hatte er die Aufgabe, Korruption und andere Missstände in der Verwaltung aufzudecken. Auf diese Weise wurden z.B. Oberbürgermeister Schwammberger, der jüdische Museumsdirektor Prof. Dr. Baum, der sozialdemokratische Oberrechnungsrat Albrecht Hieber vom Liegenschaftsamt, Verwaltungsdirektor Remshardt vom Steueramt und Oberrechnungsrat Meyer vom Personalamt ihrer Ämter enthoben. Staatskommissar Foerster wurde am 3. August 1933 vom Württembergischen Staatsministerium zum Oberbürgermeister ernannt.
Anfang 1935 wurde mit der Deutschen Gemeindeordnung erstmals die Kommunalverfassung im gesamten Reich vereinheitlicht. Der als Beauftragter der NSDAP agierende Kreisleiter, der selber nicht Gemeinderat war, ernannte im Benehmen mit dem Bürgermeister die Gemeinderäte. Abstimmungen der Gemeinderäte waren nicht mehr vorgesehen. Es fanden lediglich Beratungen der Gemeinderäte mit dem Oberbürgermeister statt, an denen auch der NSDAP-Kreisleiter in bestimmten Angelegenheiten teilnehmen konnte. Die Wahl des Bürgermeisters wurde ebenfalls abgeschafft. Der NSDAP-Kreisleiter schlug nach Beratung mit den Gemeinderäten drei Bewerber vor, die endgültige Entscheidung trafen staatliche Behörden.
Die Gleichschaltung erfasste nicht nur alle Bereiche der öffentlichen Verwaltung, sondern bedeutete auch einen Eingriff in die persönlichen Lebensbereiche der Menschen. So wurden z.B. mit dem Gesetz über die Hitlerjugend von Dezember 1936 alle Jugendlichen zwangsweise in der HJ zusammengefasst und diese zur einzigen Erziehungsinstitution neben Familie und Schule erklärt. Mitgliedschaft in der HJ bedeutete in der Regel bis zum Krieg zwei Dienste pro Woche mit Sport und politischer Unterweisung sowie zusätzliche Sonntagsdienste, an denen Schießübungen, Appelle, Exerzieren oder auch Zeltlager auf dem Programm standen.
Bei der Überwachung der Bevölkerung kam den Ortsgruppen der NSDAP eine entscheidende Bedeutung zu. Durch den Wohnsitz war jeder „Volksgenosse“ der ihn erfassenden, betreuenden und überwachenden Ortsgruppe genau zugeordnet. Deren Blockleiter sorgten für möglichst zahlreiche Mitgliedschaft in den NSDAP-Organisationen und zogen die Beiträge ein, wodurch sich Einblicksmöglichkeiten in Haushalte ergaben. Ihre bis auf die Blockleiter (40-60 Haushaltungen) hinab gehende Gliederung ermöglichte es, gezielt auf die einzelnen „Volksgenossen“ einzuwirken und diese auf abweichendes Verhalten hin zu überwachen.

Zur Ausschaltung der politischen und weltanschaulichen Gegner, überwiegend Sozialdemokraten und Kommunisten, wurde unter der beschönigenden Bezeichnung "Schutzhaftlager" am 18. März 1933 das erste württembergische Konzentrationslager Heuberg bei Stetten am kalten Markt eingerichtet. Als die Gebäude des KZ Heuberg, eine Kaserne des 1. Weltkriegs, für den Aufbau der Wehrmacht benötigt wurden, wurde das Lager zum Ende des Jahres 1933 geschlossen. Als Landes-KZ wurde ab November 1933 das "Württembergische Schutzhaftlager Oberer Kuhberg, Ulm/Donau" im Fort Oberer Kuhberg, einem um 1850 gebauten Festungswerk der Bundesfestung Ulm, eingerichtet. Zwischen November 1933 bis zur Auflösung im Juli 1935 waren ungefähr 600 bis 800 Männer im Alter zwischen 17 und 71 Jahren dort untergebracht, und zwar nicht im zentralen, der KZ-Verwaltung vorbehaltenen Reduit-Gebäude, sondern in den unterirdischen Kasematten-Laufgängen für Wachsoldaten. Diese waren - auch bei der Nutzung als Kriegsgefangenenlager - bisher nicht zur Unterbringung von Menschen verwendet worden.
Unmittelbar nach der Machtergreifung begannen die Nationalsozialisten mit der Ausgrenzung der Juden und der Aberkennung ihrer bürgerlichen Rechte. Bereits im März 1933 fanden die ersten Boykottmaßnahmen gegen jüdische Geschäfte statt. Das Gesetz zur Wiederherstellung des Berufsbeamtentums vom 7. April 1933 bestimmte, dass Beamte nicht "arischer" Abstammung in den Ruhestand zu versetzen seien. Das „Gesetz zum Schutz des deutschen Blutes und der deutschen Ehre“ von 1935 verbot die Ehe und den geschlechtlichen Verkehr zwischen „Ariern“ und Juden, das Reichsbürgergesetz aus demselben Jahr nahm den Juden die bürgerlichen und politischen Rechte. Daneben fanden hier in Ulm auf örtlicher Ebene zahlreiche weitere Diskriminierungen wie das Stadtbadverbot für Juden oder die Entfernung jüdischer Kinder aus den Volksschulen statt.
Die Reichspogromnacht vom 9. auf den 10. November 1938, in der SA- und SS-Angehörige im ganzen Reich Synagogen und jüdisches Privateigentum zerstörten und Juden misshandelten, markierte den Übergang von der bisherigen rechtlichen und gesellschaftlichen Ausgrenzung zur systematischen gewaltsamen Verfolgung. Als Anlass wurde der Mordanschlag des Juden Herschel Grynszpan auf den deutschen Botschaftssekretär Ernst Eduard vom Rath in Paris von den Nationalsozialisten propagandistisch ausgenutzt. Die Ausschreitungen sollten nach dem Willen des Regimes als Ausbruch des Volkszorns aussehen. Ein in Ulm zuvor erlassenes Ausgehverbot für Juden stellte zudem sicher, dass die Juden in ihren Wohnungen blieben und den Trupps, die sie zu Hause aufsuchten, in die Hände fielen. Obwohl die Ulmer Synagoge in der Pogromnacht nur leicht beschädigt worden war, ließ die Stadtverwaltung die Synagoge Ende 1938 abbrechen. Die Abbruchkosten mussten von der jüdischen Gemeinde, die am 30. August 1939 formell aufgehoben wurde, übernommen werden. Zusätzlich mussten die deutschen Juden als „Sühneleistung“ für das Attentat von Paris eine Milliarde Reichsmark aufbringen; die Versicherungssummen für die Zerstörungen an der Synagoge und jüdischem Privateigentum gingen an das Reich. Mit der „Verordnung zur Ausschaltung der Juden aus dem deutschen Wirtschaftsleben“ vom 12.11.1938 wurde die Liquidation bzw. Arisierung jüdischer Geschäfte und Gewerbebetriebe verstärkt vorangetrieben. Nach den Ereignissen von November 1938 setzte eine Auswanderungswelle ein. Die noch verbliebenen Juden wurden ab Frühjahr 1939 in „Judenhäusern“ zusammengefasst.
Ab dem 1. September 1941 mussten die Juden den Judenstern tragen. Außerdem wurde es ihnen verboten, ohne schriftliche Erlaubnis der Ortspolizeibehörde ihre Wohngemeinde zu verlassen.
Nachdem Ende Oktober 1941 die Auswanderung untersagt wurde, setzten bald darauf die ersten Deportationen aus Württemberg ein. Unter dem Vorwand einer Ansiedlung im Osten wurden sie zunächst in das Sammellager auf dem Killesberg in Stuttgart gebracht und von dort in die Vernichtungslager deportiert.

In allen Phasen der NS-Herrschaft gab es Formen von Verweigerung und Widerstand.
Diese gingen aus von sehr verschiedenartigen Gruppen oder Einzelnen, geschahen aus sehr unterschiedlicher Motivation (politisch, weltanschaulich, religiös), nahmen sehr verschiedene Formen an und waren von unterschiedlicher Wirksamkeit. Die Bandbreite widerständiger Verhaltensformen reicht von der Verweigerung des Hitler-Grußes bis hin zu Attentats- und Umsturzplänen.
Die Terrormaßnahmen des Regimes richteten sich zunächst vor allem gegen die politischen Gegner aus den Arbeiterparteien, zu allererst gegen die Kommunisten, deren Reichstagsabgeordnete bereits nach dem Reichstagsbrand in sogenannte „Schutzhaft“ genommen wurden. Die SPD wurde am 22. Juni 1933 verboten, so dass Widerstandsaktionen der Arbeiterbewegung nur noch aus dem Untergrund heraus unternommen werden konnten. Diese Aktivitäten bestanden unter anderem in regimekritischer Flugblattpropaganda sowie der Planung von Sabotageakten. In der Region Ulm/Neu-Ulm waren sowohl die „Revolutionären Sozialisten“ als auch Mitglieder der „Sozialistischen Arbeiterpartei“, einer linken Abspaltung der SPD, aktiv. Im September 1934 verurteilte das Stuttgarter Oberlandesgericht sieben SAP-Anhänger wegen Hochverrats zu mehrjährigen Haftstrafen, unter ihnen den Ulmer Wilhelm Sauter, der bis Kriegsausbruch in Dachau in Schutzhaft gehalten wurde. Auch Kommunisten, unter ihnen Mitglieder des „Kommunistischen Jugendverbandes Deutschlands“, enfalteten Aktivitäten im Untergrund. Der in Verbindung zum KJVD stehende Ernst Bauer verbreitete illegale KPD-Broschüren und versuchte, kommunistische, sozialistische und christliche Widerständler zu vernetzen.
Auch aus den Kirchen, die dem Nationalsozialismus insgesamt keineswegs als Widerstandsorganisationen begegneten, gab es verschiedene Formen des Protests. Die evangelische Kirche spaltete sich schon bald in die regimefreundlichen Deutschen Christen und die kritische Bekennende Kirche. Spuren zog die Bekennende Kirche auch in Ulm, erstmals auf dem Bekenntnistag 1934, auf dem bereits Tendenzen sichtbar wurden, die wenig später in das regimekritische Barmer Bekenntnis mündeten. Eine unfreundliche Geste gegenüber dem Regime gab es im Jahr 1935, als Reichsbischof Ludwig Müller, Vertreter der Deutschen Christen, der Auftritt im Ulmer Münster verwehrt wurde. In einem mutigen Schreiben an den Oberbürgermeister nahm Stadtvikar Metzger zum Besuch Müllers in Ulm Stellung.
Das kritische Potenzial der katholischen Kirche versuchten die Nationalsozialisten mit dem Reichskonkordat auszutrocknen, welches die Zusage politischer Enthaltsamkeit seitens der Kirche mit weit gehenden Bestandsgarantien für kirchliche Einrichtungen erkaufte. Widerstand innerhalb der katholischen Kirche war somit überwiegend auf die Abwehr von Übergriffen auf kirchliche Besitzstände konzentriert. So auch in Ulm. Als in den Jahren 1936/37 vom Staat den Konfessionsschulen die Grundlage entzogen wurde, erhob sich Protest beim Söflinger Pfarrer Franz Weiß. Weiß fiel allerdings auch sonst durch regimekritische Äußerungen auf, was ihm eine Gefängnisstrafe und schließlich die Ausweisung aus seinem Wirkungskreis einbrachte. Kritische Stimmen etwa gegenüber den Diskriminierungs- und Terrormaßnahmen gegen die Ulmer Juden, waren aus lokalen Kirchenkreisen nicht zu vernehmen. Als die nazistischen Verbrechen während des Krieges neue Dimensionen annahmen, gab es allerdings zunehmend offene Kritik aus höheren Kirchenkreisen, etwa durch den Münsteraner Bischof Graf von Galen, der die Ermordung von Behinderten durch das nationalsozialistische Euthanasie-Programm anprangerte.

Auch unter Jugendlichen und Studenten gab es oppositionelles Denken und Handeln. Der Ulmer Abiturient Heinz Brenner vervielfältigte mit anderen 1941 von Galens regimekritische Predigten und verteilte sie in Ulm. Empfänger war auch die Ulmer Familie Scholl, die schon als Anlaufstelle für die kritische Jugend fungierte. Aus dieser Familie gingen schließlich zwei der prominentesten aktiven Mitglieder des deutschen Widerstands hervor: Hans und Sophie Scholl. Als Mitglieder der „Weißen Rose“ verbreiteten die in München studierenden Geschwister seit dem Jahr 1942 regimefeindliche Flugblätter, bis sie nach einer Aktion im Lichthof der Münchener Universität verhaftet und vier Tage später am 22. Februar 1943 wegen Hochverrats hingerichtet wurden.
Unterstützung erfuhr die „Weiße Rose“ von einer Reihe junger Ulmer um Hans Hirzel, der mit Franz Joseph Müller die von Sophie Scholl von München nach Ulm transportierten Exemplare des 5. Flugblatts in der Orgelstube der Martin-Luther-Kirche postfertig machte. Susanne Hirzel half die Flugblätter in Stuttgart zu verteilen. Auch Heiner Guter und wiederum Heinz Brenner gehörten der schon länger oppositionellen Gruppe an.