Al Capone is een gangster die mensen afperst en zelfs vermoordt. Hij manipuleert de stad Chicago alsof hij ze bezit. De maffiabaas is de eigenaar van verscheidene bedrijven, die als dekmantel dienen voor zijn illegale praktijken. Een groot deel van de politie is door Capone omgekocht en het overige deel durft niet in te grijpen uit schrik voor Capone.
Op een dag verschijnt de goedgelovige en federale agent Eliot Ness in Chicago en hij is vastbesloten om iets aan deze situatie te doen. Maar Ness ontdekt al gauw dat Capone heel veel macht heeft en dat hij niemand kan vertrouwen, zelfs zijn eigen collega's niet. Na een mislukte inval ontmoet Ness de Ierse agent Jimmy Malone. Ness vindt Malone een eigenzinnig man, maar hij beseft dat Malone waarschijnlijk de enige is die hij in deze stad kan vertrouwen.
Malone besluit, na lang aandringen van Ness, om te helpen. Maar Malone weet als geen ander dat dit een moeilijke opdracht is en dat ze nog wat extra hulp kunnen gebruiken. Omdat de agenten uit Chicago niet te vertrouwen zijn, gaan ze naar de politieschool om er een jonge rekruut te vinden. Malone en Ness kiezen voor de geweldige schutter Giuseppe Petri.
De drie krijgen al gauw de hulp van Oscar Wallace, een accountant-officier, en proberen beetje bij beetje tot bij Al Capone te raken. Het viertal is succesvol en krijgt van de media al gauw de bijnaam The Untouchables (De Onkreukbaren). Het succes van Ness en zijn collega's wordt ook door Capone zelf opgemerkt en hij besluit de agent om te kopen. Ness weigert in te gaan op het aanbod van de maffiabaas. Dan probeert Capone het maar op een andere manier: hij stuur Frank Nitti naar het huis van Ness. Nitti maakt de agent duidelijk dat hij moet vrezen voor zijn eigen leven en dat van zijn vrouw en kind.
Ness stuurt zijn vrouw en kind naar een veilige plaats en besluit de strijd niet op te geven. De volgende dag kunnen de vier Onkreukbaren zelfs een dranksmokkel aan de Canadese grens belemmeren en de contactpersoon van Capone arresteren. Die contactpersoon is zeer belangrijk, want hij kan bewijzen dat de maffiabaas aan belastingontduiking doet. Capone begint schrik te krijgen en stuurt Nitti op pad. Hij krijgt de opdracht om de contactpersoon te vermoorden. In het politiekantoor schiet hij de contactpersoon en Oscar Wallace dood. Op de muur schrijft hij 'aantastbaar'.
Ness, Malone en Petri weigeren op te geven en ontdekken dat er nog iemand is die kan bewijzen dat Capone aan belastingontduiking doet: de boekhouder van Capone. De drie besluiten naar het station te trekken en daar de boekhouder te arresteren. Maar nog voor de drie vertrekken, wordt Malone door Frank Nitti vermoord. Ness heeft nu alleen nog Petri. De twee willen wraak en trekken naar het station, waar ze na een hevig vuurgevecht dan toch de boekhouder kunnen arresteren.
Capone wordt nu verdacht van belastingontduiking en er komt een rechtszaak. Ness ontdekt dat de jury is omgekocht en zorgt er, na wat gebluf, voor dat de jury vervangen wordt. Tijdens het proces merkt Ness ook op dat er een gewapende lijfwacht van Capone aanwezig is. Ness neemt de lijfwacht mee naar buiten en ontdekt dat de lijfwacht eigenlijk Frank Nitti is en dus de moordenaar van Malone. Nitti probeert te ontsnappen maar wordt dan door Ness gedood. Doordat de jury vervangen is, ziet de advocaat van Capone geen andere mogelijkheid dan schuld te bekennen.