Handlingen finder sted i begyndelsen af det XX århundrede (i årene umiddelbart forud for udbruddet af første verdenskrig) i Schweiz, i et tuberkulosesanatorium beliggende nær Davos. Romanens navn fremkalder tilknytning til Mount Gerzelberg (Syndig eller Magic Mountain), hvor minnesinger Tannhäuser ifølge legenden tilbragte syv år i fangenskab med gudinden Venus.
Romanens helt, en ung tysker ved navn Hans Kastorp, kommer fra Hamborg til Berggof-sanatoriet for at besøge sin fætter Joachim Zimsen, der er under behandling der. Hans Kastorp har til hensigt ikke at tilbringe mere end tre uger i sanatoriet, men ved udgangen af den planlagte periode føler han sig uvel, ledsaget af en temperaturstigning. Som et resultat af en medicinsk undersøgelse viser han tegn på tuberkulose, og efter insistering af hovedlæge Behrens forbliver Hans Kastorp i sanatoriet i en længere periode. Helt lige fra ankomst, opdager Hans Kastorp, at tiden i bjergene overhovedet ikke flyder som på sletten, og det er derfor næsten umuligt at afgøre, hvor mange dage, uger, måneder, år der er gået mellem disse eller andre beskrevne begivenheder, og hvor længe hele romanen dækker. I slutningen af romanen siges det imidlertid, at Hans Kastorp tilbragte i alt syv år i sanatoriet, men selv dette tal kan betragtes som en bestemt kunstnerisk konvention.
Faktisk er det plot og begivenheder, der forekommer i romanen, absolut ikke vigtigt for at forstå dens betydning. De er bare en undskyldning for at kontrastere til de forskellige livspositioner hos karaktererne og give forfatteren muligheden for at tale deres læber om mange spørgsmål, der bekymrer ham: liv, død og kærlighed, sygdom og helbred, fremskridt og konservatisme, menneskets civilisations skæbne på randen af det 20. århundrede. Flere snesevis af figurer passerer i romanen - hovedsageligt patienter, læger og plejepersonale: nogen er på bedring og forlader Berghof, nogen er ved at dø, men der kommer konstant nye på deres sted.
Blandt dem, som Hans Kastorp mødes allerede i de første dage af sit ophold i sanatoriet, besættes et særligt sted af Mr. Lodovico Settembrini - en efterkommer af Carbonari, en frimurer, en humanist, en stødig tilhænger af fremskridt. På samme tid som en ægte italiener hader han lidenskabeligt Østrig-Ungarn. Hans usædvanlige, undertiden paradoksale ideer, udtrykt i en lys, ofte kaustisk form, har en enorm indflydelse på sindet hos en ung mand, der begynder at ære hr. Sethembrini som sin mentor.
En vigtig rolle i Hans Kastorps livshistorie blev spillet af hans kærlighed til den russiske patient på sanatoriet Madame Claudia Shosha - den kærlighed, som han på grund af hans strenge opdragelse i en kalvinistisk familie oprindeligt modstår med alle midler. Der går mange måneder, før Hans Kastorp taler med sin elskede - dette sker under karnevalet før fasten og Claudius 'afgang fra sanatoriet.
I løbet af den tid, der blev brugt i sanatoriet, blev Hans Kastorp seriøst båret af mange filosofiske og naturvidenskabelige ideer. Han deltager i forelæsninger om psykoanalyse, han studerer alvorligt medicinsk litteratur, han er interesseret i spørgsmål om liv og død, han studerer moderne musik, bruger til sine formål den seneste opnåelse af teknologi - optagelse osv. I det væsentlige tænker han ikke længere på sit liv på sletten, han glemmer, at han finder arbejde der, bryder praktisk talt bånd med sine få slægtninge og begynder at betragte livet i sanatoriet som den eneste mulige form for eksistens.
Hos sin fætter Joachim er situationen præcis det modsatte. Han havde længe og hårdt forberedt sig på en militær karriere, og betragter derfor hver ekstra måned, der tilbringes i bjergene, som en uheldig hindring for realiseringen af hans livs drøm. På et tidspunkt kan han ikke tåle det, og ved ikke at være opmærksom på advarsler fra læger, forlader sanatoriet, går ind i militærtjeneste og modtager en officerbank. Dog går der meget lidt tid, og hans sygdom forværres, så han bliver tvunget til at vende tilbage til bjergene, men denne gang hjælper behandlingen ikke ham, og han dør snart.
Kort før dette falder en ny karakter ind i kendskabet til Hans Kastorp - jesuiten Nafta, den evige og uforanderlige modstander af Mr. Settembrini. Nafta idealiserer Europas middelalderlige fortid, fordømmer selve fremskridtbegrebet og hele den moderne borgerlige civilisation, der er legemliggjort i dette koncept. Hans Castorp befinder sig i en vis forvirring - når han lytter til de lange tvister mellem Settembrini og Nafta, er han enig med den ene eller den anden og finder derefter modsætninger i både den ene og den anden, så han ikke længere ved, hvilken side sandheden er på. Imidlertid er Settembrinis indflydelse på Hans Kastorp så stor, og jesuitternes medfødte mistillid er så stor, at han helt står på siden af den første.
I mellemtiden vendte Madame Shosha tilbage til sanatoriet i nogen tid, men ikke alene, men ledsaget af hendes nye ven - den rige hollander Peperkorn. Næsten alle indbyggerne i Berghof-sanatoriet er under den magnetiske indflydelse af denne ubetinget stærke, mystiske, omend noget tunge bundne personlighed, og Hans Kastorp føler et slægtforhold til ham, fordi de er forenet af kærlighed til den samme kvinde. Og dette liv slutter tragisk. Når den dødeligt syge Peperkorn tager en gåtur til vandfaldet, underholder sine ledsagere på alle måder, om aftenen drikker han og Hans Kastorp til Brudershaft og skifter til “dig” på trods af aldersforskellen, og om natten tager Peperkorn gift og dør, forlader Madame Shosha snart sanatoriet - til denne gang tilsyneladende for evigt.
Fra et bestemt øjeblik i sjælene hos indbyggerne i sanatoriet "Berghof" begynder der at blive nogle angst. Dette falder sammen med ankomsten af en ny patient - det danske Ellie Brand, der har nogle overnaturlige evner, især i stand til at læse tanker på afstand og forårsage ånder. Patienter er afhængige af spiritualisme, arrangerer sessioner, hvor Hans Kastorp er involveret, på trods af den kaustiske latterliggørelse og advarsler fra hans mentor Settembrini. Det er efter sådanne sessioner, og måske som et resultat af deres tidligere målte tid i sanatoriet, der er krænket. Patienter krænker, der og da opstår konflikter under den mest ubetydelige lejlighed.
Under en af tvisterne med Nafta hævder Settembrini, at han ødelægger ungdommen med sine ideer. En trefald fører til gensidige fornærmelser og derefter til en duel. Settembrini nægter at skyde, og derefter fyrer Nafta en kugle i hovedet.
Og så ramte tordenen fra en verdenskrig. Beboere i sanatoriet begynder at gå hjem. Hans Kastorp rejser også til sletten, skilt af Mr. Settembrini for at kæmpe, hvor han er tæt ved blod, selvom Mr. Settembrini selv synes at støtte en helt anden side i denne krig.
I den sidste scene er Hans Kastorp afbildet, der løber, gennemsøger, falder sammen med de samme unge mænd i soldats overfrakker, der faldt ned i kødkværnen fra 2. verdenskrig. Forfatteren siger bevidst ikke noget om sin heltes skæbne - historien om ham er forbi, og forfatteren var ikke i sig selv interesseret i sit liv, men kun som baggrund for historien. Som nævnt i sidste afsnit har Hans Kastorp imidlertid et lille håb om at overleve.