Handlingen finder sted i 1880'erne. i den lille skotske by Leavenford. I huset med bisarre arkitektur, hvis projekt blev udviklet af James Brody selv, er der: en ældre mor til familiens leder, for hvem den eneste underholdning er mad, hans kone Margaret, en livstruet kvinde, døtre Nancy (en fremragende studerende, hvis far vil have en stor fremtid) og Mary (dristig og en målbevidst pige, tvunget til at afslutte sin uddannelse for at hjælpe sin mor rundt om i huset), sønnen til Matthew, som hans far vil sende til Indien, og ejeren selv. James Brody, ejeren af en hatbutik, nyder berømmelse og indflydelse i byen, primært på grund af hans velhavende kunder. Dette er en grusom og dominerende mand, der foragte alle dem, som han betragter som sig selv under. Han er streng med sin familie og undertiden endda grusom. Så han forbød Mary at gå på den årlige messe - han blev opmærksom på hendes møder med Denis Foyle, en irsk afstamning og sælger af et af handelsfirmaerne, og han ønsker at stoppe denne bekendtskab. Men i strid med sit forbud, går Mary stadig til messen. Der kører han og Danis i en glædelig runde, ser en forestilling i en retfærdig stand og går derefter til flodbredden. Denise fascineret af den unge charme fra Mary, og Denise overtager hende, og den uskyldige pige forstår ikke engang, hvad der virkelig skete. Fuld af lidenskab giver den unge mand hende et tilbud. Begge forstår imidlertid, at det snart er umuligt at registrere et ægteskab - Denis skal først stå på benene og erhverve sit eget hjem. Forventningen er så lang, at Mary, til hendes overraskelse, begynder at opdage mærkelige ændringer i hendes figur. Da hun ikke ved hvad hun skal tænke, går hun til lægen, der fortæller hende, at hun er gravid. Mary fortæller Denis om dette og beder om at fremskynde brylluppet. Denise beslutter at bede Brody om hendes hænder, men han prøver at slå ham. Den unge mand formår at undvige sig, og i stedet for Denis Brody rammer væggen, hvilket resulterer i, at han smerteligt rammer hånden. Forvirret med raseri sætter han Mary i husarrest.
Mary er desperat - hun er på randen af selvmord og er allerede klar til at tage gift, når han pludselig modtager en note fra Denis, hvor han skriver, at han allerede har lejet et lille hus og snart vil kunne flytte dit. Så kaster Mary giften ud, men føler, at der sker noget underligt med hende. Hendes mave er uudholdeligt smertefuld. Hun gemmer sig hjemmefra i sit værelse, men pludselig kommer hendes mor til hende. For første gang bemærker en kvinde en datters hævede mave og forstår alt. Forgjeves beder Mary hende om ikke at sige noget til sin far - opdrættet i hyklerisk moral og frygter hendes mand ihjel, fru Brody giver sin datter. Brody fastholder næppe sig selv for ikke at slå den uheldige Mary, men til sidst kaster hun hende udenfor.
I gårdhaven nat en storm; vinden skriker frygteligt, lynet glitrer. Mary i en kjole vandrer gennem skoven. Efter lange vandringer i skoven, går hun endelig til floden, men pludselig snubler og falder i vandet. På mirakuløst vis klarer hun at flygte, men hun falder straks ned i sumpen og ser næppe lyset fra boliger. I sidste ende kommer Mary ud af det blå og vandrer næppe til huset. Hun er bange for mennesker, så hun kommer ind i stallen, hvor hun føder en dreng.
Værtinde går ved et uheld ind i stallen og opdager Mary, der har mistet bevidstheden. Hun ringer til en læge, og den uheldige pige føres til det nærmeste hospital,
I mellemtiden rejser Denis til opgave til en fjerntliggende skotsk by. Når hans tog passerer en gnistrende, halvrådd bro, kan understøtningerne ikke tåle det, og toget falder ned i afgrunden. Denise er ved at dø.
Nogen tid senere har Brody en samtale med den berømte bysladder Grirson, fra hvem han lærer, at barnet Mary døde på hospitalet. En stor del af Marias skæbne tog Dr. Renwick; Denis 'forældre hjalp hende med at få en stuepige i London. Men det ser ud til, at Brody ikke bryder sig: Han fornægtede sin datter og vil ikke høre om hende, på trods af hendes ulykke. Med glæde tænker han på Foyle's død.
Snart får Brody at vide, at der i den nærmeste fremtid ved siden af sin butik åbner et stort bureaukvarefirma Manjo & K, der også vil sælge hatte. Brodys kontorist Peter Perry inviterer ejeren til at innovere i handelen, men han er selvsikker og vil ikke høre noget. Imidlertid gør vindueskåberet hos naboer, smukke mannequiner og andre reklametricks Manjo-butikken til en seriøs konkurrent, og snart flytter alle Brodys kunder dit. For at afslutte det hele går Perry også der, skuffet over det kedelige, uinteressante arbejde fra den uhøflige og utakknemlige Brody. Og selvom Brodys økonomiske situation er meget rystet, fortsætter han med at være uhøflig over for kunder. Hans anliggender bliver værre og værre.
Men Brodys største problemer er endnu ikke kommet. Hjemme lærer han, at Matthew vender tilbage fra Indien i forvejen. Der er rygter i byen om, at han ikke gør det af egen fri vilje - han blev fyret for dårligt arbejde. Snart modtager Margaret Brody et telegram fra sin søn, hvor han beder om at sende ham fyrre pund. Faktum er, at han inden otte måneder sendte sin mor fem pund for at bevare dem, men på grund af den vanskelige økonomiske situation i familien brugte hun disse penge. For at få 40 pund er hun nødt til at henvende sig til pengeudlånere, og de låner hende penge til høje renter. En ulykkelig kvinde nægter sig selv alt, har svært ved at betale renter og tørrer foran øjnene.
Matthew vender tilbage. Han har ændret sig meget; Han sover indtil middag, spiser i byen, presser penge fra sin mor, og når han ikke kan få det, stjæler han familiens timer. Det viser sig, at han med bruden Agnes ikke opfører sig bedre. Efter at have talt med hende, oplever Margaret et sygdomsangreb, der længe har plaget hende.
Efter at have vundet en stor sum penge på billard, går Mat til et bordel. Burstende ind i et rum møder han en smuk pige der og begynder at plage hende, når Brody pludselig dukker op. En pige ved navn Nancy, servitrice på en af byens caféer, venter på ham. En kamp følger; Matt skyder sin far, men savner.
Fru Brody lider i mellemtiden udålelig smerte. Lægen diagnosticerer kræft. Hun havde ikke mere end seks måneder tilbage til at leve. Hun tilbyder at skrive Mary, så hun kommer til at drive husstanden, men Brody gør skarpt indvendinger.
Efter nogen tid indser Brody, at han er fuldstændig ødelagt. Efter at have lært dette dør Margaret Brody.
For at fodre sin familie går Brody ind i værftet til den lokale rige mand Sir John Latt. Han introducerer Nancy i huset som husholderske, men hun er ikke i stand til husholdning, som den afdøde fru Brody gjorde. Derudover vil hun gifte sig og er utilfreds med sin nuværende situation. Huset er ødelagt. Brody drikker, og Nancy begynder at være mere opmærksom på Matthew. Han gengælder hende, og hun håber, at han gifter sig med hende.
Ser han det komplette sammenbrud i sin egen karriere, har Brody nu alle sine håb på sin yngste datter og tvinger hende til at studere gennem sin styrke for at få et universitetsstipend. Udmattet af underernæring og konstant forfølgelse skriver Nessie til Mary og beder hende om at vende tilbage.
Snart kommer et brev fra Mary, hvor hun beder sin far om tilgivelse. Han var ved at skrive et hårdt svar, da han pludselig fandt ud af, at Nancy var flygtet med Matt til Sydamerika. Han havde intet andet valg end at acceptere ankomsten af sin ældste datter.
Efter et fire-årigt fravær vender Mary tilbage til Leavenford. Hun er bekymret over sin søsters tilstand og henvender sig til Dr. Renwick, der engang reddede sit liv. Han hjælper ham heldigvis - han har længe været hemmeligt forelsket i hende. Som om tilfældigvis undersøger Nessie, finder lægen en pige med svær nervøs udmattelse.
Brody tillader dog ikke hendes datter at hvile: alt i huset er nu underlagt kampen om et stipendium. Af frygt for sin far er Nesse bange for at indrømme, at han føler sig uvel og fortsætter med at arbejde hårdt. Hun får dog ikke et stipendium. Efter at have lært dette bliver Nessie skør og hænger sig selv i fortvivlelsesindstillingen.
Vender hjem, opdager Mary en søster i en støj og ringer til Dr. Renwick. Han forstår, at Mary skal tages væk fra dette hus så hurtigt som muligt. Han erklærer hendes kærlighed og fremsætter et tilbud. De falder i hinandens arme.
I det øjeblik vender Brody tilbage fra arbejde. Han beskylder lægen og Mary for utroskab, men lægen peger ham på den skrøbelige krop af Nessie. "Nessie hængte sig, fordi du ikke modtog et stipendium, og du er den skyldige i hendes død," siger han, hvorefter hun og Mary forlader dette hus for evigt. Og så indser Brody forfærden i hans situation: han er klar over, at han blev efterladt alene med en halv vred mor , som som alle andre er bange for ham ihjel.