Den tragiske historie om kunstneren Chartkov begyndte foran en butik på Schukins gårdsplads, hvor han så en blandt de mange malerier, der afbilder bønder eller landskaber, og efter at have givet den sidste tohånds mand til det, bragte han ham hjem. Dette er et portræt af en gammel mand i asiatiske tøj, det virkede ufærdigt, men greb med en så stærk børste, at øjnene i portrættet så ud som om de levede. Hjemme finder Chartkov ud af, at ejeren kom med et kvarter og krævede betaling for en lejlighed. Sjælden fra Chartkov, der allerede har beklaget de to-mandede og siddende, ud af fattigdom uden et lys, formerer sig. Han tænker, uden galde, på en ung talentfuld kunstners skæbne, tvunget til et beskedent lærlingeår, mens han besøger kunstnere "bringer lyd med deres sædvanlige vaner" og tager en vis mængde kapital tilbage. På dette tidspunkt falder hans blik på portrættet, allerede glemt af ham - og helt levende, endda ødelægger harmonien i selve portrættet, skræmmer ham, hvilket giver ham en ubehagelig følelse. Når han går i søvn bag skærmene, ser han gennem revnerne et månedsoplyst portræt, og stirrer også på ham. I frygt gardinerer Chartkov ham med et ark, men så ser han ud til at have øjne, der skinner gennem lærredet, så ser det ud til, at arket er revet af, endelig ser han, at arkene virkelig er væk, og den gamle mand bevægede sig og kom ud af rammerne. Den gamle mand kommer til ham bag skærmene, sætter sig ved fødderne og begynder at tælle pengene, som han tager ud af posen, han havde med sig. En pakke med påskriften "1000 stykker guld" ruller til siden, og Chartkov griber den upåagtet hen. Ved desperat presning af penge vågner han op; hånden føles tyngden bare i den. Efter en række successive mareridt vågner han sent og hårdt op. Da han er kommet ind hos udlejer, efter at have lært at der ikke er nogen penge, tilbyder han at betale med sit arbejde. Portrættet af den gamle mand tiltrækker hans opmærksomhed, og når han ser på lærredet presser han utilsigtet rammerne - den pakke, der er kendt for Chartkov, falder med påskriften "1000 stykker guld".
Samme dag betaler Chartkov udlejer og trøstede med historier om skatte, drukner den første bevægelse for at købe maling og låse sig op i tre år på værkstedet, lejer en luksuriøs lejlighed på Nevsky, tager på sin dandy, reklamerer i en gående avis, og næste dag tager han kunden. En vigtig dame, der har beskrevet de ønskede detaljer om det fremtidige portræt af sin datter, tager hende væk, da Chartkov kun syntes at underskrive og var klar til at gribe noget vigtigt i hendes ansigt. Næste gang forbliver hun utilfreds med de ligheder, der har vist sig, gulheden i hendes ansigt og skyggerne under øjnene, og til sidst tager hun for portrættet det gamle værk af Chartkov, Psyche, lidt opdateret af den irriterede kunstner.
På kort tid kommer Chartkov på mode: han griber et fælles udtryk og maler mange portrætter og tilfredsstiller en række påstande. Han er rig, adopteret i aristokratiske huse, han udtrykker sig hårdt og arrogant om kunstnere. Mange, der kendte Chartkov før, er forbløffet over, hvordan talent, der først var så mærkbart, kunne forsvinde i ham. Det er vigtigt, bebrejder ungdom med umoral, bliver en ondskab, og en gang på invitationen fra Kunstakademiet, når han kommer til at se lærredet af en af sine tidligere kammerater sendt fra Italien, ser han perfektion og forstår hele hans afgrund. Han låser sig inde i værkstedet og fordyber sig i arbejdet, men tvinges til at stoppe hvert minut på grund af uvidenhed om de elementære sandheder, hvis undersøgelse han forsømte i starten af sin karriere. Snart blev han beslaglagt med frygtelig misundelse, han begyndte at købe de bedste kunstværker, og først efter hans forestående død af en feber, forbundet med forbrug, bliver det klart, at mesterværkerne til erhvervelsen, som han brugte al sin store formue, blev brutalt ødelagt. Hans død er forfærdelig: den gamle mands frygtelige øjne syntes ham overalt.
Historien om Chartkov havde en eller anden forklaring efter kort tid på en af auktionerne i Skt. Petersborg.Blandt de kinesiske vaser, møbler og malerier tiltrækkes mange af det fantastiske portræt af en bestemt asiat, hvis øjne er malet med en sådan kunst, at de ser levende ud. Prisen stiger fire gange, og derefter taler kunstner B. og erklærer sine særlige rettigheder til dette lærred. Til støtte for disse ord fortæller han en historie, der skete med sin far.
Efter at have skitseret for begyndelsen en del af byen kaldet Kolomna, beskriver han en pengeudlåner, der engang boede der, en kæmpe af asiatisk udseende, der er i stand til at låne enhver, der ønsker det, fra en gammel kvindes niche til spildende adelige. Dens interesse syntes lille, og betalingsbetingelserne var meget rentable, men med mærkelige regnestykker steg det beløb, der skulle tilbagebetales, utroligt. Det værste var skæbnen for dem, der modtog penge fra hænderne på en ildevarslende asiat. Historien om en ung strålende adelsmand, en katastrofal ændring i karakteren, som bragte kejserindeens vrede over ham, endte med hans galskab og død. Livet med en vidunderlig skønhed, af hensyn til brylluppet, som hendes udvalgte lånte hos en pengeudlåner (for brudens forældre så en hindring for ægteskabet i den forstyrrede situation for brudgommen), et liv, der blev forgiftet i et år af gift af jalousi, intolerance og luner, der pludselig dukkede op i mandens tidligere ædle karakter. Selv uheldige begik selv sin hustrus liv, begik den uheldige selvmord. Mange ikke så iøjnefaldende historier, da de skete i de lavere klasser, var også forbundet med navnet på usureren.
Fortællerens far, en selvlært kunstner, der var ved at skildre mørkets ånd, tænkte ofte på sin forfærdelige nabo, og når han selv først kommer til ham og kræver at male et portræt fra sig selv for at forblive i billedet "ligesom i live". Far tager heldigvis sagen op, men jo bedre han formår at forstå den gamle mands udseende, jo livligere er hans øjne ud på lærredet, desto mere smertefuld har han en følelse. Ikke i stand til at bære den stigende modvilje mod arbejde, nægter han at fortsætte, og den gamle mands bønner og forklarer, at hans liv efter hans død vil blive bevaret i portrættet af overnaturlig kraft, og skræmme ham fuldstændigt. Han løber væk, et ufærdigt portræt bringes til ham af den gamle mands tjener, og usureren dør næste dag. Over tid bemærker kunstneren ændringer i sig selv: føler jalousi over for sin studerende, han skader ham, pengeudlåners øjne vises i hans malerier. Når han er ved at brænde et forfærdeligt portræt, tigger en ven ham. Men han blev snart tvunget til at sælge sin nevø; blev af med ham og hans nevø. Kunstneren forstår, at en del af usurerens sjæl flyttede ind i et forfærdeligt portræt, og døden af hans kone, datter og unge søn endelig forsikrer ham om det. Han placerer den ældste på Kunstakademiet og går til klosteret, hvor han fører et strengt liv og søger alle mulige grader af uselviskhed. Til sidst tager han børsten op og skriver Jesu jul i et helt år. Hans arbejde er et mirakel fuld af hellighed. Men til sin søn, der kom til at sige farvel, før han rejste til Italien, fortæller han mange af sine tanker om kunst, og blandt nogle af instruktionerne, hvor han fortæller historien med pengeudlåneren, tryller han til at finde et portræt, der går rundt og udrydder det. Og nu, efter femten år med meningsløse søgninger, fandt fortælleren endelig dette portræt - og når han og med det skare af lyttere vender sig mod væggen, står portrættet ikke længere på det. Nogen siger: "Stjålet." Måske har du ret.