Begivenhederne i historien "Sign of Four" finder sted i London i 1888. Under en tvungen lediggang på grund af manglen på ordrer udpeger den kendte detektivkonsulent Sherlock Holmes, der bor 221-6 på Baker Street sammen med sin ven Dr. Watson, ham hans deduktive metode, som han bruger til at løse forbrydelser. Sherlock Holmes er overbevist om, at en observant person er i stand til at bevise eksistensen af Atlanterhavet og Niagara-vandfaldene ved logiske konklusioner, selvom han aldrig havde set dem før og ikke hørt noget om dem. De mindste detaljer og kendsgerninger skal bemærkes, da de er i stand til at yde et uvurderligt bidrag til genopbygningen af det fulde billede af begivenheder, personens art og omstændighederne i forbrydelsen.
Som en strålende detektiv besidder Sherlock Holmes encyklopædisk viden inden for kriminel kronik og kemi, spiller violin godt, har fremragende indhegnings- og boksefærdigheder, er velbevandret inden for geologi, anatomi, botanik, har et ekstraordinært skuespillertalent, men inden for litteraturområdet, filosofi, astronomi, hans viden er nul. I de timer, hvor han ikke har noget at gøre, bliver han grebet af dødbringende kedsomhed og finder trøst i morfin og kokain.
Dr. Watson, en ven og ledsager af Sherlock Holmes, en tidligere militærlæge, der tjente med den engelske hær i den indiske krig med Afghanistan og blev såret i denne krig, bor sammen med Holmes i den samme lejlighed og er en kroniker af alle de tilfælde, hans ven afsløret.
Til Sherlock Holmes store glæde afbrydes hans midlertidige ledighed af en vis frøken Morsten, syvogtyve år gammel, med et åndelig og venligt ansigt, der vidner om sjælens adel og sympati. Hun fortæller detektiv om mærkelige begivenheder, der skete for nylig i hendes liv, og beder ham om hjælp. I barndommen mistede hun sin mor. Faderen, der tjente som officer i Indien, sendte sin datter til et internat i England. I 1878, det vil sige for ti år siden, ankom han til England, som det tidligere blev meddelt i et telegram. Da frøken Morsten ankom til hotellet, fandt hun imidlertid ud af, at hendes far pludselig var forsvundet. Han vendte ikke tilbage den næste dag, vendte aldrig tilbage igen. Derefter begyndte hun i 1882 pludselig at modtage en meget smuk og stor perle fra nogen hvert år. Og dagen for sit besøg i Holmes modtog hun et brev, hvor hun blev bedt om at komme til Lyceum-teatret om aftenen, hvor hun sagde, at hun var blevet behandlet uretfærdigt, og at nogen ville rette op på denne uretfærdighed.
Sherlock Holmes og Dr. Watson går hen til det angivne sted med hende. Før hun forlader, viser hun Holmes en mærkelig note, fundet i ejendele af den savnede Morsten, der afbildede en plan for et eller andet rum, med fire kors malet i række på samme sted, med tværbjælker i kontakt med hinanden og med en prætentiøs signatur: "tegn på fire." Personen, de mødte, bringer dem i en førerhus til det sydlige London. Der møder de en lille rødhåret mand med et skinnende skaldet hoved. Det viser sig, at han er en af tvillingesønene til major Sholto, der døde for seks år siden, Tadeusz Sholto. Hans far og far Miss Morsten tjente engang sammen i Indien i de koloniale styrker. Der trak major Sholto, mystisk velhavende, op for elleve år siden og vendte tilbage til England med en rig samling af orientalske sjældenheder og en hel stab af indfødte tjenere. Majoren afslørede ikke hemmeligheden bag erhvervelsen af skatte, og hvor de blev holdt indtil hans død. Han følte hendes tilnærmelse kaldte hans sønner til ham og fortalte dem, hvordan kaptajn Morsten døde. Det viste sig, at han, da han ankom til London for ti år siden, kom til Sholto, og de havde en tvist om opdelingen af skatte, som Morsten vidste, og hvoraf halvdelen skyldtes ham. Han, der led af et ømt hjerte, havde et angreb. Så faldt han, og efter at have slået hovedet på hjørnet af skattekisten, døde han. I frygt for, at han ville blive anklaget for mord, skjulte Sholto kaptajnens legeme og sagde ikke noget til sin datter, da hun et par dage senere på udkig efter hans savnede far kom til hans hus. Før hans død ønskede han også at afsløre for sine sønner, hvor selve kisten var skjult, men et forfærdeligt ansigt uden for vinduet forhindrede ham i at gøre dette. Han døde og tog hemmeligheden med til graven. Hans sønner, der følte en pligt over for frøken Morsten og ville fjerne hende fra i det mindste behov, begyndte hvert år at sende hende en perle perleperler, en gang fjernet af deres far fra kisten. For tiden vidste Tadeusz Sholto og hans bror Bartholomew ikke engang, hvor rigdommen selv var skjult. Dagen før, efter mange år med mislykkede søgninger, fandt Bartholomew dem imidlertid på loftet i sit hus, i et hemmeligt vægget rum. Han rapporterede dette til Tadeusz. På trods af indvendingerne fra sin bror, som arvet hans ægthed fra sin far, besluttede han at dele skatte med frøken Morsten. Alle fire går til Bartholomew. De opdager imidlertid, at han blev dræbt af en giftig torn, der blev kastet i hans hals, at skatte blev stjålet, og at et stykke papir med ”tegn på fire” blev efterladt på forbrydelsesstedet.
Små detaljer får Sherlock Holmes til at antage, at to mennesker er de kriminelle - en løbsk fængslet ved navn Jonathan Small, der har en træprotese i stedet for sit højre ben, og nummer et, en vilde fra Andamanøerne, er lille, meget vred og kvikk. Efter at han hjalp Small sammen med kisten med at komme ned ad rebet fra vinduet, lukkede han skodderne indefra og kom ud på loftet. Mens han flygtede, fik han sin fod beskidt i kreosot, og Holmes fulgte hans fodspor til floden ved hjælp af snifferhunden Toby. Der fandt han ud af, at de kriminelle kom ombord på en lejet Aurora-båd. Når Holmes plan om at spore en båd ved hjælp af en hyret bande af drenge nedbrud, tager han ud, klædt som en gammel sømand, på jagt efter Auroraen og forsøger at finde hende på dokkerne. Han lykkes. Han opfordrer til hjælp fra Scotland Yard Inspector Ethelny Jones, der efterforsker mordet, og de sammen med Dr. Watson jager en politibåd og fanger kriminelle med en kiste. Når han jager en vilde, skal han dræbes, fordi han begynder at skyde på sine forfølgere med sine giftige torner. Dr. Watson tager kisten til frøken Morsten, men til sidst viser det sig, at han er tom, hvilket lægen er meget glad for, fordi barrieren, der efter hans mening er opstået mellem ham og den unge kvinde på grund af hendes påståede rigdom, forsvinder. Nu kan han frit erkende hendes kærlighed og tilbyde sin hånd og hjerte. Frøken Morsten finder hans tilbud meget attraktivt. Små, der indså, at han uundgåeligt ville blive fanget, kastede smykkene i Themsen, fordi han ikke ville lade nogen anden få det. Bartholomew Sholtos død var ikke en del af hans planer, og det var ikke han, der dræbte ham, men den onde vilde uden Smalls viden. For at overbevise Sherlock Holmes og Ethelney Jones om dette, fortæller han dem historien om sit liv. I sin ungdom tjente han som en soldat i regimentet, sendt til Indien. Imidlertid måtte han snart skille sig med tjenesten: da han badede i Tanga, krokodillen bid af benet over knæet, og han blev en hjælpeløs kram. Derefter, da han arbejdede som tilsynsmand på en plantage, begyndte pludselig et oprør i landet. Small skyndte sig til Agra og sluttede sig til den britiske enhed, der gemte sig i Agra-fæstningen, og han blev betroet at bevogte en af indgangene til fæstningen og fik to sikher. Den tredje aften fangede sikherne Small og konfronterede ham med et valg: at være sammen med dem eller holde kæft for evigt. De fortalte ham om deres plan: I de nordlige provinser boede der en meget rig raja. Han beordrede en del af sin rigdom at skjule tjeneren Akhmet i Agra-fæstningen indtil krigens afslutning, så i tilfælde af briternes sejr i det mindste at redde dette bryst. Sikherne og Akhmets ledsager, deres medskyldige, ville dræbe ham og tage besiddelse af kisten. Small besluttede at slutte sig til dem og svor trofasthed mod dem. Alle fire gennemførte deres plan. De skjulte den myrdede Akhmet i en af hallerne i den gamle fæstning, hvor ingen nogensinde var kommet ind. Brystet var opmuret i væggen i den samme hal. Hver af dem modtog en note med en plan og symboliserede deres tro mod hinanden med ”tegn på fire”. Efterfølgende blev de imidlertid alle dømt til livsvarig fængsel for drab. Mens de sonede deres domme, kunne de ikke bruge deres rigdom. Derefter aftalte Small med Sholto og Morsten, der bevogtede fængslet, at han ville fortælle dem, hvor kisten var skjult, de ville modtage deres andel, og til gengæld ville de arrangere en flugt for de fire fanger. Sholto, der gik efter kisten, bedragede alle og vendte tilbage til England alene. Siden da begyndte Small kun at leve med tanken om hævn. Han slap ud af fængslet ved hjælp af en ven - en indfødt ved navn Tongo. I England tog han kontakt med en af major Sholtos tjenere og ventede på det rigtige øjeblik. Det var Small, der kiggede ud af vinduet til den døende major. Han ventede i vingerne og stjal skattene. Til Bartholomews død løsnet han Tongo med et reb. Det var historien om Jonathan Small.
Skatte gik ikke til nogen. Dr. Watson fik hustru til frøken Morsten, Ethelney Jones - berømmelse for den løste forbrydelse, og Holmes var tilfreds med en ampul af kokain.