Hendelsene i historien "Sign of Four" finner sted i London i 1888. Under en tvangsløs ledighet på grunn av mangel på ordrer, setter den kjente detektivkonsulenten Sherlock Holmes, som bor 221-6 på Baker Street, sammen med vennen Dr. Watson, ut til ham hans deduktive metode, som han bruker for å løse forbrytelser. Sherlock Holmes er overbevist om at en observant person er i stand til å bevise eksistensen av Atlanterhavet og Niagara-fallene ved logiske konklusjoner, selv om han aldri hadde sett dem før og ikke hørt noe om dem. De minste detaljene og faktaene skal bemerkes, siden de er i stand til å gi et uvurderlig bidrag til gjenoppbyggingen av det fulle bildet av hendelsene, personens art og omstendighetene til forbrytelsen.
Som en strålende detektiv, har Sherlock Holmes leksikonkunnskap innen kriminell kronikk og kjemi, spiller fiolin godt, har utmerkede inngjerding og boksing, er godt kjent med geologi, anatomi, botanikk, har et ekstraordinært skuespillertalent, men innen litteraturfeltet, filosofi, astronomi, kunnskapen hans er null. I timene når han ikke har noe å gjøre, blir han grepet av dødelig kjedsomhet og finner trøst i morfin og kokain.
Dr. Watson, en venn og kamerat av Sherlock Holmes, en tidligere militærlege som tjenestegjorde med den engelske hæren i den indiske krigen med Afghanistan og ble såret i denne krigen, bor med Holmes i den samme leiligheten og er en kroniker av alle tilfellene vennen hans avslørte.
Til stor glede for Sherlock Holmes blir hans midlertidige ledighet avbrutt av en viss frøken Morsten, syv og tyve år gammel, med et åndeliggjort og snilt ansikt, som vitner om sjelens adel og sympati. Hun forteller detektivet om rare hendelser som skjedde nylig i livet hennes, og ber ham om hjelp. I barndommen mistet hun moren. Faren, som fungerte som offiser i India, sendte datteren til et internat i England. I 1878, det vil si for ti år siden, ankom han England, som tidligere kunngjort i et telegram. Da frøken Morsten ankom hotellet, fant hun imidlertid ut at faren hennes plutselig hadde forsvunnet. Han kom ikke tilbake dagen etter, kom aldri tilbake igjen. Deretter, fra 1882, begynte hun plutselig å motta en veldig vakker og stor perle fra noen hvert år. Og dagen for besøket hennes i Holmes, fikk hun et brev der hun ble bedt om å komme til Lyceum-teatret om kvelden, der hun sa at hun hadde blitt behandlet urettferdig og at noen ønsket å rette opp denne uretten.
Sherlock Holmes og Dr. Watson drar til det angitte stedet med henne. Før hun drar viser hun Holmes en merkelig lapp, funnet i eiendelene til den savnede Morsten, som avbildet en plan for et eller annet rom, med fire kors malt i samme rad, med tverrbjelker i kontakt med hverandre og med en pretensiøs signatur: "tegn på fire." Personen de møtte tar dem med seg i en drosje til Sør-London. Der møter de en liten rødhåret mann med et skinnende skallet hode. Det viser seg at han er en av tvillingsønnene til major Sholto, som døde for seks år siden, Tadeusz Sholto. Hans far og far frøken Morsten tjenestegjorde en gang sammen i India i kolonistyrken. Der trakk major Sholto, mystisk velstående, opp for elleve år siden og kom tilbake til England med en rik samling orientalske sjeldenheter og en hel stab av innfødte tjenere. Majoren avslørte ikke hemmeligheten bak skaffingen av skatter og hvor de ble oppbevart til hans død. Han følte hennes tilnærming og kalte sønnene til ham og fortalte dem hvordan kaptein Morsten døde. Det viste seg at han, etter å ha kommet til London for ti år siden, kom til Sholto og de hadde en strid om inndelingen av skatter, som Morsten visste om, og som halvparten skyldtes ham. Han, som led av et sårt hjerte, hadde et angrep. Så falt han, og etter å ha truffet hodet på hjørnet av skattkisten, døde han. I frykt for at han skulle bli anklaget for drap, skjulte Sholto kapteinens kropp og sa ikke noe til datteren da hun noen dager senere på jakt etter hans savnede far kom til huset hans. Før hans død ønsket han også å avsløre for sønnene sine hvor selve kisten var skjult, men et forferdelig ansikt utenfor vinduet hindret ham i å gjøre dette. Han døde og tok hemmeligheten med seg til graven. Sønnene hans, som følte en plikt overfor frøken Morsten og ville kvitte henne med minst behov, begynte å sende henne hvert år en perle perleperler, en gang fjernet av faren fra kisten. Foreløpig visste ikke Tadeusz Sholto og broren Bartholomew engang hvor rikdommen i seg selv var skjult. Imidlertid, etter mange år med mislykkede søk, fant Bartholomew dem imidlertid på loftet i huset hans, i et hemmelig inngjerdet rom. Han rapporterte dette til Tadeusz. Til tross for innvendinger fra broren, som arvet hans gjerrighet fra sin far, bestemte han seg for å dele skattene med frøken Morsten. Alle fire drar til Bartholomew. Imidlertid oppdager de at han ble drept av en giftig torn som ble kastet i nakken hans, at skattene ble stjålet og at et stykke papir med "tegnet av fire" ble stående igjen på forbrytelsesområdet.
Små detaljer får Sherlock Holmes til å anta at to personer er de kriminelle - en løpsdømt som heter Jonathan Small, som har en treprotese i stedet for høyre ben, og nummer én, en villmann fra Andamanøyene, er liten, veldig sint og kvikk. Etter at han hjalp Small sammen med kisten å komme seg ned fra vinduet fra tauet, lukket han skoddene fra innsiden og kom seg ut på loftet. Mens han flyktet, fikk han skitten fot i creosote, og Holmes, med hjelp av snifferhunden Toby, fulgte hans fotspor til elven. Der fikk han vite at kriminelle gikk om bord i en leid Aurora-båt. Når Holmes plan om å spore opp en båt ved hjelp av en innleid gjeng med gutter bryter sammen, drar han, utkledd som en gammel sjømann, på jakt etter Auroraen og prøver å finne henne på bryggene. Han lykkes. Han roper til hjelp fra Scotland Yard Inspector Ethelny Jones etterforsker drapet, og de, sammen med Dr. Watson, jager en politibåt og fanger kriminelle med en kiste. Når han jager en villmann, må han drepes, fordi han begynner å skyte på forfølgerne sine med sine giftige torner. Dr. Watson tar kisten til frøken Morsten, men til slutt viser det seg at han er tom, noe legen er ekstremt glad for, fordi barrieren som etter hans mening har oppstått mellom ham og den unge kvinnen på grunn av hennes påståtte formue, forsvinner. Nå kan han fritt bekjenne hennes kjærlighet og tilby hånden og hjertet. Frøken Morsten synes tilbudet hans er veldig attraktivt. Liten, og innså at han uunngåelig ville bli fanget, kastet smykkene inn i Themsen, fordi han ikke ønsket å la noen andre få det. Bartholomew Sholtos død var ikke en del av planene hans, og det var ikke han som drepte ham, men den onde villmann uten Smalls viten. For å overbevise Sherlock Holmes og Ethelney Jones om dette, forteller han dem historien om sitt liv. I ungdommen vervet han seg som soldat i regimentet, sendt til India. Imidlertid måtte han snart skille seg med tjenesten: da han badet i Tanga, krokodillen bit av benet over kneet, og han ble en hjelpeløs krøpling. Da han jobbet som tilsynsmann på en plantasje, begynte plutselig et opprør i landet. Small skyndte seg til Agra og sluttet seg til den britiske enheten som hadde søkt tilflukt i festningen Agra.Han ble betrodd å vokte en av inngangene til festningen og fikk to sikher. Den tredje natten fanget sikhene Small og konfronterte ham med et valg: å være sammen med dem eller holde kjeft for alltid. De fortalte ham om planen sin: i de nordlige provinsene bodde det en veldig rik raja. Han beordret en del av sin formue for å skjule tjeneren Akhmet i festningen Agra til krigens slutt, slik at i tilfelle briternes seier i det minste skulle redde dette brystet. Sikhene og Akmmet's følgesvenn, deres medskyldige, ønsket å drepe ham og ta besittelse av kisten. Small bestemte seg for å bli med og sverget troskap til dem. Alle fire gjennomførte planen sin. De gjemte den drepte Akhmet i en av hallene i den gamle festningen, der ingen noen gang hadde kommet inn. Brystet var oppmuret i veggen i samme hall. Hver av dem fikk en lapp med en plan og symboliserer deres troskap til hverandre med "tegnet på fire". Senere ble de imidlertid alle dømt til livsvarig fengsel for drap. Mens de sonet soningene sine, kunne de ikke bruke formuen. Så ble Small enig med Sholto og Morsten, som vokter fengselet, at han ville fortelle dem hvor kisten var skjult, de ville motta sin del, og til gjengjeld skulle de organisere en flukt for de fire fangene. Sholto, som gikk for kisten, lurte alle og vendte tilbake til England alene. Siden den gang begynte Small å leve bare med tanken om hevn. Han slapp fra fengselet ved hjelp av en venn - en innfødt ved navn Tongo. I England tok han kontakt med en av major Sholtos tjenere og ventet på det rette øyeblikket. Det var Small som så ut av vinduet til den døende majoren. Ventende i vingene stjal han skattene. For Bartholomews død, løsnet han Tongo med et tau. Det var historien til Jonathan Small.
Skatter gikk ikke til noen. Dr. Watson fikk kona til frøken Morsten, Ethelney Jones - berømmelse for den løste forbrytelsen, og Holmes var fornøyd med en ampull kokain.