W 1922 roku utworzono dla niego urząd sekretarza generalnego Wszechrosyjskiej Partii Komunistycznej (bolszewików) – (RKP(b)), później (od 1925) Wszechzwiązkowej Partii Komunistycznej (bolszewików) – (WKP(b)) i wreszcie (od 1952) Komunistycznej Partii Związku Radzieckiego (KPZR). Ponadto w latach 1941-53 pełnił urząd przewodniczącego Rady Komisarzy Ludowych (od 1946 Rady Ministrów) ZSRR. Początkowo swoją władzę opierał na zaufaniu Lenina, w miarę pogłębiania się choroby wodza ujawnił talent mistrza intryg partyjnych. Początkowo sprzymierzony z Grigorijem Zinowjewem i Lwem Kamieniewem (1924-26) przeciwko Lwowi Trockiemu, postrzeganemu jako następca Lenina. Po odsunięciu Trockiego pozbył się tych dwóch przejściowych sprzymierzeńców w sojuszu z Nikołajem Bucharinem, Aleksiejem Rykowem i Tomskim (1926-29). W końcu pozbył się ich także, stawiając na działaczy partyjnych pozbawionych własnego zdania, autorytetu i ślepo aprobujących wszystkie posunięcia wodza. W 1929 z polecenia Stalina rozpoczęto walkę z religią, poprzez utworzenie organizacji propagującej ateizm, Związku Wojujących Bezbożników. Kampania wymierzona była głównie przeciwko cerkwi prawosławnej, a także innym wyznaniom. Nowa ateistyczna organizacja była głównym wykonawcą w następnych kilkunastu latach, planowego niszczenia obiektów sakralnych, cmentarzy, przedmiotów kultu religijnego a także przekazywaniem służbom bezpieczeństwa ZSRR list księży przeznaczonych do wymordowania. Jeszcze pod koniec 1929 nakazano konfiskatę dzwonów kościelnych, a do 1930 wszystkim popom prawosławnym podniesiono podatki o 1000 procent, pozbawiono praw obywatelskich (co spowodowało utratę praw do świadczeń medycznych i pomocy żywnościowej). W następnych latach większość z nich aresztowano, wypędzono lub zesłano do obozów. Do 1 marca 1930 zburzono 6 715[11] cerkwi prawosławnych i ok. 9 500[12] meczetów. W 1936 liczba duchownych w ZSRR zmniejszyła się o ok. 85 procent (pozostało zaledwie 15 procent czyli ok. 17 800 duchownych) w stosunku do liczby z 1914 roku, i o 75 procent w stosunku do roku 1928. Jego władza w 1934 stała się na tyle absolutna, że nikt nie odważał się na krytykę jakichkolwiek posunięć władz, co jednak tym bardziej czyniło go podejrzliwym wobec współpracowników. Stalin przejął i rozwinął po rządach Lenina bezwzględną policję polityczną ("Czeka") oraz zalążek systemu obozów koncentracyjnych Gułag (Gławnoje Uprawlienie Łagieriej), w którym począwszy od 1933 przebywało na stałe 10 milionów więźniów[13]. Skrytobójcze morderstwo popularnego działacza Siergieja Kirowa, uważanego za potencjalnego następcę Stalina i największego jego rywala w walce o władzę w partii komunistycznej (z tego powodu część historyków twierdzi iż Kirow został zamordowany z polecenia Stalina[14], chociaż brak na to jednoznacznych dowodów) było sygnałem do tzw. Wielkiej Czystki (1934-39) w trakcie której dokonano po sterowanych procesach sądowych wymordowania większości starych rewolucjonistów, działaczy partyjnych, a także oficerów Armii Czerwonej i różnych niewygodnych wodzowi osób. Czystka w Armii dotknęła ponad 30 000 oficerów (ok. 50% kadry dowódczej, w tym 80% generałów i pułkowników)[13]. Stalin zorganizował także intrygę, która posłużyła do zamordowania marszałka Michaiła Tuchaczewskiego[13] – w 1936 przekonał nazistów do sfabrykowania dowodów przeciwko niemu, dotyczących rzekomych tajnych kontaktów między Tuchaczewskim, a hitlerowską generalicją. Materiały spreparowało Gestapo, a do ZSRR dostarczył je sowiecki podwójny agent (jednocześnie NKWD i Gestapo), generał Nikołaj Skoblin. Tuchaczewskiego oraz 7 innych wysokich oficerów skazano 11 czerwca 1937 w pokazowym procesie i zamordowano 12 czerwca. Stalin, za pomocą całkowicie mu posłusznego szefa NKWD, Nikołaja Jeżowa, dokonywał masowej eksterminacji przeciwników politycznych – osobiście podpisywał listy osób przeznaczonych do wymordowania. Jego podpis figuruje na ponad 400 listach[13] tylko z lat 1937-1939, zawierających nazwiska 44 000[13] ludzi (bolszewików, członków rządu oraz oficerów wojska i osób ze świata kultury). Czystka w partii komunistycznej, którą rozpoczął Stalin, do 1939 spowodowała wymordowanie ok. 1 miliona[13] szeregowych członków partii, w niektórych rejonach kraju likwidowano wszystkich działaczy partyjnych, np. w Leningradzie zamordowano 150 delegatów na 17. zjazd partii, zostawiając przy życiu zaledwie 2. Terror obejmował jednak w pierwszym rzędzie zwykłych obywateli ZSRR – w 1989 eksperci rosyjskiego Centrum Praw Człowieka Memoriał odkopali w pobliżu Czelabińska na Uralu jedną z wielu masowych mogił ofiar terroru z lat 30., która zawierała 80 000[15] ludzkich szkieletów.
