W 1922 roku Sterling przybył do Berlina, popularnego wtedy celu wyjazdów artystów rosyjskiej awangardy. Berlin, z jego prężnie rozwijającą się sceną artystyczną, stanowił jednak najczęściej przystanek na drodze do Paryża. Poznał wtedy młodą studentkę z Polski, Basię, która później została jego żoną. Do Francji przybyli w 1923 roku, a Sterling zasilił szeregi międzynarodowej bohemy artystycznej Montparnasse’u. W Paryżu artysta uprawiał malarstwo sztalugowe, a jego twórczość promowała Galerie Zak, z którą podpisał kontrakt. Sterling spędził drugą wojnę światową, ukrywając się na prowincji. Wtedy też zmarła jego żona. Do Paryża powrócił w 1947 roku. W latach 50. związał się z Éliane, szwajcarską rzeźbiarką, która była uczennicą Ossipa Zadkine’a. W ostatnich dekadach życia Sterling wiele podróżował, odwiedził Holandię, Włochy, Hiszpanię i Izrael.