La storia documentata del Caesar Augustus risale alla seconda metà del 1800: alcune antiche foto d'epoca testimoniano l'esistenza di "Villa Bitter" di proprietà di un facoltoso signore tedesco. Negli anni successivi la villa si trasformò in una locanda pronta a dare ristoro a quanti lavoravano alla costruzione delle strada carrozzabile tra Capri e Anacapri, inaugurata nel 1878, e a quanti percorrevano la Scala Fenicia, un tempo unica via di collegamento con Anacapri.

Agli inizi del 1900 il principe russo Emmanuel Bulhak, prevedendo tempi duri per la nobiltà del suo paese, decise di trasferirsi ad Anacapri con tutti i suoi beni. Scelta saggia: fu uno dei pochi a non finire come lavapiatti a Parigi dopo la rivoluzione d'ottobre. Ad Anacapri, Bulhak acquistò Villa Bitter e ne fece un centro d'arte e cultura.

Fu lui a posizionare la statua di Cesare dov'è ora.

Molti ci chiedono come mai la statua sia di Cesare Augusto, anziché di Tiberio, che secondo le più diffuse versioni della storia, fu l'imperatore di Capri. In realtà, Bulhak era uno studioso di storia antica e sosteneva la teoria secondo la quale fu invece l'imperatore Cesare a rendere famosa Capri.

A sostegno di questa teoria il principe russo pose una lapide accanto alla statua:

"CAESARI AUGUSTO ORBIS TERRARUM DUCI CAPRENSIS INSULAE AMATORI QUAE IN TERRARUM ORBE INTER MARIS UNDAS GEMMA IMPERATORI DIGNA CORUSCAT"

"A Cesare Augusto, imperatore del mondo, amante dell'isola di Capri, che in terra tra le onde del mare risplende come una una gemma degna a un imperatore"

La statua è una copia ottocentesca del Cesare di Prima Porta, rinvenuto a Villa Livia a Roma. Il principe decise di posizionarla lì, sull'angolo estremo della terrazza a dominare con lo sguardo e con il gesto della mano Villa Jovis, la residenza che il figlio adottivo Tiberio costruì sull'estremità opposta dell'isola.

Alla fine del ventennio fascista, sentendo nuovamente venti di guerra, Bulhak decide di trasferirsi in Inghilterra e vende la villa alla famiglia Signorini.

Dopo la guerra, sul finire degli anni 40 la famiglia Signorini lo trasforma in un hotel. Sotto la guida di Paolo Signorini l'albergo si trasforma in un hotel a cinque stelle, puntualmente inserito nelle classifiche dei migliori resort di lusso del mondo.