Vuonna 1801 Alfred Guillaume Gabriel syntyi kenraali Albert Gaspard Grimod’n ja Eleanore de Franquemont’n, Württembergin herttuan tyttären, toiseksi lapseksi. Vaikka hän syntyi ja kasvoi Ranskassa, hänen vaikutusvaltansa ja persoonansa puhkesivat kukkaan vasta hänen muutettuaan Englantiin. Kreivistä kasvoi vuosien myötä naisellisen siro, klassisen jylhäkasvoinen ja kovin miellyttävä. Hänen hiuksensa olivat aaltoilevat ja punaruskeat, poskipartansa kihara ja lyhyt. Ainoa,  pieni särö hänen ulkomuodossaan oli etuhampaiden väliin jäävä rako. Hän oli itseoppinut amatööritaitelija, dandy, seurapiirien suosikki ja aikansa tyyli-ikoni.

Pukimo Raivion tuotteita

Latini, hevosennahkatakki, koko 50
Zegna, tumma puku, koko 50

Vuonna 1821 nuori kreivi astui vastentahtoisesti Ranskan armeijan palvelukseen. Valtaan oli jälleen noussut Bourbon-dynastia, mutta kreivi itse seurasi isänsä jalanjälkiä bonapartistisissa mielipiteissään. Hän palveli Garde du Corps -ratsuväessä ja osallistui muun muassa Englannin George IV:n kruunajaisiin. Myöhemmin hän siirtyi palvelemaan Kaakkois-Ranskassa sijaitsevaan Valenceen, jossa hän tutustui 1. Blessingtonin jaarliin ja hänen vaimoonsa Margueriteen, Blessingtonin herttuattareen. Tämä tapaaminen muodostui myöhemmin kreivi D’Orsayn kannalta olennaiseksi. Pariskunta mielistyi kovasti komeaan ja hyväkäytöksiseen nuoreenherraan, ja kutsui tämän mukaansa Italiankiertueelleen. Keväällä 1823 kreivi tapasi maineikkaan lordi Byronin Genevessä. He ryhtyivät kirjeenvaihtoon, josta myöhemmin julkaistut otteet paljastavat D’Orsayn lahjoittaneen Byronille lukuisia lahjoja, sekä olleen oudolla tavoin lämpimissä väleissä Blessingtoneiden kanssa. D’Orsay myös antoi lordirunoilijalle tarkastettavaksi päiväkirjan, jota hän oli pitänyt 1821-1822 välisenä aikana ollessaan Lontoossa. Byron ylisti älykkään kreivin tarkkanäköisiä havaintoja englantilaisten tavoista ja olemuksesta.

Kreivi D’Orsay eli tavanomaista dandyn elämää. Uhkapelejä Crockford’s Clubilla, päiväajeluja Hyde Parkissa, illat oopperassa tai teatterissa, jatkot missä tahansa Englannin maineikkaista salongeista. Hänet tunnettiin erinomaisena illallisjärjestelyiden asiantuntijana sekä taitavana kaksintaistelijana. Hän päätyi asumaan Blessingtonien pysyvänä vieraana, samankaltaisessa suojeluksessa kuin Beau Brummell aikanaan.

Joulukuussa 1827 kreivi D’Orsay meni naimisiin 15-vuotiaan Lady Harriet Gardinerin kanssa. Nuorikko oli Blessingtonin jaarlin tytär edellisestä avioliitosta: jo ikääntynyt aatelinen oli luvannut nimetä D’Orsayn perijäkseen, mikäli tämä naisi Harrietin. Dandykreivin avio osoittautui hyvin onnettomaksi. Kreivi käytti häikäilemättä hyväkseen nuoren leidin varoja, ja avioliitto päättyi vuonna 1838. Myös tällöin leidi joutui erkanemaan varoistaan: hän maksoi yli 100 000 puntaa D’Orsayn velkojille, jotta kreivi luopuisi kaikista vaateista Blessingtonin perhettä kohtaan. Edes tämä hurja summa ei kattanut huikentelevaisen kreivin kaikkia velkoja. Kaikesta mielipahasta huolimatta kreivi D’Orsay pysyi Blessingtonin herttuattaren läheisenä ystävänä, ja saattoi tämän Englantiin miehensä kuoleman jälkeen vuonna 1829.

Herttuatar piti yhdessä D’Orsayn kanssa hyvin suosittua salonkia ensin kartanossaan Seamore Placessa, sitten Gore Housessa. Englannin kirjallinen ja taiteellinen eliitti hurmaantui hienostuneen, nokkelan ja taiteellisen kreivin seurasta. Pahat kielet kuitenkin juoruilivat ikääntyneen lesken ja kreivin suhteen olevan liiankin läheinen. Kreivi ei tämän vuoksi päässyt hoviin, mutta salongeissa hän pääsi verkostoitumaan antaumuksellisesti sekä toteuttamaan itseoppinutta taiteellisuuttaan lukuisten muotokuvien ja veistosten muodossa. Gore Housessa hän kohtasi kirjailija-dandy Benjamin Disraelin sekä kirjailija Edward Bulwer-Lyttonin, jotka molemmat olivat kovan luokan tyyliniekkoja. Erityisesti Disraelin kanssa kreivi ystävystyi niin hyvin, että kirjailija omisti  D’Orsaylle teoksensa Henrietta Temple. Myös kirjan kreivi Alcibiades de Mirabel perustui D’Orsayn persoonaan.

Lontoon-kauden viisi viimeistä vuotta kuluivat velkojia piileskellen. Huhtikuussa 1849 leipomon lähettipojaksi naamioitunut poliisi pääsi D’Orsayn huoneistoon pidätysmääräyksen kera. Hätääntynyt kreivi pyysi lainsuojelijaa odottamaan sen aikaa, että hän laittautuisi lähtövalmiiksi. Poliisi seurasi kreivin pitkällistä, huolellista ja erikoista toalettipuunaamista ja unohti ojentaa pidätysmääräyksen kreivin käteen. Aika kului, kreivi puunasi ja aurinko laskeutui. Kun ilta oli yllä, kreivi pyysi poliisia poistumaan sillä pidätysmääräys ei enää ollut voimassa. Viekas kreivi oli voittanut, poliisi poistui vihaisena. Seuraavana viikonloppuna D’Orsay päätti poistua maasta. Hän oli ajautunut vararikkoon ja Gore House myytiin. Leidi Blessington myi myös miltei koko omaisuutensa ja seurasi kreiviä Pariisiin, mutta kuoli vain pari viikkoa saapumisensa jälkeen. D’Orsay oli lopullisen murtunut. Päästyään surun painosta jaloilleen, kreivi päätti elättää itsensä taiteellaan.

Yksi Gore Housen vakiovieraista oli prinssi Louis Napoleon, joka oli hyväksynyt D’Orsayn neuvonantajakseen. Heidän suhteensa muuttui viileäksi sen jälkeen, kun Louis oli tehnyt vallankaappauksen ja kruunauttanut itsensä keisari Napoleon III:ksi. Bonapartisti D’Orsay vastusti moista röyhkeyttä voimakkaasti. Napoleon III menetti luottamuksen ystäväänsä kohtaan, mutta päätti silti tarjota tälle johtajantointa taidekoulu École des Beaux-Artsissa. Kreivi hyväksyi lempeän eleen ja odotti innolla uutta sarkaansa. Parin kuukauden sisällä hän kuitenkin sairastui selkärangan tulehdukseen, johon hän kuoli 4. maaliskuuta 1852. Kreivi oli aiemmin piirtänyt rakkaan ystävänsä Lady Blessingtonin viimeiseksi leposijaksi pyramidin muotoisen hautaholvin. Hänet haudattiin ystävänsä viereen, ikään kuin viimeisenä kiintymyksen ilmaisuna.

Kreivi D’Orsayn aikakaudella dandyn kuva oli muuttunut. Aiemmin hän oli pukeutunut maskuliinisesti ja vaatimattomasti, mutta nyt aikakausi toi mukanaan värikkään herrasmiehen. Krevin pukeutuminen nimettiin Butterfly- sekä Flamboyant-tyyliksi. Dandy à la D’Orsay ei ollut piikikäs ja vetäytyvä ilmestys kuten Beau, vaan hienostopiireissä viihtyvä ja myönteinen seuramies. Nuoruudessaan hän suosi pastellisilkkejä sekä -sametteja, 1840-luvulla tultaessa hän siirtyi maanläheisiin sävyihin. Kreivin tavaramerkkejä olivat musta solmuke, jonka laskokset peittivät paidan rintamuksen, sekä toisen olkapään ylle heitetty viitta. Aiemmista merkkidandyistä poiketen D’Orsay rakasti koruja, asusteita ja hajusteita. Matkoillaan hänen mukanaan kulki kullattu pukeutumispöytä. Värikkyydestään huolimatta kreivin tyyliä pidettiin harmonisena. Tämän hän saavutti perehtymällä eri värien ja sävyjen yhteensopivuuteen. D’Orsay oli Englannin viimeinen vanhan polven seurapiiridandy, vaikkakin kovin feminiini ja rappiolle hemmoteltu. Hän käytti hyväkseen itseään varakkaampia aatelisia, joko tietoisesti tai saamattomuuttaan. Kauneus ja mielihyvä olivat hänen elämänsä kiinnekohtia. Toisin kuin aiemmat vanhan polven dandyt, D’Orsayn jättämä henkinen perintö on kovin pieni. Hän oli, eli ja meni ennen kaikkea kepeällä, läpeensä estetisoidulla tavalla. Kreiville vain kaunis elämä oli elämisen arvoinen.