A sziget Pénelopéja
A reformkori Magyarországon az alacsonyabb beosztású vármegyei tisztségviselőket is szavazással választották meg. Tahy Károly Törtelen, a családi birtokain gazdálkodott, emellett Pest vármegyében különböző tisztségeket viselt. 1819-ben tiszteletbeli aljegyző, 1820-ban harmadik, majd 1823-ban második aljegyző, 1825-ben alszolgabíró, 1825-től 1836-ig pedig a Pesti járásban főszolgabíró volt. Ekkor került szóba, hogy az addigi másodalispánt, Földváry Gábort első alispánnak, míg a reformok iránt fogékony Tahy Károlyt második alispánnak jelölik a vármegyében, és megválasztásuk majdnem biztosnak tűnt.
A jelöltek nevét József nádornak kellett beterjesztenie, de ő a konzervatív beállítottságú Dubraviczky Simon első alispánt szerette volna továbbra is a tisztségben látni, ezért vonakodott az ellentábor jelöltjeit támogatni, mire azok hívei szabályosan megszállták a vármegyeház udvarát és addig „zajongtak”, hogy a nádor megígérte a két ellenjelölt beterjesztését is. Szavát állta, mire a teremben az egybegyűltek Földváry és Tahy nevét kiabálták, a nádor azonban nem várta meg a szavazást, hanem bejelentette, hogy a többség Dubraviczkyt és Földváryt kiáltozta. Noha ezt sokan kétségbe vonták, sőt volt, aki a nádornak is felhánytorgatta, végül mégis Dubraviczkyt és Földváryt nevezték ki, Tahy pedig hoppon maradt. Jelölését egyébként Kossuth Lajos sem támogatta.
Kossuth elsősorban a vallása miatt nem akarta őt ebben a tisztségben látni, mert úgy vélte, hogy a kiegyensúlyozottság kedvéért református alispánt kellene választani. Később ezt a szempontot figyelembe vették az alispánok választásakor. Tahy Károly ekkor kijelentette, hogy többé semmilyen tisztséget nem vállal. A kudarc miatt búskomorrá vált és 1840 februárjában meghalt.
Kétszer nősült, az első feleségével csak három évig élt együtt, mert a nő fiatalon elhunyt. Második felesége, Baranyay Ilona szegről-végről rokona volt, aki nagynénjénél, Tahy Károly anyjánál – Tahy Antalné Jankovich Constantiánál – nevelkedett. Ilonáról azt jegyezték fel, hogy igen szellemes és csinos asszony volt, aki férje halála után sem búslakodott, hanem úgy döntött, hogy a tulajdonostól (aki József nádor fia, József főherceg volt), bérbe veszi a Margit-szigetet, ahol a sárga kastélyt berendezte és évekig ott lakott.
József főherceg azonban néhány évvel később úgy döntött, hogy maga fogja irányítani a Pest vármegye által édesapjának ajándékozott Margit-szigetet, ezért Ilona asszonynak el kellett költöznie.
A következő másfél évtizedben Párizsban lakott és csak az 1870-es évek elején tért vissza Magyarországra. Ógyallán telepedett le, ahol egy szép, de eléggé különleges ízléssel megtervezett kastélyt építtetett, amelyről maga állította, hogy „szeszélyes”.
Nővére egyébként a Komáromban született Ghyczy Kálmán (1808–1888) pénzügyminiszter felesége volt. A Baranyayak az 1800-as évek elején Marcelháza földesurai lettek, a 90 évesen elhunyt Tahy Károlyné Baranyay Ilonát a falu sírkertjében helyezték örök nyugalomra.
