Joseph Eggleston Johnston föddes 3 februari 1807, nära Farmville, VA. Son till domaren Peter Johnston och hans fru Mary, han kallades efter major Joseph Eggleston, hans fars befälhavare under den amerikanska revolutionen. Johnston var också släkt med guvernör Patrick Henry genom sin mors familj. 1811 flyttade han med sin familj till Abingdon nära Tennessee-gränsen i sydvästra Virginia.
Utbildad lokalt accepterades Johnston till West Point 1825 efter att ha nominerats av krigsminister John C. Calhoun. En medlem i samma klass som Robert E. Lee, han var en bra student och tog examen 1829 rankad 13 av 46. Johnston tog i uppdrag som andra löjtnant en uppgift till det fjärde amerikanska artilleriet. I mars 1837 lämnade han armén för att börja studera anläggningsingenjör.
Senare samma år gick Johnston med i en kartläggningsexpedition till Florida som civil topografisk ingenjör. Under ledning av löjtnant William Pope McArthur ankom gruppen under andra seminolkriget. Den 18 januari 1838 attackerades de av Seminoles medan de var i land i Jupiter, FL. Under striderna betes Johnston i hårbotten och McArthur skadades i benen. Han hävdade senare att det fanns "inte mindre än 30 kulhål" i hans kläder. Efter händelsen beslutade Johnston att åter gå med i den amerikanska armén och reste till Washington, DC den april. Utnämnd till en första löjtnant för topografiska ingenjörer den 7 juli, han blev omedelbart kortfattad till kapten för sina handlingar på Jupiter.
1841 flyttade Johnston söderut för att delta i kartläggningen av gränsen mellan Texas och Mexiko. Fyra år senare gifte han sig med Lydia Mulligan Sims McLane, dotter till Louis McLane, president för Baltimore och Ohio Railroad och framträdande före detta politiker. Även om de gifte sig tills hennes död 1887, hade paret aldrig barn. Ett år efter Johnstons bröllop kallades han till handling med utbrottet av det mexikansk-amerikanska kriget. Han tjänade med generalmajor Winfield Scotts armé 1847 och Johnston deltog i kampanjen mot Mexico City. Ursprungligen del av Scotts personal tjänade han senare som andra i befäl för ett regiment av lätt infanteri. Medan han var i denna roll fick han beröm för sin prestation under Striderna i Contreras och Churubusco. Under kampanjen blev Johnston två gånger kortfattad för tapperhet och nådde rang som oberstlöjtnant, såväl som han skadades allvarligt av druvskott vid slaget vid Cerro Gordo och träffades igen i Chapultepec.
Han återvände till Texas efter konflikten, Johnston fungerade som chef topografisk ingenjör vid Department of Texas från 1848 till 1853. Under denna tid började han skriva krigsminister Jefferson Davis en serie brev som begärde en överföring tillbaka till ett aktivt regement och argumentera över hans brevet rankas från krig. Dessa förfrågningar avvisades till stor del även om Davis hade Johnston utnämnt oberstlöjtnant till den nybildade 1: a amerikanska kavallerin i Fort Leavenworth, KS 1855. Han tjänade under överste Edwin V. Sumner, han deltog i kampanjer mot Sioux och hjälpte till att stoppa Blödande Kansas-krisen. Beställd till Jefferson Barracks, MO 1856, deltog Johnston i expeditioner för att kartlägga gränserna i Kansas.
Efter tjänstgöring i Kalifornien befordrades Johnston till brigadiergeneral och blev till kvartalsmästare-generalen för den amerikanska armén den 28 juni 1860. Med början av inbördeskriget i april 1861 och hans infödda Virginia avsked avgick Johnston från den amerikanska armén. Johnston var den högst rankade officer som lämnade den amerikanska armén för konfederationen. Han utsågs initialt till en generalmajor i Virginia-milisen innan han accepterade en kommission som brigadiergeneral i Confederate Army den 14 maj. Han skickades till Harper's Ferry och tog ledningen över trupper som hade samlats under ledning av överste Thomas Jackson.
Döpt Shenandoahs armé, rusade Johnstons kommando österut i juli för att hjälpa brigadegeneral P.G.T. Beauregards armé av Potomac under det första slaget vid Bull Run. När Johnstons män anlände till fältet hjälpte vändningen av striderna och säkrade en konfedererad seger. Under veckorna efter striden hjälpte han till att utforma den berömda konfedererade stridsflaggan innan han fick en befordran till general i augusti. Även om hans marknadsföring backdated till 4 juli, var Johnston arg på att han var junior till Samuel Cooper, Albert Sidney Johnston och Lee.
Som den högst rankade officer som lämnade den amerikanska armén trodde Johnston fast att han borde ha varit den högsta officer i den konfedererade armén. Argument med den nu konfedererade presidenten Jefferson Davis om denna punkt förstärkte deras förhållande ytterligare och de två männen blev faktiskt fiender för resten av konflikten. Placerad i befäl för Army of the Potomac (senare Army of Northern Virginia), Johnston flyttade söder under våren 1862 för att hantera generalmajor George McClellans halvönskampanj. Johnston började med att blockera unionens styrkor vid Yorktown och slåss vid Williamsburg och började långsamt dra tillbaka västerut.
När han kom Richmond tvingades han ta ställning och attackerade unionens armé vid Seven Pines den 31 maj. Även om han stoppade McClellans framsteg sårades Johnston hårt i axeln och bröstet. Till baksidan för att återhämta sig gavs befäl för armén Lee. Johnston, som kritiserades för att ge mark före Richmond, var en av få som omedelbart hade insett att konfederationen saknade unionens materiella och arbetskraft och han arbetade för att skydda dessa begränsade tillgångar. Som ett resultat överlämnade hans ofta marken medan han försökte skydda sin armé och hitta fördelaktiga positioner att slåss från.
Johnston återhämtade sig från sina sår och fick befäl för avdelningen i väst. Från denna position övervakade han handlingarna från general Braxton Braggs armé i Tennessee och generallöjtnant John Pembertons kommando i Vicksburg. Med generalmajor Ulysses S. Grant kampanj mot Vicksburg önskade Johnston att Pemberton skulle förenas med honom så att deras kombinerade styrka kunde besegra unionens armé. Detta blockerades av Davis som ville att Pemberton skulle hålla sig inom Vicksburg-försvaret. Avsaknad av män för att utmana Grant, tvingades Johnston att evakuera Jackson, MS, vilket tillät att staden skulle tas och brännas.
Med Grant som belägrade Vicksburg återvände Johnston till Jackson och arbetade för att bygga en hjälpstyrka. Han åkte till Vicksburg i början av juli och fick reda på att staden hade kapitulerat den fjärde juli. Han föll tillbaka till Jackson och drevs från staden senare samma månad av generalmajor William T. Sherman. Den hösten, efter hans nederlag vid slaget vid Chattanooga, bad Bragg att bli lättad. Motvilligt utsåg Davis Johnston till kommando för Army of Tennessee i december. Med antagande av kommandot kom Johnston under press från Davis att attackera Chattanooga, men kunde inte göra det på grund av brist på leveranser.
Johnston förutsåg att Shermans fackstyrkor i Chattanooga skulle flytta mot Atlanta under våren och byggde en stark defensiv position i Dalton, GA. När Sherman började avancera i maj, undvikte han direkta övergrepp mot de konfedererade försvaren och började istället en serie vändmanövrar som tvingade Johnston att överge position efter position. Genom att ge upp plats för tid kämpade Johnston en serie små strider på platser som Resaca och New Hope Church. Den 27 juni lyckades han stoppa ett stort unionsattack vid Kennesaw Mountain, men såg Sherman igen flytta runt sin flank. På grund av en uppfattad brist på aggression ersatte Davis kontroversiellt Johnston den 17 juli med general John Bell Hood. Hyper-aggressiv, Hood attackerade Sherman flera gånger men förlorade Atlanta den september.
Med konfedererade förmögenheter som flaggades i början av 1865 pressades Davis för att ge den populära Johnston ett nytt kommando. Han blev utnämnd till att leda avdelningen i South Carolina, Georgia och Florida, och även avdelningen i North Carolina och södra Virginia, och han hade få trupper för att blockera Shermans framsteg norrut från Savannah. I slutet av mars förvånade Johnston en del av Shermans armé vid slaget vid Bentonville, men tvingades slutligen att dra sig tillbaka. Lärande av Lees övergivande vid Appomattox den 9 april, Johnston började överlämnande samtal med Sherman på Bennett Place, NC. Efter omfattande förhandlingar överlämnade Johnston de nästan 90 000 trupperna i sina avdelningar den 26 april. Efter överlämnandet gav Sherman Johnstons svältande män tio dagars rationer, en gest som Confederate-befälhavaren aldrig glömde bort.