Wie bei meisten Oasen ist nicht viel über Kharga in der pharaonischen Zeit bekannt. Aufgrund ihrer Entfernung vom Nil und der beschwerlichen Anreise waren die Oasen nicht leicht zu unterwerfen und zu kontrollieren. Kürzlich wurden auf der Strecke von Luxor Tongefäße entdeckt, die aus dem Mittleren Reich stammen, also über 3000 Jahre alt sind.
Aus der römischen Zeit gibt es die besten Belege für eine Besiedlung. Über die ganze Zeit hinweg hatten die Römer etwa 1000 Mann rund um Kharga stationiert. Sie bauten neue Brunnen, Tempel und eine Reihe von Festungen die Karawanenrouten entlang. Sie benutzten Kharga auch als Verbannungsort für Unruhestifter. Juvenal war ein bekannter römischer Exilant. Auch Christen, unter ihnen Athanasius, der Bischof von Alexandria, und Bischof Nestorius wurden nach Kharga verbannt. Der große christliche Friedhof Bagawat zeigt deutlich, dass Kharga einige hundert Jahre lang rein christlich war, bis die Araber die Oase im 7. Jahrhundert n. Chr. erreichten. Während dieser christlichen Periode wurden einige der alten Tempel und Burgen in Kirchen umgewandelt und es wurden Klöster errichtet.

Die Betreuung und Instandhaltung der Karawanenwege ist bis zum heutigen Tage eine wichtige Angelegenheit. Reisende, die über diese Straßen zogen, berichteten über die gut gepflegten Brunnen. Die einzige Nord-Süd-Route ist die Darb al-Arbein, eine berühmt-berüchtigte raue Sklavenroute vom Sudan, auf der aber auch Salz transportiert wurde. Von Ost nach West verlaufende Karawanenwege sind die Darb al-Ghubari, die Staubstraße, und die Darb Ain Amur. Beide Straßen verbanden Kharga und Dakhla, die Staubstraße war die schwierigere von beiden, da sie keine Wasserstellen hatte.

Durch das 19. Jahrhundert hindurch waren europäische Besucher recht häufig. Der französische Afrikaforscher Frédéric Cailliaud bereiste Kharga ebenso wie die anderen Oasen, er entdeckte den vergessenen Hibis Tempel neu. Andere Reisende waren Sir Archibald Edmondstone, der französische Konsul Bernadino Drovetti und der Brite George Hoskins, der auch wertvolle Illustrationen von der Oase anfertigte. Ihre Beschreibungen fördern auch interessante Details zu Tage, wie beispielsweise, dass die Frauen von Kharga scheinbar einen großen Einfluss auf ihre Männer ausübten. Sie betreuten oft das Geld der Familie und bedeckten ihre Gesichter nicht wie die Frauen in anderen Oasen. Auch der allgegenwärtige deutsche Forscher Rohlfs besuchte Kharga, blieb aber nicht lange dort. Ihm folgte in den 1890er Jahren die Briten Hugh Beadnell und John Ball, der die Oase für eine geologische Gesellschaft kartierte. Unter der britischen Besatzung wurde Kharga langsam zu einem Ziel für Touristen. Durch den Bau von Eisenbahnen öffnete Kharga sich mehr und mehr hin zum Niltal.

Jüngere Geschichte
Nach dem Zweiten Weltkrieg durchlitten alle Oasen eine entbehrungsreiche Zeit. Erst 1958 schuf Gamal Abdel Nasser die Region Neues Tal, Wadi al-Jadid. Die Oasen Kharga, Dakhla und Farafra wurden zu einer Verwaltungseinheit zusammengefasst. Die Straße nach Asyut wurde befestigt, ein Flughafen wurde gebaut, die gesamte Gegend wurde rasant schnell ausgebaut. Brunnen wurden gesäubert, der Assuan-Staudamm wurde errichtet Die landwirtschaftlichen Anbauflächen konnten infolgedessen drastisch vergrößert werden, es kam zu einer enormen Entwicklung in der Landwirtschaft.
In Kharga werden hauptsächlich Datteln und Weizen angebaut, eine lokale Spezialität ist firik, ein Gericht aus geröstetem grünen Weizen. Mittlerweile sind auch die Dörfer mit Elektrizität versorgt und es gibt deutlich mehr Krankenhäuser und Schulen als vorher. Der Tourismus ist zu einem wichtigen Faktor in diesem Prozess der Modernisierung geworden.