A finales de 1893, un pequeño grupo de jóvenes en torno a tres hermanos, Václav, Bohumil y Rudolf Rudl, tuvo la idea de crear un club deportivo. El 16 de noviembre de ese año, la reunión de los fundadores aprobó los artículos del club de la asociación y un mes más tarde, el 17 de diciembre, tuvo lugar la primera reunión general anual. Poco después, surgió el Athletic Club Sparta con su uniforme tricolor, en el que el azul simboliza Europa, el rojo y amarillo son los símbolos de la ciudad real de Praga.

En el comienzo de la historia del club, los jugadores solían llevar uniformes negros con una gran «S» en el pecho. Luego jugó dos años con camisetas a rayas negras y blancas, a las que volvieron durante dos años en 1996. En 1906, el presidente del club Dr. Petrik viajó a Inglaterra donde vio jugar al Arsenal FC, famoso por sus camisetas rojas y decidió llevar un cargamento de estos uniformes a Praga, comenzando así una de las grandes tradiciones del club. Junto con las camisetas rojas, los jugadores del Sparta usaron pantalones cortos blancos y calcetines negros.

Poco después de la Primera Guerra Mundial, se armó un equipo que desencadenó el famoso período de los años veinte y treinta, en los que fueron conocidos como "Sparta de hierro". La liga de fútbol de Checoslovaquia fue fundada a mediados de los años veinte y el club consiguió dominar el fútbol checoslovaco en sus primeras temporadas. A día de hoy, los aficionados aún recuerdan los nombres de los jugadores de la época con admiración:^{[citarequerida]} František Peyr, Antonín Hojer, Antonín Perner, Karel "Káďa" Pešek o František Kolenatý. Unos años más tarde, algunos nombres no menos famosos aparecieron,^{[citarequerida]} como František Hochmann, Jaroslav Burgr, Ferdinand Hajný, Josef Silný, Josef Čtyřoký, Josef Košťálek y en particular Oldřich Nejedlý, el máximo goleador en la Copa Mundial de 1934. Poco antes de que comenzase esta famosa época dorada, Vlasta Burian, el hombre que más tarde se convirtió en el rey de la comedia checa,^{[citarequerida]} jugado como guardameta para el club.

Los hitos de la primera edad dorada de la historia del club son dos títulos de la Copa de Europa central, que en los años veinte y treinta gozaba del mismo reconocimiento que la posterior Copa de Europa de la UEFA.^{[citarequerida]} Después de los triunfos en 1927 sobre el Rapid Viena, y 1935 ante el Ferencvárosi FC, el tercero llegó en 1964 al vencer en la final a uno de sus grandes rivales checoslovacos del Slovan Bratislava, en un momento en que la importancia de la competición fue perdiendo peso en detrimento de las nuevas competiciones de la UEFA.^{[citarequerida]}

En 1946, el AC Sparta realizó una gira por Gran Bretaña y el partido inaugural fue un empate 2-2 ante el Arsenal, el 2 de octubre. El club dominó parte de los años 1940 consiguiendo los campeonatos de 1943-44, 1945-46 y 1947-48.

El Sparta alternó períodos dorados con años verdaderamente decepcionantes en que los aficionados sólo recordaron con nostalgia los "buenos y viejos tiempos". Después de los cambios sustanciales impulsados por el régimen socialista, con los frecuentes cambios de nombre del club que ello conlleva, los títulos de 1952 y 1954 fueron los últimos antes de un largo período de sufrimiento. Solo la gran época del equipo alrededor de Andrej Kvašňák en la década de 1960 trajo recuerdos de los años dorados del club.

Los aficionados recordaban la época de Kvašňák, Jiří Tichý y Václav Mašek en que el Sparta contó con el mayor número de seguidores en su historia, ya que el estadio, en ese momento, acomodaba casi a 40.000 espectadores. Los tres héroes mencionados formaron parte de la selección nacional que fue subcampeona del mundo en la Copa Mundial de la FIFA 1962 en Chile.

Hasta 1975, el Sparta era el único club que nunca había descendido a la segunda división checoslovaca. Ya en la temporada 1973–74 el equipo había acabado en octava posición, lejos del campeón, el ŠK Slovan Bratislava. En la siguiente temporada, sin embargo, debido a una serie de circunstancias, el equipo descendió a la segunda división tras un decepcionante penúltimo puesto y 27 puntos, sólo cuatro más que el último clasificado. El club pasó un año en la división de plata del fútbol checoslovaco y regresó a la primera división.

No obstante, el club no ganó otro título de liga hasta los años ochenta cuando el nuevo Sparta se construyó alrededor de Jozef Chovanec, Jan Berger (tío de Patrick), Ivan Hašek, Tomáš Skuhravý y Stanislav Griga, el equipo recuperó su antigua condición e impuso una dictadura deportiva al proclamarse campeón en 1983-84, 1984-85, 1986-87, 1987-88, 1988-89 y 1989-90. Además, en 1984 el equipo llegó hasta los cuartos de final de la Copa de la UEFA, donde fue eliminado por el Hajduk Split yugoslavo tras haber eliminado en primera ronda al Real Madrid.

En los años noventa, este fructífero periodo deportivo fue continuado por una nueva generación de jugadores como Horst Siegl, Michal Horňák, Václav Němeček, Martin Frýdek, Jiří Němec, Petr Kouba o Pavel Nedvěd, muchos de los cuales formaron parte del histórico combinado checo que se proclamó subcampeón de Europa en la Eurocopa 1996.

El Sparta participó en la primera edición de la Liga de Campeones de la UEFA en su nuevo formato en 1991-92. El equipo checo derrotó al Rangers, Olympique Marsella y alcanzó la fase de grupos de semifinales. En ese grupo quedó encuadrado con el Barcelona, el Dynamo Kiev y el Benfica y el Sparta terminó segundo, quedando a las puertas de la final, pero situándose entre los cuatro mejores equipos de Europa por primera vez en su historia.

De hecho, el Sparta ha sido un participante regular en la Liga de Campeones de la UEFA, la competición europea más prestigiosa, desde 1997. La única excepción fue en 1998-99 cuando el club no consiguió superar la fase de clasificación, perdiendo ante el Dynamo Kiev en los penaltis. El Sparta participó en la fase de grupos de la Liga de Campeones durante los próximos tres años y en 1999-00 y 2001-02 alcanzó los cuartos de final. En 1999-00 se proclamó campeón de su grupo bajo la dirección de Ivan Hašek y luego fue tercero en el grupo de cuartos de final. En ese grupo, el Sparta cayó ante el Barcelona, que fue quien ganó el pase a las semifinales.

En la temporada 2001-02 fue segundo en la fase de grupos de la Liga de Campeones en un grupo compuesto con el Bayern Múnich, que fue primer clasificado, Feyenoord —eventual campeón de la Copa de la UEFA ese año— y Spartak Moscú. En la segunda fase de grupos quedó encuadrado con el Real Madrid —el campeón de la Liga de Campeones unos meses más tarde— y fue eliminado. El Sparta no se clasificó para la fase de grupos en 2002-03, cuando fue goleado por el Racing Club Genk en la tercera ronda de clasificación. En 2003-04 el Sparta se enfrentó a dos gigantes italianos. En un principio venció al Lazio en la fase de grupos, pero en los cuartos de final fueron eliminados por el Milan. La fase de grupos de 2004-05 le emparejó con el Olympique Lyon y Manchester United.