Koreni organizovanog planinarstva u Prijepolju datiraju od 1933 godine. Te godine osnovano je Planinarsko Drustvo Prijepolje.
Do 1979 godine Drustvo je imalo vise uspona i padova i vise puta menjalo ime (Bitovik, Goropec i od 1979 god. Kamena Gora). Planinarstvo je do tada u Prijepolju imalo samo rekreativnu dimenziju (izletnistvo i pohode).
Krajem 1979 godine, prof. Ferko Santic sa grupom srednjoskolaca: Draganom Petricem, Ilijom Andrejic, Slavom i Goranom Gluscevic, Mikailom Cpajak... donose energiju za upoznavanje novih planinarskih disciplina, i zelju za istrazivanjem, skolovanjem i takmicenjem...
Vrlo brzo obuceno je na desetine speleologa, orijentacista, penjaca, alpinista... Istrazeno je preko 50-tak speleoloskih objekata srednjeg Polimlja, markirano vise od 120 km. planinarskih staza, izgradjen Planinarski Dom u Sopotnici, popeto je preko 300 vrhova u zemlji i preko 50 u svetu. Clanovi Drustva postaju prvaci drzave u raznim planinarskim disciplinama... Najveci uspeh u istori Drustva je osvajanje Mont Everesta (dva nasa clana, Dragan Petric i Ilija Andrejic, 20. maj 2007 god.)
Strucan i uporan rad doneo je niz republickih, saveznih i medjunarodnih priznanja i nagrada. U vise navrata, Drustvo je bilo proglaseno za sportski kolektiv godine grada Prijepolja i Uzickog regiona, a sportisti iz kluba za sportistu godine. Uvazavajuci te cinjenice Vlada Republike Srbije poverila im je staranje (upravljanje) nad Spomenikom prirode "Slapovi Sopotnice" kod Prijepolja.
Na osnovu Zakona o Sportu, od 2012. godine, Planinarsko drustvo "Kamena gora" menja ime u Planinarski klub "Kamena gora" i pod tim imenom nastavlja sa radom.
Trenutno Klub ima 76 clanova (pet planinskih vodica, sest GSS-spasilaca, cetiri radioamatera, dva sportska instruktora za planinarstvo, jednog pilota paraglajdera, dva vrhunska sportista zasluznog razreda, jednog vrhunskog sportistu medjunarodnog razreda) ... Aktivnosti clanova kluba odvijaju se u vise disciplina: planinarska (izletnicka), alpinisticka, sportsko penjacka, speleoloska, orijentaciona, paraglajding, planinski biciklizam, Gorska Sluzba Spasavanja i ekoloska. Klub tradicionalno oraganizuje republicke i medjunarodne ekspedicije, kampove, radionice i razna takmicenja. U toku je projekat 7 SUMMITS (7 VRHOVA) u kojem ce Dragan Petric i Ilija Andrejic pokusati popeti najvece vrhove svih 7 kontinenata (nedostaje im jos samo jedan vrh Vinston 4892 mnv na Antartiku )
Danas (2025 godine), Planinarski klub "Kamena Gora" iz Prijepolja predstavlja jedno od najuspesnijih Planinarskih klubova na prostoru Balkana.
