Op 5 februari 1788 werden door Drost en Gedeputeerden van het Landschap Drenthe vier ouderlingen en vier diakenen benoemd voor de kerk van Smilde, waarmee in deze kolonie de Hervormde kerk in Smilde werd gesticht. De wereldlijke overheid nam in de overwegend Hervormde gemeente Smilde een zware positie in kerkelijke zaken in. Koning Willem I wilde in zijn koninkrijk de Duitse kerkinrichting zo nauwkeurig mogelijk nabootsen, zonder de wettige opzieners en regeerders van de kerk te raadplegen. De Kroon fungeerde als centrale gezagsbron en hoogste beslissingscentrum. De synodale besluiten moesten aan de koning ter goedkeuring worden voorgelegd. Theologische verschuivingen en een groeiende affiniteit tussen de officiële staatskerk en de hogere bevolkingslagen schiepen al in de 18e eeuw een situatie, waarin toenemende aantallen kerkleden zich niet meer bevredigd voelden door de wijze van prediking. Door een min of meer "intellectualistische" houding der predikanten ontstond een groeiende sociale afstand tussen hen en de "brede gemeente". Men wilde een persoonlijke geloofsbelijdenis "met hart, mond en daad", een noodzakelijke vrijheid waarbij de Schrift voor meer dan één uitleg vatbaar moest zijn.

Ook in Smilde waren velen, die zich niet konden vinden in de leer van de kerk. Omstreeks 1825 ontstonden hier de zogenaamde "gezelschappen". Enkele mannen en vrouwen kwamen in een woning bijeen om oude schrijvers en geschriften van bepaalde leraars te lezen en de weg der genade te bespreken. Wat ze zondags in de kerk hoorden, bevredigde hen hoe langer hoe minder. Ze gingen ook naar andere plaatsen om naar voorgangers van hun gading te luisteren. Al spoedig trad ook in Smilde iemand op als voorganger van de gezelschappen; het was de veenarbeider Luitsen Jochems Dijkstra, de latere leraar van Steenwijk.

Tegen het eind van 1833 was de toeloop naar de gezelschappen zo groot geworden, dat niet langer in de huiskamer kon worden vergaderd. Een aparte lokaliteit voor deze bijeenkomsten werd ingericht in de schuur van Jan Lamberts Dik bij de Jonkersbrug.

Gedurende deze periode trad een Groninger dominee naar voren, die een belangrijke rol zou gaan spelen bij de afscheiding. Aanvankelijk oefende ds. H. de Cock, een burgemeesterszoon uit Wildervank, zijn ambt uit op een wijze die geen aanleiding gaf tot klachten. Anders werd dat in Ulrum, waar De Cock in 1829 zijn intrede deed. Na een aantal jaren veranderden in dat dorp zijn opvattingen over het geloof, door geschriften die hij las en door gesprekken met rechtzinnige gemeenteleden. Dit werd merkbaar in zijn preken. Ds. De Cock maakte snel naam en uit de verre omtrek kwamen de mensen op zondag naar Ulrum. De reactie kwam spoedig en uiterst fel. De Cock werd aangeklaagd bij de regionale autoriteiten omdat hij de reglementen zou hebben overtreden door kinderen uit andere gemeenten te dopen. Hij werd daarvoor ter verantwoording geroepen, maar weigerde spijt te betuigen. Op 19 december 1833 werd hij door het classicaal bestuur van Middelstum in alle delen van zijn dienst geschorst. Na 1 april 1834 werd de schorsing door het provinciaal kerkbestuur niet alleen bekrachtigd, maar ook verzwaard tot een periode van twee jaar. De Cock liet zich echter niet muilkorven en hield met zijn aanhangers bijeenkomsten in een herberg, hoewel hem dit niet was toegestaan. In mei 1834 werd hij door het provinciaal kerkbestuur definitief afgezet. Nadat een gesprek met het provinciaal kerkbestuur en een protest bij de synode tot niets geleid had, scheidde De Cock zich met 137 gemeenteleden af. De afscheiding in Ulrum was hiermee een feit. Wegens ongeoorloofde samenkomsten en het beletten van een kerkdienst werd De Cock hierop veroordeeld tot drie maanden gevangenisstraf.

Op 6 november 1834 besloten enige bezoekers van de gezelschappen te Smilde tot afscheiding. Op 14 november tekenden 38 lidmaten de akte van afscheiding en op 15 november ging L. Dijkstra naar Ulrum met het verzoek van verscheidene Smildenaren aan ds. De Cock om in Smilde een afzonderlijke gemeente te komen vestigen. Op maandag 17 november legde Dijkstra belijdenis af voor de afgescheiden kerkenraad van Ulrum, waarna hij tot lid werd aangenomen. Na geëxamineerd te zijn kreeg hij zijn aanstelling als beoefenaar te Smilde. De dag daarop vertrok hij met De Cock naar Smilde. Na terugkeer aldaar tekenden nog 37 leden de akte van afscheiding, waardoor het totaal aantal leden dat geloofsbelijdenis aflegde voor ds. De Cock en zich aansloot bij de Gereformeerde Kerk te Ulrum 75 bedroeg. Een dag later, 20 november, werd de Gereformeerde Kerk te Smilde gesticht. Tegelijkertijd werden twee ouderlingen en twee diakenen gekozen en bevestigd.

Op 21 november ging Dijkstra met de beide ouderlingen naar burgemeester Kymmell om hem mee te delen dat de afscheiding had plaatsgevonden. Tevens verzocht hij om vrijheid voor het schoolwezen en bescherming van de godsdienst. Kymmell verwees hen echter naar de gouverneur, die hen op zijn beurt naar de koning verwees. Naar zijn zeggen moest hij de afgescheidenen vervolgen zolang de "wetten des Konings" nog niet waren veranderd. De gouverneur beschuldigde hen bovendien van het verwekken van tweedracht en twist.

De eerstvolgende zes jaar was het voor de afgescheiden gemeente onmogelijk om in haar geheel samen te komen. Immers, artikel 291 van het wetboek van strafrecht verbood het houden van "genootschappen (of gezelschappen) van meer dan 20 personen, met oogmerk van dagelijks of op zekere bepaalde dagen bijeen te komen, ten einde zich met voorwerpen van godsdienst, letterkunde , staatkunde of andere zaken bezig te houden". Op de kerkenraadsvergadering van 24 november 1834 werd besloten dat er elke zondag vijf à zes gezelschappen van elk 19 personen gehouden zouden worden.

Intussen was ds. De Cock tengevolge van zijn definitieve schorsing genoodzaakt de pastorie in Ulrum te verlaten en werd het hem onmogelijk gemaakt in deze plaats een woning te betreden. Op 8 april 1835 kwamen afgevaardigden van 15 afgescheiden gemeenten uit Groningen en Drenthe in de stad Groningen samen. Zij besloten De Cock met ingang van 1 mei een woning te verschaffen en een traktement van 700 gulden per jaar te doen toekomen, waartoe alle gemeenten in de beide provincies moesten bijdragen. De Cock zou dan alle gemeenten bedienen. Na enig beraad koos hij als woonplaats Smilde. Als leraar van alle gemeenten in het noorden was hij zondags echter veelal op reis.

Er werden diverse pogingen gedaan om van de overheid vrijheid van godsdienstoefening te krijgen, echter steeds zonder resultaat. In 1839 tenslotte werd het verzoek om vrijheid ingewilligd, op voorwaarde dat men de benaming "Gereformeerde Kerk" losliet en verklaarde geen aanspraak te maken op de goederen van de Hervormde Kerk. De grondwetsherziening van 1840 en de troonsbestijging van Willem II kwamen de houding van de regering ten opzichte van de afgescheidenen ten goede. Dit resulteerde in het feit dat op 19 augustus 1840 koninklijke erkenning werd gegeven. Voortaan heette de gemeente "De Christelijk Afgescheiden Gemeente te Smilde".

In 1842 werd de eerste kerk gebouwd. Deze kerk werd gebouwd door de gemeente en zag er zeer eenvoudig uit. Toen het gebouw tien jaar bestond was het al bouwvallig. Het heeft nog gestaan tot 1857, waarna bij de Jonkersbrug een nieuwe kerk werd gebouwd.

Vanaf medio 1856 heette de kerk "De Christelijk Gereformeerde Gemeente te Smilde". De oude benaming kwam in de notulen van de kerkenraadsvergaderingen voor het laatst voor op 15 juli 1856.

De synode van de Christelijk Gereformeerde Gemeenten van Leeuwarden en die van de Nederduitsch Gereformeerde Kerken van Den Haag kwamen in 1891 in beginsel tot overeenstemming over ineensmelting van beide kerkformaties, waarvoor een concept-akte werd opgesteld. Na dit synodebesluit werd de Christelijk Gereformeerde Kerk kerk A genoemd en de Nederduitsch Gereformeerde Kerk kerk B. In Smilde waren er bij beide kerkgenootschappen echter zowel voor- als tegenstanders van samensmelting en er waren onderling de nodige wrijvingen. Al met al zou het tot 1919 duren voordat de concept-akte van ineensmelting op een gezamenlijke kerkenraadsvergadering van kerk A en kerk B werd voorgelezen en na enige wijzigingen werd vastgesteld. De akte werd ondertekend door alle aanwezige kerkenraadsleden, tevens door vertegenwoordigers van de kerken Hoogersmilde en Assen, namens en in opdracht van de classis.

In de vergadering van kerk A van 22 december 1914 werd een verzoek van Hoogersmilde voorgelezen om een zelfstandige gemeente te worden. Na lang beraad stemde de kerkenraad met het verzoek in en na een gunstig oordeel van de classis werden een zevental bepalingen vastgelegd. Op 10 maart 1915 vond de verkiezing en bevestiging van kerkenraadsleden te Hoogersmilde plaats.

In 1923 werd overgegaan tot splitsing van de kerkenraad in afzonderlijke vergaderingen van ouderlingen en diakenen en werden in negen artikelen regels vastgelegd voor een goede gang van zaken in de vergaderingen.

Op 8 mei 1935 werd het classis-agendum besproken. Het belangrijkste punt was het voorstel van Assen om het lidmaatschap van de N.S.B. onverenigbaar te achten met het lidmaatschap van de Gereformeerde Kerk.

In 1942 werd het kerkgebouw door brand verwoest. De kerkenraad overwoog de bouw van twee kerken, één voor de Noorderwijk (Bovensmilde) en één voor de Zuiderwijk (Middensmilde). Over dit plan waren de meningen jarenlang verdeeld, maar uiteindelijk werd het voorstel aangenomen. Beide kerken werden in 1953 voltooid. In 1952 werd besloten tot aankoop van de huidige kosterswoning.

De kerkscheuring van 1944 liet ook de kerk in Smilde niet onberoerd. Op zondag 19 mei 1946 vergaderden een vijftigtal leden van de kerk afzonderlijk in Assen. Voorganger was ds. Van Bruggen, predikant van de vrijgemaakte kerk aldaar. In de daarop volgende weken maakten zich verschillende leden van de kerk los, waarmee de kerkscheuring ook in Smilde een feit was.

Eén van de belangrijkste wijzigingen in de naoorlogse geschiedenis van de kerk was het besluit van de kerkenraad in 1947 om ook vrouwelijke lidmaten uit te nodigen. Tot dan toe waren de gemeentevergaderingen alleen toegankelijk geweest voor mannelijke lidmaten. Tot 1957 deelden de mannen in kerkelijke zaken echter nog de lakens uit. In dat jaar vroegen en kregen enkele zusters evenwel het recht om aan kerkelijke verkiezingen deel te nemen. In 1973 werd bepaald dat ook vrouwen kandidaat konden worden gesteld voor het ambt van ouderling en diaken.

Vanaf het begin van de zestiger jaren kwam een proces op gang, waarin de Hervormde en de Gereformeerde Kerken elkaar meer tegemoet kwamen. In Smilde werden in de kerkenraad besprekingen hierover gevoerd en werden daarna vele gezamenlijke kerkenraadsvergaderingen gehouden. Dit resulteerde tenslotte in gezamenlijke kerkdiensten, waarvan de eerste op 26 december 1973 werd gehouden.