Risveden utgjorde i flera århundraden gränsbygd i fejderna mellan Sverige och Danmark, och genom områdets norra del gick en av medeltidens viktigaste leder, vägen mellan Lödöse och Skara. En mängd berättelser och sägner finns om slag och skärmytslingar i Risvedens skogar. Bland dessa bör nämnas slaget vid Brobacka 1566 i Nordiska sjuårskriget. På en kulle i reservatets västra del finns en minnessten över detta slag.
Trakten kring Brobacka har präglats av både storgods och torparbebyggelse. Brobacka hörde tidigare till Östads säteri, som förutom jord- och skogsbruk bedrev filantropisk verksamhet i form av barnhusverksamhet och senare jord- och skogsbruksutbildning av ungdomar. Sydost om Brobacka ligger Vikaryds egendom.
Torpet i Brobacka beboddes från 1860 till början av 1900-talet av den indelte soldaten, sedermera skomakaren Sven Larsson Hög med familj. Torpet fungerade sedan under en stor del av 1900-talet som sommarstuga, men fick periodvis förfalla. Det restaurerades dock i gammal stil av fastighetsägaren Östadstiftelsen innan torpet och marken byttes bort till staten vid bildandet av det utökade naturreservatet 1994. Brobacka var tidigt uppmärksammat av naturvården och ett litet område kring jättegrytorna fridlystes redan 1922.