Over het ontstaan van het Binnenhof is niets met zekerheid bekend. Het oudste gebouw was een donjon die er voor 1230 zou hebben gestaan; de fundamenten liggen nog onder het Rolgebouw. Volgens een hypothese zou het terrein van het Binnenhof in 1229 door graaf Floris IV van Holland zijn gekocht.

Zeker is dat de zoon van Floris IV, graaf Willem II begon met de uitbreiding tot een kasteelcomplex waar ook het toen ommuurde Buitenhof inclusief de Gevangenpoort deel van uitmaakten. Tussen 1248 en 1280 bouwde Willem de hofkapel en de gotische Ridderzaal. Links en rechts, haaks op de Ridderzaal, staat een muur die de ruimte voor en achter het gebouw splitste. Beide muren hebben een poort. Aan het einde van de muur, bij de Hofvijver, werd de hofkapel gebouwd, en vlak daarbij het Ridderhuis, waar bezoekende ridders onderdak kregen; aan de zuidkant kwamen keukens. De zuiderpoort werd de Keukenpoort genoemd, en daarachter lag de Keukenhof ('Cokenplein').

Achter de ridderzaal werden woonvertrekken aangebouwd. Een poort (later de Maurits- of Grenadierspoort genoemd) en brug gaven toegang tot de kooltuin en een boomgaard. Daar zijn nu het Mauritshuis en het Plein.

Vermoedelijk werd het kasteel voltooid tijdens de regering van Willems zoon, graaf Floris V, en was het Binnenhof waarschijnlijk korte tijd residentie van de graven van Holland. De graven van Henegouwen woonden slechts tijdelijk op het Binnenhof. Desondanks breidden zij het kasteel uit met nieuwe gebouwen. Onder enkele graven van Beieren was het kasteel weer wel residentie. Met name Albrecht van Beieren heeft er lang gewoond.

Behalve de Hofvijver werd het Binnenhof eeuwenlang omringd door grachten, die ook via het Spui toegang gaven naar Delft. Dat was onder meer belangrijk voor de aanvoer van bier, want alleen steden met stadsrechten mochten bier maken. Tegenwoordig is van al dat water alleen de Hofvijver overgebleven en een klein stukje gracht naast het Torentje.