Hjallurinn er talinn reistur í byrjun 18. aldar og er sennilega nefndur eftir Grími hreppstjóra og fálkaveiðara í Brokey.
Grímshjallur er steinhlaðið hús með lágu tyrfðu risþaki, um 5,20 m að lengd og 3,50 m á breidd.
Hjallurinn er á litlu skeri við Brokey á Breiðafirði og stendur á jaðri þess að norðan og austan en jarðvegur nær vel upp á vesturgaflinn.
Bakhlið hjallsins stendur á um 0,50 m breiðri sprungu í skerinu sem opnast í sjó fram og loftar vel inn undir hann. Dyr eru á miðri suðurhlið og burst yfir.
Veggir eru tvíhlaðnir og dragast að sér að ofan bæði að innan og utan. Á húsinu er þak með mænisási sem er studdur einni stoð og eru raftar milli veggja og áss. Langböndum er raðað á rafta og tyrft yfir. Í rafta og langbönd hefur verið notað efni sem hendi var næst, t.d. úr bátum; eikarplankar og borð og plankar úr furu og yfir dyrum er vænn eikarbiti, strikaður á brún, líklega úr stýrishúsi. Lagbönd eru m.a. stýrisár, ár, byrðingur úr bát og fjalir af ýmsum stærðum.