2002年在河边开了4亩地.2004年村委将地卖给砖厂取土.给我写了手续.取土后恢复给我.至今不给

你所说的确实是违法占地行为。根据《土地管理法》第四十三条：“任何单位和个人进行建设，需要使用土地的，必须依法申请使用国有土地；但是，兴办乡镇企业和村民建设住宅经依法批准使用本集体经济组织农民集体所有的土地的，或者乡（镇）村公共设施和公益事业建设经依法批准使用农民集体所有的土地的除外。”的规定，只有兴办乡镇企业和村民建设住宅经批准后或乡镇（村）公共设施建设方可使用本集体经济组织的土地，也就是说其他任何形式占有农民集体土地进行非农业建设均为非法行为。
根据《土地管理法》第七十六条的规定，未经批准或者采取欺骗手段骗取批准，非法占用土地的，由县级以上人民政府土地行政主管部门责令退还非法占用的土地，对违反土地利用总体规划擅自将农用地改为建设用地的，限期拆除在非法占用的土地上新建的建筑物和其他设施，恢复土地原状，对符合土地利用总体规划的，没收在非法占用的土地上新建的建筑物和其他设施，可以并处罚款；对非法占用土地单位的直接负责的主管人员和其他直接责任人员，依法给予行政处分；构成犯罪的，依法追究刑事责任。
你这个情况可以向国土部门反映，要求查处，如果国土部门不管你可以起诉他不作为。或者是直接起诉占地行为，要求返还土地。