选项B错误，劳动争议仲裁委员会不按行政区划层层设立。
选项C错误，省、自治区人民政府可以决定在市、县设立；直辖市人民政府可以决定在区、县设立。
选项D项错误，直辖市、设区的市也可以设立一个或者若干个劳动争议仲裁委员会。故选A。