限制人身自由的行政处罚权只能由公安机关、人民检察院和人民法院行使。