收取电费保证金逾期未退，需缴纳增值税。根据《电力产品增值税征收管理办法》（国家税务总局令第10号）第三条，电力产品增值税的计税销售额包括纳税人销售电力产品向购买方收取的全部价款和价外费用，但不包括销项税额。价外费用指在目录电价或上网电价之外，向购买方收取的各种性质的费用。供电企业收取的电费保证金若逾期（超过合同约定时间）未退还，则一律并入价外费用缴纳增值税。