劳动者仅有的需要向用人单位支付违约金的情形：

一、用人单位为劳动者提供专项培训费用，对其进行专业技术培训的，可以与该劳动者订立协议，约定服务期。劳动者违反服务期约定的，应当按照约定向用人单位支付违约金。违约金的数额不得超过用人单位提供的培训费用。用人单位要求劳动者支付的违约金不得超过服务期尚未履行部分所应分摊的培训费用。用人单位与劳动者约定服务期的，不影响按照正常的工资调整机制提高劳动者在服务期期间的劳动报酬。

二、 用人单位与劳动者可以在劳动合同中约定保守用人单位的商业秘密和与知识产权相关的保密事项。对负有保密义务的劳动者，用人单位可以在劳动合同或者保密协议中与劳动者约定竞业限制条款，并约定在解除或者终止劳动合同后，在竞业限制期限内按月给予劳动者经济补偿。劳动者违反竞业限制约定的，应当按照约定向用人单位支付违约金。

除以上两种约定的情形外，任何与劳动者约定需要支付违约金的行为均属违法。

违约金的数额如何计算：

劳动者违反规定或劳动合同的约定解除劳动合同应赔偿用人单位下列损失：

(1)用人单位招收录用其所支付的费用。

(2)对生产、经营和工作造成的直接经济损失。即用人单位既得利益的损失。

(3)用人单位为其支付的培训费用，双方另有约定的按约定办理。