根据《劳动合同法》第二十五条的规定，除本法第二十二条（专项培训费用，如民航公司培训飞行员等）和第二十三条（竞业限制）规定的情形外，用人单位不得与劳动者约定由劳动者承担违约金。你是否需要赔偿用人单位损失，主要看用人单位是否为你提供专项培训费用和竞业限制协议（需要给劳动者补偿，不给补偿无效）。
