你好！我是某五金厂的老板，2003年我聘请了一批退休工人，当时，我提出与他们签订劳动合同，他们不肯，于是我同他们签了一份不愿签劳动合同的协议（内容是：本人年龄偏大，不愿签劳动合同，愿留在单位工作，社保自己购买）我们单位没有规章制度和相关的劳动纪律。2010年2月，有个退休工人甲（他是这样上班的：一个月一般上七日班，工资2000元/月，另外有事我才叫他回来上班，我与他是劳动关系还是劳务关系？），以我无签劳动合同为由，威胁我，要求双倍工资和相关经济赔偿，问：之前签的不愿签劳动合同的协议是否有效，能否对抗甲的要求？为了杜绝此类事，再次发生，我要求其他退休工人签合同，他们不肯，我该怎样办？