当别人说sorry时我可以回答no吗?

当别人说sorry时我可以回答no吗?
我的外国同事经常拿东西要经过我的位置所以经常会对我说sorry,我知道sorry的回答有很多种比如it's ok,never mind.不过我想知道这种情况下我觉得他没必要感到抱歉可以跟他说NO吗?