在很多情况下，处理VoIP安全问题需要用户能够运用因特网的旧规则;毕竟，VoIP系统最容易受到的攻击与IP网络环境有很大关系。
为VOIP语音技术构建多层次安全性能必然会遇到很多挑战，因为在VOIP网络上建立端对端的密码系统和验证体系并不容易，尤其是那些大量装有私有软件的VOIP终端台式机。
Adam O'Donnell, 是位于旧金山的网络安全技术公司Cloudmark的应急技术总监。他指出："早期VOIP受到的攻击多为针对其实施的拒绝服务(DoS)攻击，而近几年来，黑客们开始更为关注如何利用VOIP以达到目的，不局限于单纯的攻击行为了。比如越来越多的出现与语音电话有关的Vishing病毒，或是假冒信用卡中心的电话号码等。虽然目前仍没有很多证据显示存在大量的垃圾邮件攻击网络电话的行为，然而专家们预计，随着VOIP的应用增长，会遇到更多包括垃圾邮件，免费电话盗用以及拒绝服务(DoS)攻击在内的诸多安全问题。
呈上升趋势的免费电话盗用问题让VOIP的供应商们头痛不已。据纽约的一家数字通讯公司统计，他们的VOIP平均每个月被盗用3千多万小时，损失价值高达两亿六千万。"随着损失的加剧，VOIP的安全问题会得到更多的关注。"位于加州的安全计算公司的技术副总裁Paul Henry说，"现在黑客们每天都在盗用通话时间，并通过出售这些时间获取非法暴利。如果你去问问那些供应商，有多少新增用户在用这些非法的通话时间，你会发现这样的情况十分普遍。"Henry还指出，虽然现在大多数VOIP在沿袭互联网之前的安全规则，然而并不能完全解决VOIP的安全问题。因为当VOIP运行在无连接的UDP用户数据报协议的环境下时，只能通过用户的IP地址和主叫ID进行认证和检验，而这样极易受到IP哄骗攻击，需要运行商格外警惕。他建议VOIP运营商完全废弃原有的应用协议，而改为采取网关设备来模拟一个连接的UDP协议。
而此前，Bogdan Materna还强调， VOIP需要专门的工具来确保安全，而这个专门的工具还要与数据安全工具可以连接，共同运作。他说："任何公司和组织在配置和使用VOIP时，都要采取积极的预防措施来防范可能受到的攻击。如果每个公司都采用专门为VOIP设计的IPS入侵防御系统和SBC会话边界控制器（Session Border Controllers）解决方案，那么被攻击的可能性将大大降低。"当然，无论采用何种方法抵御威胁，对终端用户有关安全知识的普及都是十分重要的。所有用户都知道什么是垃圾邮件，但仅仅知道这个是不够的，我们还要让用户明白VOIP是如何被非法利用的，以及通常容易有哪些安全隐患。只有运营商和用户都提高安全意识，VOIP的安全问题才能逐步解决，我们才可以更加放心地使用VOIP.
