Наткнулся та такой вот совет:
если надо ограничить количество одновременных подключений с одного адреса на определенный порт, то делается так(в примере для POP3):
iptables -A INPUT -p tcp —dport 110 -m state —state NEW -m recent —name pop —rsource —update —seconds 60 —hitcount 5 -j DROP
iptables -A INPUT -p tcp —dport 110 -m state —state NEW -m recent —name pop —rsource —set -j ACCEPT