杜赫宝教徒也遵照基督教的教义，反对人们拿枪去打仗。俄国政府对这些教徒没有办法，就将他们放逐到外高加索地区，这是一种政治流放。
但是，这对杜赫宝教徒来说，正是求之不得的事。俄国幅员广阔，皇帝权力所不及的地方很多，外高加索就是其中之一。杜赫宝教徒进入外高加索山中后，按照自己的理想，过着和帝王政治毫无关联的快乐、充实的生活。1886年以后，皇帝的政治力量逐渐延伸到这座山里。皇帝发出布告，命令他们充当屯垦兵，为皇帝军队服务。杜赫宝教徒非常惊讶与生气，但是他们不能作无谓的抵抗。于是多数人服从了命令，但这种强制人服从的命令必然是无法维持长久的。
杜赫宝教派的领导者读过托尔斯泰的书，对托尔斯泰的宗教观点很是推崇。
1895年6月下旬，杜赫宝教徒分散在三个地方，一边唱着赞美歌，一边举行庄严的焚毁武器仪式。但由于间谍的告密，行动很快被镇压下去。结果参加仪式的3000多人被送进法院判决，一些干部们立刻被送进监狱，剩下的人则被放逐。可是他们并没有因此而放弃抵抗。
在不到两年的时间里，有470多人被判处死刑，41人被送进监狱，74人被判了18年的流放。不但如此，有些幸存者被责令不得与亲人共同生活，如果被发现偷偷与亲人相见，则会受到鞭笞，甚至被枪杆打得头破血流。