20世纪70年代末，受伊朗伊斯兰革命影响，一批巴勒斯坦激进学生在埃及筹建了这个组织，其目标是通过“圣战”消灭以色列，在巴勒斯坦建立一个伊斯兰国家；在伊斯兰运动推动下，重建统一的伊斯兰世界。由于美国支持以色列，该组织视美国为敌人，仇视温和的阿拉伯国家。1981年10月，埃及总统萨达特因为和以色列媾和而遭到埃及极端分子暗杀，该组织中的部分人员也参与了这次行动。其后，这一组织的成员全部被驱逐到加沙地带。此后，他们以加沙为基地，开始了频繁的针对以色列的袭击活动，主要活动地点在以色列被占领土、约旦、黎巴嫩。

　　长期以来，伊斯兰圣战组织一直未同哈马斯建立联系，直到1994年后才与哈马斯进行协调，共同采取行动。

　　伊斯兰圣战组织得到伊朗、叙利亚的赞助，在贝鲁特、大马士革、德黑兰、喀土穆设有办事处。伊拉克战争后，叙利亚政府在美国的压力下，关闭伊斯兰圣战组织在大马士革的办事处。