칼빈은 제 4권의 제목을 "하나님께서 우리를 그리스도의 공동체(교회)로 인도하시며 우리를 그 안에 있게 하시려는 외적인 은혜의 수단"이라고 붙이고 있다. 이 제목이 시사하는 바와 같이 교회가 어떠한 기관인가를 잘 알려 주는 말이라고 생각된다. 교회란 하나님께서 그리스도 예수를 통해서 피 값으로 이루어진 구원의 공동체로서 신자들이 그 공동체 안에서 함께 살도록 초청하시고 그 안에서 말씀과 성례를 통해서 성숙한 신자로 자라가도록 하신 외적인 은혜의 수단이다. 이 점에서 볼 때 얼마나 교회가 중요한가를 알 수 있다. 여기서 그리스도의 공동체라는 개념이 가장 중요하다. 즉 교회는 예수 그리스도가 머리가 되어 말씀과 성례를 통해서 다스리시며 그것을 통해서 그리스도의 몸을 이루는 공동체이다.

그러나 이 공동체는 오늘날 존재하는 여러 공동체와는 너무도 다르다. 세상에도 밥상 공동체, 동창회, 여러 가지 모임 등이 있다. 세상의 공동체는 상호이익을 위해서 세워지고 또한 영원성도 없다. 상호 이익이 없어지면 그 공동체는 없어지고 마는 것이다. 그러나 그리스도의 공동체는 영원하다. 또한 상호의 이익을 위해서 만들어진 것이 아니라 오직 하나님의 영광(이익)을 위해서 존재한다. 즉 머리요 몸이 되시는 예수 그리스도를 세우는 공동체가 교회이다. 그러므로 그리스도 예수가 빠져버린 교회는 더 이상 교회가 아니며, 존재할 수도 없고, 만약 존재한다고 하더라도 영속성이 없다. 세상의 어떤 권세도 이 교회를 무너뜨릴 수 없다. 이는 교회의 머리되신 그리스도 예수께서 교회를 친히 보호하시고 인도하시기 때문이다(마 16:13-20).

2) 교회의 필요성

칼빈은 교회의 필요성에 대해서 아주 상세하고도 단순하게 다음과 같이 기술하고 있다.

우리가 복음을 믿음으로 말미암아 그리스도께서는 비천한 우리의 그리스도가 되시고, 우리는 그가 가져오신 구원과 영원한 복에 참여하게 된다. 그러나 우리의 믿음을 일으키고 더욱 키우며 마침내는 목적지까지 전진시키려면 무지하고 태만한(또 경박한) 우리들에게는 외적인 도움이 절대적으로 필요하기 때문에, 하나님께서는 우리의 이 약점에 대비해서 필요한 보조 수단도 첨가하셨다. 그리고 복음 전파가 활발하게 전개되도록 이 보물을 교회에 맡기셨다. <기독교 강요>, 4.1.1.