بُني مسجد الإمام سحنون بمدينة اجدابيا، في القرن الثاني للهجرة، وقد بناه أبو القاسم ابن عبيد الله، وأثناء بنائه جلبت كتل حجرية ضخمة من مباني أقدم منه، حيث وجود كتابات بالخط اللاتيني على بعض الكتل الحجرية، كما استخدم الآجر والطين والجبس كمونة في البناء.

ذكر  المسجد في المصادر التاريخية القديمة باسم (المسجد الجامع) بمدينة اجدابيا، وتسميته بمسجد الإمام سحنون جاء في عام 1954، من قبل مصلحة الآثارالليبية، تخليداً للفقيه والعلامة الإمام سحنون لدوره في نشر فقه المذهب المالكي، حينما نزل بمدينة اجدابيا ضيفاً، ودرسّ بمسجدها ( المسجد الجامع) لمدة ثلاث سنوات متتالية.

 المسجد لم يختلف في تخطيطه العام عن المساجد الأولى في الإسلام، وخاصة في شمال افريقيا مثل مسجد عقبة بالقيروان والجامع الكبير أو جامع الزيتونة بتونس ومسجد قرطبة، بحسب ماذكر في المصادر والمراجع، فهو مستطيل الشكل طوله 47 مترا وعرضه 31 مترا ويتجه المحور الرئيسي للمسجد نحو الجنوب الشرقي ، حيث نجد المحراب في منتصف جدار القبلة تقريبا وفي الضلع العرضي للمسجد كما في مساجد شمال افريقيا ، ليكون رواق القبلة أعمق الاروقة  

ولتطليف الجو على المصلين داخل المسجد ، الذي يتكون من أربعة أروقة ثلاثة جانبية ، كل منها يتكون من بلاطة واحدة والرواق الرابع هو رواق القبلة الذي يتكون من أربعة بلاطات متوازنة أوسعها بلاطة المحراب .

أجريت على مسجد الإمام سحنون العديد من الدراسات منها دراسة ميدانية مابين عامي 1954 – 1955 قامت بها مصلحة الاثار مع بعثة انجليزية متخصصة، بالإضافة إلى دراستين ميدانيتين قامت بهما جمعية الدراسات الليبية البريطانية بالتعاون مع مصلحة الآثار، الأولى كانت مابين عامي 1971- 1972 وأخرى كانت عام 1986، إلى جانب عدد من الأبحاث والتقارير التي قدمها طلبة جامعة قاريونس قسم الآثار، ايضاً طلبة الجامعات الليبية الأخرى.

وقد ذكر اليعقوبي المسجد الجامع في كتابه ( البلدان ) الذي كتبه حوالي سنة 278 هجرية، قائلاً : ( ومدينة اجدابية ، وهي مدينة عليها حصن وفيها مسجد جامع وأسواق ... ) وهذا يؤكد بان المسجد قد شيد منذ القرن الثاني الهجري وربما من القرن الأول لأنه من مقومات المدينة الإسلامية وأحد ابرز مكوناتها .

يذكر  ان، مدينة أجدابيا من المدن الليبية القديمة ، حيث إن وجودها يرجع إلى عصور ما قبل الإسلام ويرجع البعض أصل كلمة أجدابيا إلى التركيب "جاد بيا"، كما يرجعها البعض الآخر إلى أحد أعلامها يدعى إبراهيم الأجدابي.