Місце для споруди Янівського замку обрали на правому березі річки, де височіла плоскогір'я, яке, як і все село, було оточене петлею річкового русла. Плоскогір'я представляло собою вузький, скелястий гребінь (мис), розташований у вузькому перешийку між двох рукавів петлі річкового русла. Завдяки крутизні схилів і вдалому розташуванню щодо вигинів річки, піднесеність добре підходила для зведення тут оборонної твердині.
Окремі дослідники відзначають, що на місці кам'яного замку 17 століття раніше існувало більш раннє зміцнення, захищене дерев'яними і земляними оборонними спорудами. Однак не уточнюється, чи йдеться про більш ранньому замку, наприклад, 15-16 століть або ж про якесь городище.
Початок 17 століття. Подільський воєвода Ян Гольського на місці дерев'яно-земляних укріплень будує кам'яний замок. На території замку був побудований костел, який став домінуючим спорудою твердині. Замок мав важливе стратегічне значення, оскільки в цьому місці знаходилася переправа через річку. При Гольського на місці старої переправи через Серет був побудований дерев'яний міст.
Як матеріал для побудови укріплень використовували ламаний піщаник. Замок мав довгасту, майже прямокутну, форму. Основу його укріплень складали стіни, посилені бастеями. Північна сторона укріплень була найменш доступною - тут у замку була серйозна природний захист у вигляді крутого схилу височини, що обривається в долину річки. З цього боку оборонна стіна замку була влаштована на кромці спуску. Західна сторона була підлогової і тому найбільш доступною для атак противника. У західній частині замку перебував його найбільш потужний вузол оборони (характерний для оборонної архітектури Поділля 16 - 1-ї половини 17 століть), представлений гостро зсунений куртиною, яку посилювала потужна кругла в плані бастеями. Замкові стіни досягали значної 3-метрової товщини і були прорізані бійницями. В'їзд в замок перебував у східній частині комплексу і був влаштований в надбрамної вежі, у першому ярусі якої перебувала арка воріт.