Česte provale Vlaha od 14. stoljeća, a posebno Turaka od 15. stoljeća na trogirsko područje dovele su do obrambene izgradnje gradova i sela. Seljaci su u srednjem vijeku živjeli u raštrkanim selima po polju i brdima, da bi se nakon provale Turaka spuštali uz obalu radi lakše obrane. Zbog toga su nastala trogirska kaštela u 15. i 16. stoljeću, a među njima i Kaštel Rotundo (Seget) na zapadnoj strani Trogira. Njegovom izgradnjom završen je lanac kaštela u 15. i 16. stoljeću koji je branio imovinu i stanovništvo trogirskih plemića od Kaštela do Marine.
Izgradnja Kaštel Rotunda vidljiva je iz dozvole trogirskog kneza Augustina Benba koju je izdao 13. siječnja 1564. godine. Trogirski knez dozvoljava Trogiraninu Jakovu Rotundu , pisaru gradske blagajne, izgradnju kaštela u Segetu. Ta dozvola je upisana u 10. svesku spisa trogirske kancelarije i čuva se u Zadarskom Državnom arhivu.
Iz isprave je vidljivo da je Jakov Rotundo potomak starog plemićkog roda zatražio dozvolu, da u Malom trogirskom polju (od Vlaške do Krbana) na području Murvica u predjelu Konacvine sazida kaštel. Kaštel je udaljen zapadno od Trogira oko jednu milju. Kaštel je trebao štititi od Turaka njega i njegova dobra kao i njegove seljake koji bi se željeli nastaniti uz njegovo dopuštenje. Knez Bembo u ispravi naglašava da mu to dozvoljava, jer u tom dijelu uz obalu nema nikakve utvrde, a sam Rotundo i seljaci bi imali veliku korist. S obzirom na sve zasluge i odanost Jakova Rotunda knez je dozvolio da se kaštel opskrbi svim potrebitim pa i visećim mostom te da sa svojim nasljednicima koristi stotinu mletačkih koraka okolnog zemljišta na kojemu osim njega nitko ne može zidati (mletački korak je 1,73 metra). Dopustio je svim trogirskim građanima i seljacima da se mogu naseliti u kaštel uz Rotundovu dozvolu. Knez je uočio korist ove izgradnje jer je Rotundo kao i ostali trogirski plemići zidao kaštel vlastitim novcem. Mlečani su štedjeli svoju blagajnu gdje je to bilo moguće, koristeći prihode grada ili plemića kod izgradnje kaštela. Rotundo je dobio samo zemljište za izgradnju od grada Trogira. Trogirski povjesničar P. Andreis (1610.-1686.) u svojoj knjizi Povijest grada Trogira je napisao da je to zemljište nekada bilo vlasništvo njegove obitelji i da ne zna kada i kako je postalo državno. Po njemu je kaštel izgrađen oko 1560. godine. Okolni seljaci nakon izgradnje kaštela su se naselili u kaštel, jer su im kuće i posjedi bili ugroženi od Turaka, posebno nakon pada Klisa 1537. godine koji su pustošili trogirsku okolicu. Andreis ističe da je u njegovo doba staro selo pokraj crkvice Sv. Vida bilo porušeno i pusto. U kaštel su se mogli useliti i izbjeglice iz unutrašnjosti Dalmacije i Bosne i Hercegovine.
Kaštel prozvan ispočetka po svom osnivaču, Kaštel Rotundo (Castrum Rotundum), ali postepeno prevladava stari naziv tog lokaliteta, pa se sredinom 17. stoljeća počinje nazivati Kaštel Seget (Seghetto, Seghet). Staro ime pritom potpuno nestaje. Trogirski povjesničari I. Lucić i P. Andreis sredinom 17. stoljeća nazivaju ga Seget.