中日甲午战争后，张謇认为中国之弱在于贫，救贫之法在于实业在于教育，提出“以实业与教育迭相之用”、“实业为父、教育为母”的主张。在发展实业的同时，张謇努力兴办新式学校等各类文化教育设施。光绪二十八年(1902)，在南通创办全国第一所民办师范通州师范学校，王国维在校任教。后又兴办通州女子师范学校和海门常乐镇张徐女校等一批中、小学校。除此之外还创办了南通博物苑、图书馆、医学专科学校、纺织专门学校、气象台以及南京河海工程专门学校。

张謇兴办图书馆想法的产生主要是受到两个方面的影响。其一，受绍兴徐树兰所建古越藏书楼的影响。光绪二十六年(1900)，绍兴士绅徐树兰创办了具有现代图书馆性质的古越藏书楼，张謇在考察古越藏书楼之后作了一篇题为《古越藏书楼记》的文章，文章中盛赞徐树兰“举其累世之藏书，楼以庋之，公于一郡，凡其书一若郡人之书”，“楼成，其乡之人大欢”，并称：“亦欲效先生之所为，而亦欲海内藏书家皆仿先生之所为也”。其二，受西方先进思潮以及示范效应的影响。光绪二十九年(1903)，张謇东渡日本进行了七十天的实地考察，行程中的一项重要内容就是参观博物馆、图书馆。后来的1905年，张謇在《上南皮相国请京师建设帝国博物馆议》中提出：“夫近今东西各邦，其所以为政治学术参考之大部以补助于学校者，为图书馆、为博物苑，大而都畿，小而州邑，莫不高阁广场、罗列物品，古今咸备，纵人观览。公立私立，其制各有不同。而日本帝国博物馆之建设，其制则稍异于他国，且为他国所不及……我国今宜参用其法，特辟帝室博物馆于京师。”这里特别要提到的一点是，张謇是主张图书馆与博物馆合二而一的，他在南通创办的博物苑兼具图书馆功能就是这种主张的实际体现。

张謇于1905年开始多次向朝廷上书。在《上学部请设博物馆议》奏折中，针对西方各国包括博物馆，图书馆在内的公共教育设施的先进，张謇列敷了旧式藏书楼的弊端：“(官家)则以藏庋宝于中秘，推行囿于一隅。其他海内收藏之家，扃鐍相私，更无论矣。”提出“今为我国计，不如采用博物馆图书馆二馆之制，合为博览馆”，如此则“上可以保存国学，下可以嘉惠士林”。在《上南皮相国请京师建设帝国博物馆议》奏折中，则进一步提出了建设以国家“图书馆”为龙头，带动各省各地的图书馆建设，形成全国性的图书馆网络，以使“文物典章，粲然具备”，更使“莘莘学子得有所观摩研究以辅益于学校”。不仅如此，在两份奏折中，张謇还提出了很多建馆的具体实施方案。譬如，“最重者则择地”、“便于交通”、“馆中贯通之地，宜间设广厅，以备人观者憩患”、“室中宜多安窗，迎光而远湿”、“庋阁之架，毋过高，毋过隘”等。在人员选配上提出“必得通东西洋语言文字二三员，以便外宾来观，有可咨询”。在图书采集方面，则建议以当年编纂《四库全书》为范，对献书者“请旨给赏”。

上书同时，张謇还按照自己的主张在南通创建了博物苑。他“辟地四十亩，杂采植物实之。中建三楼为馆，以储三部之物。而以教育晶附焉”。其中的三部为天然、历史、美术三部。美术部中有“经史词章之集，方技书画之遣”，实际上具备了图书馆的大致功能。

辛亥革命让张謇最终实现了图书馆之梦，按照张謇自己的记述：“民国元年，里少年尽毁诸神祠。謇于是谋诸兄谋耆老……因岳庙为图书馆。”图书馆“计有图书楼两幢二十间，曝书台五间，厢楼上下十二间，阅览楼上下八间，两廊办事室十间，道故斋上下六间，燕息亭三间，庶务室、门房、厨房、厕所十三间，共六十七间，计用银万二千元。书橱二百架，计用银一千二百六十元，图书十三万千百卷，他人赠者五万卷弱，謇赠者八万卷强。职员六人：馆长一，馆务主任一，编辑及保管二，庶务一，收发一。规定每年馆用一千六百元，增购图书二千元，校对、装订费用四百元，共四千元。其预筹而未设者：儿童阅览室、妇女阅览室，并置巡回书库”。这样，张謇终于实现了建立一所真正意义上的和颇具规模的图书馆之夙愿。

在图书馆馆舍设计方面，张謇请来中国当时著名的建筑设计师孙支夏，请他按照自己的构想进行设计。设计稿出来以后，张謇还多次提出修改意见，如今在南通博物苑里还保存有写着张謇修改意见的图书馆设计蓝图，这已经成为一份难得的历史文献。

创建之初，南通图书馆有藏书10万卷，几年以后即增至14万卷。这些藏书现大多藏于南通市图书馆古籍部，很多书中有张謇的藏书印章和他的亲笔题词。为了追求藏书建设的高规格，张謇采取了征集、抄录、影印等手段。征集分为捐赠与有偿收购两种。如上文所述，张謇除自己捐赠“八万卷强”之外，还收到“他人赠者五万卷弱”。对于征集不来的图书，张謇不惜花费人工物力抄录和影印，甚至还多次请托驻英使节设法影印流失海外的《永乐大典》。他在给驻英使馆首席秘书顾锡爵的信中这样说：“《永乐大典》自庚申之变，没入英吉利者近千本，在其博物苑中，以为武功之记，此中国之大耻，而故籍之所关。往时刘某出使，有为言之，或易以他书，或就抄其副。刘固俗人，不足办此，今廷卿所主，傥其人乎？”

张謇还非常重视图书的编目工作。他曾两次聘请专门学者进行编目。他在邀请陈星函先生为其编目的信中说：“素仰先生有金版六韬之博，辩己三亥豕之讹。敬请编订本馆第二次目录……谨奉润敬锻币五百元……”言辞之间，尽显推重之情。

另外，在当年轰动一时的莫里逊藏书出售事件中，张謇也曾做出积极努力，想花重金将这批典籍留存在国内。但终于敌不过日本三菱财阀巨头岩崎久弥，使这些珍贵文献流落东洋。