椒生公在南京学堂的势力与地位开始渐渐的下降，由提调而监督，又由监督而国文教习，末了连教习也保不住了，便只好回家吃老米饭去。不过他在本地还是一时有声望的，因为一向在外边办学务多年，纵使不很高明，办学的经验总是有的。所以他回到绍兴，最初也得到相当的地位，便是请他去当绍兴府学堂的监督。这里名称虽是监督，实际乃是校长，权力很大，而同时有一个副监督，这人却不好相与，此人非别，即是后来过了三年实行暗杀造反的徐伯荪即徐锡麟便是。这两个人共处一堂办起事来，其不能顺利进行，盖是必然的道理。一个是矮胖拥肿的身材，身穿一件“接衫”，上半截的白布，有下半截绿绸的三分之二的长，——接衫者穿在马褂底下的衬袍，因为有马褂遮盖着的缘故，为节省绸料起见，用白布替代，古时马褂特别的长，故下边露出的绸料只有三分之一，——蹒跚行来，看来的人都不禁要喝一声彩，说好一个“荡湖船”的老爷出来也。又一个则是苍老精悍的小伙子，顶上留着一个小顶搭和一条细辫子，夏天穿着一件竹布长衫，正在教学生们兵操，过了一会儿他叫学生走到墙阴地方，立定少息，自己便在太阳地里晒着。这是两个人形象具体的描写，是我亲自看来的。后来监督公还自夸口，说他在三年前就知道他是乱党，自己有先见之明呢。他既然有了职业，不成什么问题了，可是对于我在南京还是不放心，假如参加了乱党，这怎么办呢，不如叫回绍兴来，便可以不负当初介绍的责任了。这回凑巧我因祖父的丧事，在家里耽搁很久，他便劝我去教英文，地方在东湖，这也算是近时名胜之一，所以我就答应去试试看。幸而这事只试了两个月，我便仍旧回学堂里去，不然的话就会教书下去，于未来生活发生一个巨大的变化了。
东湖的这个学堂，门前扁额上写着“东湖通艺学堂”，不知道是什么性质，是私立呢还是公立，只有问那创办人陶心云去才晓得。在一九三一年出版尹幼莲所编的《绍兴地志述略》第十四章说名胜古迹的地方，东湖底下注道：
我到东湖学堂去是教英文，学生记得是两班一共三个人，初级是陶望潮，是陶心云的本家，现今尚健在，高级是陶缉民，乃是心云的承继的孙子，那时还只是十二三岁的小孩，现在却已经故去了，还有一个忘记了名字，但总之不是姓陶的。每天上午是由我教英文，下午由两位教员分教国文和算学。教室便在一间大屋内，东湖的屋都建造在一道筑成的堤上面，所以进身都不能很深，这间要算顶大的了，面北两扇黑漆大门，上边红地黑字，大书道：“临渊无羡，大德曰生。”这对联以文句论，以笔画论，都要算是屋主人的最成功的杰作，东湖所有的大小扁额柱联无一不是他的手笔，实在绍兴人已经看的厌了，只这八个字似乎还没有那种呆板相。我的住房便在“临渊无羡”那一边的耳房里，那里又分为南北二间，南边的一间稍为大点，只是因为北墙临运河，只有一个很高的窗，西面又是房屋尽头，不好开窗门，所以很是黑暗，蚊子非常的多，但是因为临河的关系，回家去时在那里等候趁“埠船”，却是很方便的。当初口头说好，每月薪水是二十元，学堂供给食宿，但是到了下旬时节，有一个自称是观察公的表姪的会计走来找我，说什么经费困难，只能姑且奉送这么多，就送来英洋十六元。我也无意于较量多少，便同意收下了，到了第二个月也是如此，但是两个月快满，学堂方面通知椒生公说，因为学生们说英文口音不大准确，所以拟不再聘请了。南京同学碰巧也这时来信，说要冬季例考了，赶紧前来销假，我遂即回去，学校是十二月初一日起举行考试，大概是在十月中回到学堂里的。
东湖时代的学生虽然不多，可是与我却是有缘，长久保持着联络，如陶望潮君，关于他的事后来还要说及。陶缉民君于民国二十一二年时，来北京大学，见面多次，当时曾写了一幅字送他，现在便抄在这里，作为纪念。原文收在《夜读抄》的苦雨斋小文里边，题目是“书赠陶缉民君”：
“东湖在城东十里，有陶氏屋，面山带水，风景颇佳。”这话说得很含蓄而得要领，因为地是官地，用的是公款修造，但是房屋却为陶氏占为私有，为敷衍门面计，分定作三种办法。其一是所谓“稷庐”，即是东头的一部份纯粹是该观察公的私人住宅，游人不得阑入的。其二是中间也就是靠近西头的几间，作为“学堂”，这是要和学堂有关系的人才能进出。其三是一片水面和几条堤防，说是“放生池”，是公开给大众的，但是东湖的建筑是在箬山即绕门山的脚下，和北岸隔着一条运河，运河上架有一座石桥，却在稷庐之东，从这桥绕道入湖，便要走过住宅部分，这是断乎不可，但游人既无翅膀，又不会水上行走，如要看看放生池的风景，势非用船不可，从学堂东边的“濠梁”桥进去，而这桥下却有铁门锁着，若要开时须出“酒钱”，请陶府的做工的人特别来开锁才行。因此之故，这个公开地方倒实在是很闲静的，平常管领着这大片土地的也就是稷庐陶家有关的几个人罢了。
“绕门山在东郭门外十里，系石宕旧址，水石奇峭，与吼山仿佛。陶心云先生修治之，称曰东湖，设通艺学堂，民国前八年甲辰秋余承命教英文，寄居两阅月，得尽览诸胜，曾作小诗数首纪之，今稿悉不存，但记数语曰，岩鸽翻晚风，池鱼跃清响，又曰，潇潇数日雨，开落白芙蓉。忽忽三十年，怀念陈迹，有如梦寐，书此数行以赠缉民兄，想当同有今昔之感也。廿二年十一月二十三日，在北平。”