与黄墨洲交结，证据确凿，玷辱官声，应依法给予革职处分。但此时高和尔早已离职，香港政府只是说说了事，并未给他任何处分。
市民告总督
早年在香港办报不受什么限制，办报人不是传教士，就是英商或与英商关系密切的人。例如怡和洋行的大股东马地臣是《香港记录报》的股东。《孖剌报》的主笔孖剌是商人出身，曾在广州的英国商行工作，后来又经营过米业和运送华工。当时的英文报纸多半是英商的喉舌。香港政府本来特别注意照顾英商的利益，但英商还是常常与香港政府发生意见冲突。当时香港和英国传递消息靠船只，港府和伦敦互通信息，往往要半年以上的时间。英商和香港政府之间的矛盾不能得到及时解决，他们便通过报纸抨击香港政府，发泄不满情绪。他们的出发点往往是个人得失，但是他们对早期香港政府某些官员劣迹的揭露却往往是真实的。
1850年，德伦收购了《中国之友》与《香港公报》。德伦是鸦片战争以前就到广东经商的，英国占领香港后他即到港府田土厅任职，后来调任登记官署。1847年，他指责当时已任职辅政司的威廉·坚有受贿嫌疑，在高等法院败诉，遭受撤职处分。从此与港府官员不和。
德伦购买《中国之友》正是想利用舆论作为报复的工具，对港府官员进行揭露和报复。
1857年，毒面包案件发生时，德伦也是受害的英国人，他不甘精神和医药费用的损失，向张亚霖提出民事诉讼，要求赔偿。6月开庭审理，审问结果，德伦胜诉。法官判给赔偿费1010元。但张亚霖财产在封，只能等结案后再支付。不料，7月张亚霖释放逃往越南，德伦的赔偿费落了空。于是，和所有受害人一起迁怒于张亚霖的律师必烈啫士，说他自己的律师费到手，就故意安排张亚霖秘密离港。由于毒面包案要求赔偿未得到满足，德伦对香港政府积怨很深。所以，他在报纸上对徇私舞弊的政府官员发动了猛烈的抨击。
1857年8月，德伦在自己的报纸《中国之友》上发表文章大骂必烈啫士，指责他只顾自己发财，不管别人死活。必烈啫士向法庭提出控告，指称德伦犯诽谤罪。但香港其他英国人也指责必烈啫士，说他已经是港府署理辅政司，却为一个要毒杀全体英国人的中国嫌疑犯担任辩护，而且收受金钱，有亏职守。1858年7月23日，因黄墨洲勾结海盗一案，德伦撰文抨击调查委员会，并揭露代理辅政司布烈治和总登记官高和尔勾结舞弊、包庇犯人。对于德伦的揭露，宝灵政府十分恼火，便以“诽谤政府罪”起诉德伦。幸亏有已经离职的原律政司安士迪代他辩护，法庭才以“证据不实”撤销控案。
1859年8月24日，《中国之友》与《香港公报》转载了安士迪在英国的一篇演说词。在演说中，安士迪揭露了当时香港政治腐败、官吏贪污的现象。对署理总督威廉·坚抨击尤其厉害，具体揭露威廉·坚利用职权收受贿赂的情形。见报第二天，港府即对《中国之友》与《香港公报》提出起诉。因为当时香港正流传港府官员有贪污受贿的事件发生，德伦报纸的指责，立即引起宝灵的注意，马上指定专人组成调查委员会。威廉·坚请了两位律师，其中一位勃力基斯是威廉·坚的好友，并且以前也曾受过德伦的指责。经过3天审理，最后法院审断德伦罪名成立，指称他诋毁官吏，屡犯妨碍他人名誉罪，应予重罚，遂判处徒刑12个月，罚款50英镑。
德伦入狱后，被囚在维多利亚监狱一间普通小牢房里，4个罪犯同居一室，狱吏对他十分严厉，每天12个小时禁止活动。香港本来有些人同情他，听到狱中情况，更觉得是威廉·坚手下的人故意折磨他。于是发起签名上书宝灵，请求改善德伦在狱中的条件，减轻刑期。宝灵表示，无权处理减刑的要求。其实，总督集行政、司法、立法权于一身，权力很大，不单有对犯人减刑的权力，连死刑犯人都有权赦免。当然，对于暴露港府丑闻的德伦，宝灵不会给他减刑。为了应付英国一些居民的呈文，只答应派人到狱中调查德伦所受待遇情况。调查结果认为，德伦在狱中的条件无须改善。直到这个案件传到伦敦，成为下议院指责的对象时，德伦刑期才获得减半。
《孖剌报》主笔孖剌也多次在报纸上揭露香港政府某些官员的劣迹。他们对总登记官高和尔的揭露，比德伦还要激烈。他还抨击当任总督宝灵滥用职权，给怡和洋行特殊便利，使其垄断市场，获得贩运鸦片的巨额利润，而宝灵的儿子正是怡和洋行股东。报纸捅到了总督的痛处。于是宝灵提起反诉，结果孖剌以“诽谤总督和侮慢政府罪”，被判徒刑6个月和罚款100英镑。
当时，新闻界对宝灵非议颇多，甚至有的西方记者指控他滥用职权，虽然都和德伦、孖剌一样败诉，但是，他们的行动使宝灵成为历任港督中第一个被指控总督，开创了香港市民指控总督的先河。
华人商店罢市
宝灵上任的第3年，1856年11月21日，香港中国人开设的商店，为了反对港英当局颁布的欺负中国居民的不合理条例，一起闭门停业。这是香港最早的一次大罢市。
该年，港英当局公布了《购买地产条例》、《征收费用及讼费条例》，设法增加财政收入。接着又公布了《华人屋宇及妨害公安条例》，不顾华人的生活习惯，违背了华人的利益，香港中国居民一致表示反对。尽管华人一再表示自己的意见，港英当局丝毫不予理采。引起华人集体罢市。由于这一次的罢市，市面贸易立时停顿，秩序大乱。当时港英警察力量还比较单薄，只有欧籍警官33人，华人老更39人，主要的力量是靠“大头绿衣”（即印度差），有166人。全部合起来也不过238人。华人罢市，港府要出动警察镇压，但是警察力量捉襟见肘，还要同时维持出巡和站岗，已经无法兼顾，惟有出动英军。威廉·坚召集当时驻防香港的英军第59团，进入市区，分别驻扎在最繁华的歌赋街和上环，实行武装镇压。还颁布特别法令，征调了四十几个外国商人为“特务警察”，来帮助维持市面秩序。
英国占领香港，开埠之初，曾明文规定，尊重中国人的生活风俗习惯，一切按照“大清律例”，现在竟突然毁诺，对于华人居屋的门窗间隔也一律要按照外国规定办理，违反了中国人自己的传统生活习惯，因此华人居民表示非常不满，屡次要求改善或是暂缓执行这种苛刻条例，官方却执意严厉执行，凡不遵守者一律拘捕，并且加重罚款，逼得香港的中国人忍无可忍。因此当时香港华人团体就在11月20日下午召集全港华人大会，议决要求当局暂缓执行或者放宽处罚。第二天实行罢市，逼迫港府答应这一要求，于是在英帝侵入香港十余年之后，就发生了这次华人商店全体大罢市的风波。
当时总督宝灵不在香港，护督就是威廉·坚。他大为慌张，连忙出示“安民告示”，又接纳了全体华人居民所提出的改善管理七项意见，这才结束了开埠第一次罢市风波。
总督吃闷棍
1855年1月10日，港府正式公布西环至铜锣湾填海计划，声明港督宝灵有权处理一切，凡有损失的业权所有人士，可用延长租地权来抵偿他们的损失。
当年大部分中国籍业权人，都有意接受这项办法。但是外国籍业权人反对港府这一决定，认为港督所提出的计划，损害海上业权人的利益。这个反对意见，由宝顺洋行东主邓脱提出，获得立法局一些非官守议员的支持，并报送伦敦殖民地部。
宝灵总督认为，海旁业权所有人，擅自填海获得土地298685英尺，比较原来向政府租赁的土地面积大出一倍。他们私自填海所得土地，应该属于政府物业，政府有权将这些土地重新估价开投。
1857年，伦敦殖民地部批复，对于邓脱向该部所提出的抗议不予接纳，指令宝灵说，如果有经费的话，可由政府推行填海计划。
中国籍的海旁业权所有人，答允缴纳占用海堤的租金，迫使大部分外籍商人也作同样答允。这样一来，沿海堤岸的业权重归港府所有。只有毕打码头与练兵场之间的一小部分地方的原有业权人英商宝顺洋行和林德赛公司继续反对。
根据英国殖民地部的批复，港府首期填海筑堤工程费用14000英镑，宝灵总督动用两万镑公款，并且于1858年12月23日在立法局提出一个预算案，第一次宣读时，只有邓脱议员投反对票，提案终于首读通过。
由于宝灵离港，前往菲律宾公干，填海筑堤预算案二读会，推延到1859年2月4日才举行。事前，港督和官守议员认为二读通过该预算案不成问题，但到表决时，这个填海筑堤预算案，竟以3票对6票而被否决。官方议员中只有3人投赞成票，辅政司和按察司投了反对票，宝灵万万没有想到，临到任期届满，却吃了狠狠的一闷棍，而且这一棍来自他的左右臂部门，因此，极为愤怒。
爱女长留香港为尼
历任港督中，一般离职后，眷属都随之返回英国，家人留在香港的，并不多见。宝灵的女儿爱米莱却久居香港不走，并且削发为尼。
宝灵任职期间，香港的外国大商行，主要业务仍是鸦片。其中有一个鸦片商人英利斯，他的太太出身低微，以致受到其他鸦片商夫人的歧视，一切社交活动都不愿邀请她参加。英利斯太太的一些往事，成为当年香港上流社会中“耳语”话题。英利斯太太因受到不平等待遇，心理不平衡。后来她灵机一动，辗转托人关照，终于巴结上了宝灵总督的爱女爱米莱。
宝灵总督女儿爱米莱与英利斯太太一见如故，两人来往逐渐密切，成为闺中好友。
爱米莱经常邀请英利斯太太到督辕来喝下午茶；爱米莱有时还乘坐八人抬的皇冠徵号总督座轿，前往英利斯家中，与英利斯太太喝茶谈天，这成为当时上流社会太太圈里的大新闻。上流社会的太太们咬牙切齿，妒忌英利斯太太，但另一方面，又不得不改变了对待英利斯太太的态度，因为宝灵总督爱女爱米莱与她关系如此亲密，巴结还唯恐不能，就更是得罪不起了。
1859年，宝灵总督任满，离港返回英国时，爱米莱却不愿跟随父亲返英，一方面她喜欢上了香港，另一方面有好友英利斯太太在香港为伴。
后来，宝灵·爱米莱终于到香港一个意大利教派的尼庵去修行。最后在香港病逝。这是香港开埠之后的港督罕有家事。
第五任 罗便臣HErculEs RoBinson
罗便臣1859年9月至1865年3月在港任总督，任期6年，是第五任港督。
1859年9月9日，罗便臣接替宝灵遗缺，上任时35岁。
罗便臣（1824～1897），也作罗士敏。爱尔兰人，军人出身，曾任西印度殖民地总督。后又供职于英属殖民地澳大利亚、新西兰、南非等地。被封为爵士。1897年去世。
罗便臣在任期间，英法联军进攻北京，火烧了我国历史上最著名的园林圆明园，又凭着《北京条约》，割去九龙半岛。
任内要事
罗便臣在任期间，做了几件前任没有做过的事，被史家们称为香港的“首次”。
一，1860年香港邮政局脱离英国邮政局独立。1862年12月8日，邮务司密辙尔正式发行香港邮票。是香港邮政局发行的第一套邮票。全套7枚，以维多利亚女王像为图案。后来发展为：2分、8分、12分、18分、24分、48分等16种。香港邮政局的独立，为以后香港邮政业的发展创造了条件。1876年，香港邮局加入万国邮政协会。
二，1862年起，港英当局开始实行官学生制度。就是从英国考选官学生来港，接受3年中国语文训练，然后分派各部门做翻译及其他重要公职。第一批官学生有甸尼、史笏夫和汤隆荃3人，于1862年9月抵港。从罗便臣之后，香港开埠初期以军人、冒险家和水手出任港英政府政务官的办法，逐渐变成历史陈迹。
第五任罗便臣三，修水塘供应自来水到市区。罗便臣上任不久，就遇上一次干旱，遂计划自薄扶林水塘引水。该工程1863年竣工，是香港历史上修建的第一个水塘。从此，香港才有自来水供应。
四是，改革香港币制，1862年7月1日起，改用银元为记帐单位，放弃英镑单位。向伦敦订铸香港银元，作为香港通用货币，并铸造铜元作为辅币，开办银行，组织成立香港商会。
割占南九龙
九龙半岛的地理位置十分重要，1840年春，林则徐曾经在一份奏折中指出，“尖沙咀一带，东北负山，西则有急水门、鸡踏门，东则有鲤鱼门、佛堂门，而大屿巨岛，又即山其西南。四面环山，藏风聚气，波恬浪静，水势深广。英夷船只，久欲依为巢穴。而就粤省海道而论，则凡东赴惠、潮，北往闽、浙之船，均不能不由该处经过，万一中途梗阻，则为患匪轻。”林则徐针对英军挑衅的情况，奏请朝廷在九龙半岛的尖沙咀与官涌各修炮台一座。炮台修成以后，被分别命名为“惩膺”与“临冲”。林则徐为这两座炮台购置了56门大炮，并派兵八百余名驻守炮台附近山梁。
尖沙咀在香港岛对岸，水深港宽，可泊轮船，地势平展，宜于居住。英国人早就看上了这块地方。义律曾一度要求清政府割让。1841年7月9日的澳门新闻报纸说：关于城市建设，香港对面的九龙，条件比香港岛更为优越。义律被召回国后，大鸦片贩子马地臣担心，英国政府听信一些人关于香港不适宜欧洲人居住的言论，放弃香港岛而要求舟山、厦门等地，他要伦敦的查顿运用他的影响，说服政府，保留香港岛。他说，好些人愿要九龙，但我们应该两者都要。1848年，英国远东舰队司令西马糜各厘主张占领南九龙半岛，说它在季风季节里是安全的避风港，如被别国占领，将会构成对香港岛的威胁。
1860年3月初，英国派克灵顿率海陆军万余人来华作战。这批英军陆续到达香港岛，找不到营地住宿，3月18日，在罗便臣和克灵顿策�