一种说法是：据说早年在香港岛东南部的石排隔，有一条小溪流入大海，岛上居民和过往船只常在此汲水，人们发现这里的泉水水质清甜甘香，遐尔闻名，故有“香江”之称。于是，香江入海的港口便称为“香港”。另一种说法与海盗有关：相传古时候有个叫香姑的女海盗，武艺高强，貌美如花，占据本岛，落草为生，因此该岛便名为“香姑岛”，简称为“香岛”，“香港”一名即由此演变而来。还有一种说法是：原来东莞县以出产香料著名，叫作“莞香”，多数运到香港仔集中，换载大船，沿海北上，运销内地各省和日本。由于香料都集中在这个港口起运，香港便由此得名。
香港迁界和复界康熙初年，清政府为断绝沿海居民与郑成功的联系，连续颁布３道迁界令，严格规定东南沿海居民内迁５０里，房屋。土地全部焚毁或废弃，不准沿海居民出海。香港地区西北自新田等村为中国，东北以沙头角等村为中国，南部所有村庄全须内迁。迁界使香港居民辗转流离，土地荒芜，也令香港地区海盗猖獗。康熙八年（１６６９年）清政府同意两广总督周有德。广东巡抚王来任的复界建议，港九地区的居民才陆续迁回，离岛地区则延至康熙二十二年（１６８５年）始得迁回。
根据最近半个世纪以来中外学者在香港地区进行的多次考古发掘，先后发现新石器时代中。晚期的遗址２０多处，青铜器的时代遗址３０多处，出土了许多石器。陶瓷和青铜器。从出土文物的形制。制作和用料等方面考察，与广东的新石器文化和青铜器有许多相同的特征，说明至迟在５０００年前，就有中国居民在香港地区劳动。生活，他们与祖国内地有着密切的联系。曾先后在香港地区进行考古工作的科学家主要有：香港大学地理系讲师。爱尔兰籍的芬尼神父，他在浅水湾对面的薄寮洲上发现了粗糙的石器与箭头，证明是新石器时代的遗物，还发现了设计精巧的青铜器皿，证明是汉代以前的制作品。另外，在薄寮洲三个遗址中，以发现大批有装饰的陶器，与周代和秦代的同类产物相似。他曾在１９３２年至１９３６年撰写了１３篇论文，总结了自己在香港的考古成果。英国人韩利和舍尔斯亚（后者曾任香港大学教授）在屯门（青山）从一座约６０．７０米高的山丘中挖出甚多的石斧。另一位中国学者陈公哲，从１９３７年起，历两年时间，寻找１６个地点，共获得古物２５０余件。陈著有中英对照的《香港考古发掘》一书，证明香港自史前时期至汉唐，先民活动的历史从未间断。其考古的最大成就就是发现从商周至明清，香港均有遗物，香港附近民族均从中原迁移而来。１９８５年初，香港考古学会在澳门黑沙湾掘出的陶片，经美国新法测定的结果，可把港澳地区最早有人居住的年期追溯到公无前５０００年。