古代日本人的生活有原始社会的特点，在原始社会里，既无阶级，也无明显的权力结构。但是，日本历史上所谓“原始时代”，传统上是泛指从史前时代(大约三十万年以前，日本群岛在地理上和欧亚大陆分离的时候)起一直到大约公元六世纪时帝皇国家崛起时止。前文中提到的分得更细的阶段是绳文(新石器时代)，弥生(铜器时代)和古坟时代，这是按各时代的考古遗物所显示的文化上的差别确定的。
大约在一万年前，日本的居民们放弃了洞穴住所，开始定居在简陋的有屋顶的房子里。这种房子是用支柱在地上挖的浅坑上，架起屋顶的住屋，叫作“竖穴住居”。这些原始居民以渔猎为生，生活于所谓“觅食经济”之中。“原始社会”这个名称包含没有权力及阶级结构的意思，也最适用于绳文时代。这一时代持续了数千年，直到公元前四世纪或三世纪止。
名叫绳文陶器的土制器皿最清楚地体现了绳文时代人民的创造性和纯朴性。这类器皿给人以朴素，有时甚至相当俗气的印象，也足以表示生活在经常要和大自然的无情力量搏斗的人民所有的那种颤抖的活力。绳文器皿在形状上和装饰上都变化多端，说明这一时代已经有高水平的手工艺。但是，令人颇感到讽刺意味的是绳文时代的人虽然在这方面如此高明，但在生产方面却相当落后，因为在中国，早，自公元前十三世纪起，人们已经知道耕作和应用铜制的工具了。
农业群体生活
日本群岛地理上和外界隔离，是日本文化长时期不能发展到超越新石器时代阶段的因素之一。公元前三至二世纪之间的一段时间，具有高度发展了的金属文化的，起源于中国的文化传到了日本。它的影响遍及日本，使日本人民的祖先们学会了农业技术和使用金属工具。金属工具有青铜和铁梨的，它使日本相当突然地进入了铁器时代。
采用梯田方式，集中种植水稻的农业的出现提高了人民的生活素质，使人们终于开始了群体共居的生活。他们制订了评价群体每一成员劳动的质和量的方法， 因此也就产生了贫富之间的差别——阶级结构形成的开端。统治者与被统治者之间的社会和政治上的差别进一步发展之后，渐渐产生了一百多个小国家。经过两个半世纪的激烈的夺权斗争之后，大和皇国获得了胜利，把很多小国统一起来，置于它的统治之下。
在这一时代的初期，金属工具已使用，其文化称为弥生，和较早的绳文文化不同的地方是它的陶土器皿呈红灰色。后者非常喜爱简朴，这和绳文陶器华丽的装饰形成鲜明的对照。木制用具像长勺、槌、犁和柞等的出现，是这一时期的另一特点。青铜器中有创、矛、铜泽；后者作锥形铲状而平扁，供仪礼之用。
政权的发展
近年来的考古工作，在日本各地，特别是在近畿地区，发掘出不少古坟。这些坟墓，起源于公元四至六世纪间，其最大的特点是前方后圆，成钥匙孔形， 名叫前方后圆坟。这种古坟， 原来周围都有沟环绕，其规模之大说明建造时颇费人力。从坟中发掘出来的精致的艺术品，也足以说明当时动用了很大的权力，施加了很大的影响。这样的坟墓当然是为统治阶级成员保留的， 而它们的存在使我们看到大和皇国在近畿地区建立之后，到公元三世纪或者四世纪时已经形成一个向南伸展到九州的统一国家。
陪葬在古坟中的有镜、刀、青甲、马具以及个人用的装饰品，像耳环、手镯、冠和鞋之类的东西。有的将活马跟主人一起埋葬。在古坟中发现的各种手工制品中，最突出的是垣轮， 即用土制成的偶像，习惯上把它们成圈地排在古坟面上。像人形，动物，家具， 日用工具等有代表性一样，垣轮是研究当时文化和生活方式的资料的重要来源。
在古坟时代，居住在用高柱支架的高架住屋中的风俗已经相当普及，先是高层阶级的人，逐渐普及到平民之中。这种房屋顶上有屋脊，上面加装饰用的木块，有合适的进出口和窗户；此外还有高架的仓库或者谷仓。这种形式的建筑保留到今天，在神社庙宇的大社造、住吉造或者神明造等形式中可以见到。这些时代的宗教大部分是拜物的，是崇拜自然。神和人， 自然和人，没有很清晰的区别。人们的宗教感情反映他们对自然的依赖以及因而产生的对自然的畏惧；而禁律和魔法等活动， 更增加了自然的神圣地位。 日本有些研究原始宗教的学者认为魔法原是农业仪节的一部分；对魔法的信奉是后来神道为日本全国所信奉的基础。但是人们清楚地看到，这种原始的崇拜自然，在古坟时代逐渐发展成为对祖先神位的崇拜，并为所建造的神庙为数之多所证实。