约瑟夫的微服出行到底都做些什么呢？尽管此时皇帝的权力已经大幅缩减，但他依然可以主持法庭、任免贵族、授予特权等等，帝国内的数千万民众还是会把皇帝视作有着至高地位的权威，再加上有家族实力的支撑，他还是有很大的改革空间。特别是面对着法国、普鲁士、土耳其等国的威胁，帝国内的王侯们还是要指望皇帝才能团结一致。他已经从启蒙哲学家那里学到了人人平等、崇尚理性、人民主权等等观念，但究竟要做些什么才能用手上的权力实现这些，仍然需要他先亲自到现场了解实际情况。
这些微服出访中最有代表性的一个活动，就是收集民众请愿书。约瑟夫在维也纳的宫殿前就安排了一片区域接受普通民众递交请愿书，这一点颇受贵族非议，因为皇帝居然允许那些身份低下的人离自己的住所那么近，还要为这些底层人微不足道的小事操心，实在有失身份。而在微服出行的路上，约瑟夫装成的伯爵有时也会有意无意地走漏消息，引来民众递交请愿书。不可否认，这些请愿有时候确实很琐碎，比如老人让皇帝替自己要回被没收的烧酒锅，或是农民觉得自己的家人受到了诅咒，希望皇帝为自己解咒。但约瑟夫会回应几乎所有请愿书，就算没法当场解决，也会保存好，以便带回维也纳。在他看来，这些请愿反映了民众受的苦，保证了自己有一个直接解决民众需求的渠道。直接接受民众请愿的方式打破了等级制度的藩篱，或者用约瑟夫自己的话说，“国王、伯爵、公民和农民之间没有区别。灵魂和精神都是造物主赋予我们的；优点和恶习是良好或不良教养的结果。”这体现了当时新兴的“自然法”理论，主张人生而平等，通过后天的教育才能塑造好人，这就是“启蒙”。
除了靠收集请愿书的方式了解情况，约瑟夫主要还是抱着特定课题去特定区域找问题。比如1768年他第一次出巡，就是为了检查边境巴纳特地区的新定居点。当时奥地利和土耳其在东欧连年战争，很多新占领的土地荒无人烟，奥地利安排了不少新移民去开荒，想把沼泽改造成良田，但这里条件实在是恶劣，甚至可以把巴纳特说成欧洲宁古塔。当时他的队伍还不够精简，有十几辆马车，有些地方提前收到消息，就仓促盖了新房，等约瑟夫到村里的时候，发现村里的鸡都在屋顶上，因为新房上盖的稻草还没来得及脱粒，就被堆上了屋顶。但约瑟夫一路上还是看到了连片的贫穷村落，很多定居点位置不合理，而且开荒者不了解新的农业技术和品种，也缺乏药品，难以驯服沼泽地区，疟疾和饥饿仍在肆虐，有三分之一的移民撑不到最后。更糟的是，就算在当地最繁荣的城市，约瑟夫也见到了一批土匪和难民，这些人是玛丽亚皇后推行的“水推”政策的受害者。所谓水推，就是每年把维也纳城内“令人厌恶的人群”直接送去巴纳特。这些人包括乞丐、走私者、妓女、不愿给领主当苦力的农民等等，只要不受贵族们的欢迎，就有可能被“水推”去巴纳特，而到了那又没有任何的扶持，他们只能当土匪或者乞丐，要么在当地自生自灭，要么长途跋涉回到维也纳，侥幸不会被送回来。因此，约瑟夫很快就终止了水推，并在母后去世之后立刻公布了新的巴纳特移民计划，不但承诺给予宗教和信仰自由，还会提供土地和舒适的新房，农具以及牲畜，手工业者还可额外拿一笔购买工具的补贴，而且所有人在迁徙路上都有免费膳宿和车费。
类似的旅行还有1771年他在波希米亚和摩拉维亚的巡查，大约是现在的捷克地区，主要是为了调查饥荒和农奴制度。波希米亚曾经是帝国的摇钱树，能贡献全国40%的税收，但在残酷的农奴制度下，大多数农民和手工业者都处于极度贫困之中。不仅农奴们耕种土地的收成属于地主，在森林里捡到的橡子和菌子属于领主，连他们的后代也都属于领主，生下来就要准备给地主老爷们提供无偿苦力，没有时间耕种自己的田地。而没有地主的允许，他们不能随意买卖粮食，更不能自行搬家、结婚，可以说几乎干不了任何事。只要哪一年的收成稍差一些，面包价格就会迅速上涨，导致大批民众陷入饥荒，继而造成大规模的叛乱和起义。约瑟夫敏锐地察觉到，如果不妥善解决1771年的大饥荒，随之而来的大起义可能会是压垮帝国的最后一根稻草。约瑟夫不管大臣和母后的反对，遍访了饥荒地区，看望了饥饿的农民，挤满病人的济贫院和医院，亲眼看到了农奴被地主鞭打。当地的进步贵族告诉他，问题并不是没有面包，而是农民没钱，什么都买不起，而大多数的粮食都被地主们出口到了其他地区。返回维也纳后，他下令政府从匈牙利大规模收购粮食，送到波希米亚当救济粮，也颁布了粮食出口禁令来平抑物价，避免了骚乱的发生。但他搞清楚了，饥荒的根源不是农业耕种方式落后，而是农奴制，于是开始酝酿彻底废除农奴制，不过这个计划并没有那么顺利。
除了找问题，也有学习的旅行，这些旅行帮助他确定了长期的改革方向。比如1769年，他到意大利巡视，在意大利北部看见了繁荣的城市和乡镇，见识了当地先进的技术和思想，比如栩栩如生的人体解剖学模型，还有正在实验的天花疫苗，还有当地名流精英发行的杂志，他更加坚信教育的重要性，于是1774年在奥地利开始推行义务教育。他还认识到，想要改变这个庞大的帝国，“各方各面都必须服务于同一个目的，并由统一的中央指挥，不给偏好与自私任何机会，所有领土、所有部门、所有人、所有阶层都必须无一例外地通力合作，为实现共同利益的最大化而努力”。他必须绕开自私的贵族和领主们，让平民参与国家建设，这样才能建设一个统一、强大的现代国家。而为了实现这个目标，他开始推动在奥地利进行一次革命性的人口和住房普查。有了数字，就能了解每一处的状况，而且这也是推行新的征兵制度的契机：通过人口普查，以区划为单位登记能够服役的男子，让他们每年接受基本训练，其他时间仍然在农场和工场工作，建立起属于国家的常备军，实质上废除了贵族的军事特权。当然，在数字上每个人都是平等的，这也是启蒙原则的体现。以此为起点，约瑟夫把这当成对等级制的一次重要打击，开始在一个近乎分崩离析的旧制度之上，建立起有效的行政管理和统一的国家。
此外，他在旅行中还喜欢去“体验生活”，比如亲自去蹲监狱，给自己拴上铁链，又或者是跟农民一起犁地。总之，每到一处，约瑟夫都试图更加接近平民的生活。他嫁到意大利的妹妹评论说，约瑟夫是真正的慈爱，而不是像其他贵族一样装装样子。
可以说，微服私访的形式允许约瑟夫二世从下往上看待帝国政策的弊病，然后从上往下设计出新的解决方案。到1781年完全亲政时，约瑟夫已经到访过帝国内几乎所有领地，所有的方案都已经准备就绪，他甚至还通过新的外交政策再度扩大了帝国的范围，是“开明君主”的典范，欧洲到处都称他为“启蒙皇帝”。而等那个顽固保守的母亲去世后，似乎就再没有人能够阻止他的成功了。