he is at his office

一般来说“in”和“at”是可以互相替换的.但两者之间还是存在细微的差异：
1、“in”强调“在……里面”,有三维空间坐标的暗示.所以,“in his office”一般还有暗示他在办公室房间里面（在建筑物里面,屋顶下面）的含义；
2、“at”强调“在……这个位置上”、“在……这个点上”,一般可以理解为在二维地图上的某个点,不一定要在建筑物里面.所以,“at his office”,可以是在办公室里面,也可以是在办公室门口.
不过总的来说差异不大,还是根据上下文来体会具体的含义吧!