只能简单地讲一下，本人对于linux kernel运行的实际情况也是一知半解，不敢胡说，只能讲讲软件安装的一点东西，下面讲错的还请兄弟们指正。
在linux内核的外面包着一个外壳──shell，用户通过shell来和linux kernel进行交互。要注意的是，shell也是一个程序，而且是一个提供交互界面的程序，也就是说它能够接受用户键入的命令，并且处理命令。对于各种发行版而言，有不同的shell程序，一般有bash，csh等等。linux默认使用bash。关于shell的知识，你可以看看shell版的精华贴。
就软件的安装而言，首先要理解在linux下所有的东西都是以“文件”的形式表示的，那些可以运行的程序有2种，一种是脚本文件，脚本文件由解释程序执行，一般有shell脚本、perl脚本、python脚本等等。另一种是二进制文件，也就是经过编译器编译、联接形成的只有0和1组成的文件（计算机只运行0和1组成的程序），c、java等程序都是这种程序。总之，所有的东西都是以“文件”的形式存在。因此，只要某个程序所需要的全部“文件”都存在于正确的位置上，那么这个程序就可以运行。（这个现象在windows下是不全部适用的，如果你复制某个缺少的文件到windows的系统目录，并不一定能使你需要的程序运行起来。）对程序而言，还有一些是以纯文本形式存在的配置文件，用户可以通过定制配置文件来控制程序的运行结果等等。
因此，linux下安装程序其实是一个很简单的过程。第一种方法，是用编译源代码的方式安装，在gentoo中这种方式接触的最多。它是在本地进行编译，然后把编译好的文件安放到正确的位置上。