陈志伟博客 » 搜索引擎

Linux内核基本结构

zhiwei — Sat, 11 Dec 2010 06:30:21 +0000

Linux内核是Linux操作系统的核心，它负责管理系统的进程、内存、设备驱动程序、文件和网络系统，决定着系统的性能和稳定性。Linux的一个重要的特点就是其源代码的公开性，所有的内核源程序都可以在/usr/src/linux目录下找到，大部分应用软件也都是遵循GPL而设计的。

Linux核心源程序通常都安装在/usr/src/linux目录下，都是一个稳定地发行的核心，而任何奇数核心源程序的文件按树形结构进行组织，在源程序树的最上层。目录/usr/src/linux下有这样一些目录和文件。

2. CREDITS：光荣榜。对Linux做出过很大贡献的一些人的信息。

3. MAINTAINERS：维护人员列表，当前版本的内核各部分都由谁负责。

4. Makefile：用来组织内核的各模块，记录了模块间的相互联系和依托关系，编译时使用；仔细阅读各子目录下的Makefile文件对弄清各文件之间的联系和依托关系很有帮助。

5. README：核心及其编译配置方法的简单介绍。

6. Rules.make：各种Makefile文件的make程序所使用的一些共同规则。

7. REPORTING-BUGS：有关报告Bug的一些内容。

8. arch/：arch子目录包括了所有和体系结构相关的核心代码。它的每一个子目录都代表一种支持的体系结构，例如i386就是关于Intel CPU及与之相兼容体系结构的子目录。PC一般都基于此目录，在2.6版本以后，增加了arm目录。

9. include/：include子目录包括编译核心所需要的大部分头文件。与平台无关的头文件在include/linux子目录下，与Intel CPU相关的头文件在include/asm-i386子目录下，而include/scsi目录则是有关SCSI设备的头文件目录。

10. init/：这个目录包含核心的初始化代码（注：不是系统的引导代码），包含两个文件main.c和Version.c，是研究核心如何工作的好的起点之一。

11. mm/：这个目录包括所有独立于CPU体系结构的内存管理代码，如页式存储管理内存的分配和释放等；而和体系结构相关的内存管理代码则位于arch/*/mm/目录下，例如 arch/i386/mm/Fault.c。

12. kernel/：主要的核心代码，此目录下的文件实现了大多数Linux系统的内核函数，其中最重要的文件当属sched.c；同样，和体系结构相关的代码则位于 arch/*/kernel中。

13. drivers/：放置系统所有的设备驱动程序；每种驱动程序又各占用一个子目录，如/block下为块设备驱动程序，比如ide（ide.c）。如果希望查看所有可能包含文件系统的设备是如何初始化的，可以查看drivers/block/genhd.c中的device_setup()。它不仅初始化硬盘，也初始化网络，因为安装NFS文件系统的时候需要网络。

14. Documentation/：文档目录，没有内核代码，只是一套有用的文档。

15. fs/：所有的文件系统代码和各种类型的文件操作代码，它的每一个子目录支持一个文件系统，例如fat和ext。

16. ipc/：这个目录包含核心的进程间通信的代码。

17. lib/：放置核心的库代码。

18. net/：核心与网络相关的代码。

19. modules/：模块文件目录，是个空目录，用于存放编译时产生的模块目标文件。

20. scripts/：描述文件、脚本，用于对核心的配置

另外，在每个目录下一般都有一个Makefile和README文件。不同的Linux发行版的内核代码也有微小差别，以上是大部分Linux系统的内核代码目录文件。

相关日志

关于操作系统

zhiwei — Thu, 09 Dec 2010 01:30:15 +0000

操作系统(OS,Operating System)是配置在计算机硬件上的第一层软件，是对硬件系统的首次扩充。操作系统是对计算机系统硬件资源与软件资源进行管理的程序，属于系统软件。操作系统是计算机系统的基础，没有操作系统的计算机将很难让普通用户使用。

操作系统的作用：

1.操作系统是用户与计算机硬件系统之间的接口：操作系统处于用户与计算机硬件系统之间，用户通过操作系统来使用计算机系统。

2.操作系统是计算机系统资源的管理者：一个计算机系统中通常都含有各种各样的硬件和软件资源，归纳起来可将资源分为四类，处理器、存储器、I/O设备以及信息(数据和程序)。操作系统就是对这四类资源进行管理的。

3.操作系统实现了对计算机资源的抽象：计算机的四类资源我们都不能直接来管理，操作系统把这四类资源抽象出来，让它们变成我们可以看的懂的文字符号，进而对其进行管理。

操作系统的基本特性：

1.并发性：并发性是操作系统最重要的特性。说到并发性，我们首先要区分两个概念，并行性与并发性。并行性是指两个或多个事件在同一时刻发生；而并发性是指两个或多个事件在同一时间间隔内发生。

2.共享性：在操作系统环境下的共享是指系统中的资源可供内存中多个并发执行的进程(线程)共同使用，相应地，把这种资源共同使用称为资源共享，也可称作资源复用。

3.虚拟技术：虚拟是通过某种技术把一个物理实体变为若干个逻辑上的对应物。物理实体是实际存在的，而逻辑对应物是虚的，仅是我们感觉上的东西。用于实现虚拟的技术就称为虚拟技术。

4.异步性：进程在获得所需资源后才能运行，如进程A可能所需的资源包含是I/O设备，则进程A的执行会相当的慢，此时再进入内存一个只进行计算的进程B，那么进程B可能会先于进程A执行完成，这样，很可能是先进入内存的作业后完成而后进入内存的作业先完成。进程是以人们不可预知的速度向前推进，这就是进程的异步性。(注：在内存中正在执行的程序叫称为作业)

操作系统的主要功能：

1.处理机管理功能：处理机主要负责创建和撤消进程(线程)，对各个进程(线程)的运行进行协调，实现进程(线程)之间的信息交换。

2.存储器管理功能：存储器管理主要任务是为多道程序运行提供良好的环境，存储器管理有内存分配、内存保护、地址映射和内存扩充。

内存分配的主要任务是为每道程序分配内存空间，使用它们“各得其所”；提高存储器的利用率，减少不可用的内存空间；允许正在运行的程序申请附加的内存空间，以适应程序和数据动态增长的需要。
内存保护的主要任务是确保每道用户程序都只在自己的内存空间内运行，彼此互不干扰；绝不允许用户程序访问操作系统的程序和数据；也不允许用户程序转移到非共享的其他用户程序内存空间中去执行。
地址映射是将地址空间中的逻辑地址转换为内存空间中与之对应的物理地址。(源程序经编译后生成若干个目标程序，这些目标程序再经过链接便形成了可装入程序。这些程序的地址都是从“0”开始的，程序中的其他地址都是相对于起始地址计算的，这些地址形成的地址范围称为“地址空间”，其中的地址称为“逻辑地址”或“相对地址”。这样，在多道程序环境下，每道程序不可能都从“0”地址开始装入内存，这就使得地址空间的逻辑地址与内存空间的物理地址不一致，为使程序正确运行存储器管理必须提供地址映射功能，用来将地址空间中的逻辑地址转换为内存空间中与之对应的物理地址。)
内存扩充是从逻辑上去扩充内存容量进而使得更多的用户程序并发执行。

3.设备管理功能：设备管理用于管理计算机系统中所有的外围设备，其主要任务是完成用户进程提出的I/O请求；为用户进程分配其所需的I/O设备；提高CPU和I/O设备的利用率。

4.文件管理功能：计算机系统是把程序和数据以文件的形式存储在磁盘上供用户使用。文件管理的主要任务是对用户文件和系统文件进行管理，以方便用户使用，并保证文件的安全性。

相关日志

Linux内核代码中的Makefile文件

zhiwei — Sat, 04 Dec 2010 02:01:29 +0000

Makefile文件是make工具程序的信息文件，使用make时需要Makefile文件，Makefile文件定义了一系列的规则来指定，哪些文件需要先编译，哪些文件需要后编译，哪些文件需要重新编译，甚至于进行更复杂的功能操作。

Makefile文件简介

Makefile文件是make工具程序的配置文件。make工具程序的主要用途是能自动地决定一个含有很多源程序文件的大型程序中哪个文件需要被重新编译。Makefile的使用比较复杂，这里只作简要介绍。

为了使用make程序，用户就需要makefile文件来告诉make要做些什么工作。通常，makefile文件会告诉make如何编译和连接一个文件。当明确指出时，makefile文件还可以告诉make运行各位命令（如，作为清理操作而删除某些文件）。

make的执行过程分为两个不同阶段。在第一阶段，它读取所在的makefile文件以及包含的makefile文件等，记录所在的变更及其值、隐式的或显式的规则，并构造出所有目标对象及其先决条件的一幅全景图。在第二阶段期间，make就使用这些内部结构来确定哪个目标对象需要被重建，并且使用相应的规则来操作。

当make重新编译程序时，每个修改过的C语言代码文件必须被重新编译。如果一个头文件被修改过了，那么包含该头文件的文件也必须重新编译以保证生成的目标文件是最近的。Makefile文件有很多规则，这里就不做过多介绍。

Makefile文件功能

Makefile文件相当于程序编译过程中的批处理文件。是工具程序make运行时的输入数据文件。只要含有Makefile的当前目录中键入make命令，它就会依据Makefile文件中的设置对源程序或目标代码文件进行编译、链接或进行安装等活动。

make工具程序有自动地确定一个大程序系统中的哪些程序文件需要被重新编译，并发出命令对这些程序文件进行编译。在使用make之前，需要编写 Makefile信息文件，该文件描述了整个程序包中各程序之间的关系，并针对每个需要更新的文件给出具体的控制命令。通常，执行程序根据其目标文件进行更新的，而这些上档文件则是由编译程序创建的。一旦编写好一个合适的Makefile文件，那么在你每次修改过程序系统中的某些源代码文件后，执行 make命令就能进行所有必要的重新编译工作。make程序是使用Makefile数据文件和代码文件的最后修改时间（last- modification time）来确定哪些文件需要进行更新，对于每一个需要更新的文件它会根据Makefile中的信息发出相应的命令。在Makefile文件中，开头为 “#”的行是注释行。

Linux内核源码中的Makefile文件

Linux内核源码中的Makefile文件的主要功能是指示make程序最终使用独立编译连接成的tools/目录中的build执行程序将所有内核编译代码连接和合并成一个可运行的内核映像文件image。具体是对boot/bootsect.s、boot/setup.s使用8086汇编器进行编译，分别生成各自的执行模块。再对源代码中的其他所有程序使用GNU的编译器gcc/gas进行编译并连接成模块system，再用build工具将这三块组合成一个内核映像文件image。

注：节选自《Linux内核完全注释》，有改动。

相关日志

Linux内核体系结构

zhiwei — Wed, 01 Dec 2010 09:00:19 +0000

Linux内核的主要用途就是为了与计算机硬件进行交互，实现对硬件部件的编程控制和接口操作，调度对硬件资源的访问，并为计算机上用户程序提供一个高级的执行环境和对硬件的虚拟接口。

Linux内核模式

操作系统内核的结构模式主要可分为整体式的单内核模式和层次式的微内核模式。而Linux内核使用的则是单内核模式，其内核代码结构紧凑、执行速度快，但是层次性不强。

单内核模式的系统所提供的服务流程为：应用程序使用指定的参数值执行系统调用指令（int x80），使用CPU从用户态（User Mode）切换到核心态（Kernel Mode），然后操作系统根据具体的参数值调用服务程序，而这些服务程序则根据需要再调用底层的一些支持函数以完成特定的功能。在完成了应用程序所要求的服务后，操作系统切换到用户态，返回到应用程序中继续执行后面的命令。概要地讲，单内核模式的内核可以粗略地分为三个层次：调用服务的主程序层、执行系统调用的服务层和支持系统调用的底层函数。

Linux内核的模块

Linux内核主要由5个模块构成，它们分别是：进程调度模块、内存管理模块、文件系统模块、进程间通信模块和网络接口模块。进程调度模块用来负责控制进程对CPU资源的使用，所采取的调度策略是各进程能够公开合理地访问CPU，同时保证内核及时地执行硬件操作。内存管理模块用于确保所有进程能够安全地共享机器主内存区，同时，内存管理模块还支持虚拟内存管理方式，使得Linux支持进程使用比实际内存空间更多的内存容量。文件系统模块用于支持对外部设备的驱动和存储。虚拟文件系统模块通过向所有的外部存储设备提供一个通用的文件接口，隐藏了各种硬件设备的不同细节。从而提供并支持与其他操作系统兼容的多种文件系统格式。进程间通信模块子系统用于支持多种进程间的信息交换方式。内核接口模块提供对多种网络通信标准的访问并支持许多网络硬件。

Linux内核进程控制

程序是一个可执行的文件，而进程（process）是一个执行中的程序实例。在Linux操作系统上同时可以执行多个进程。内核程序使用进程标识号（process ID,pid）来标识每个进程。进程由可执行的指令代码、数据和堆栈区组成。进程中的代码和数据部分分别对应一个执行文件中的代码段、数据段。每个进程只能执行自己的代码和访问自己的数据及堆栈区。进程之间相互通信需要通过系统调用来进行。

Linux系统中，一个进程可以在内核态（Kernel Mode）或用户态（UserMode）下执行，因此，linux内核栈和用户栈是分开的。用户栈用于进程在用户态下临时保存调用函数的参数、局部变量等数据。内核栈则含有内核程序执行函数调用时的信息。

当进程正在被CPU执行时，被称为处于执行状态（running）。当进程正在等待系统中的资源而处于等待状态时，则称其处于睡眠等待状态。在Linux系统中，可分为可中断的和不可中断的等待状态。当系统资源已经可用时，进程就被唤醒而进入准备运行状态，该状态称为就绪状态。当进程已经停止运行，但其父进程还没有询问其状态时，则称该进程处于僵死状态。当进程被终止时，称其处于停止状态。

只有当进程从“内核运行态”转移到“睡眠状态”时，内核才会进行进程切换操作。在内核态下运行的进程不能被其他进程抢占，而且一个进程不能改变另一个进程的状态。为了避免进程切换时造成内核数据错误，内核在执行临界区代码时会禁止一切中断。

Linux内核对内存的使用方法
为了有效地使用系统的物理内存，内存被划分成几个功能区域

其中，linux内核程序占据物理内存的开始部分，接下来是用供硬盘或软盘等块设备使用的高速缓冲区部分。当一个进程需要读取块设备中的数据时，系统会首先将数据读到高速缓冲区中；当有数据需要写到块设备上去时，系统也是先将数据放到调整缓冲区中，然后由块设备驱动程序写到设备上。最后部分是供所有程序可以随时申请使用的主内存部分。内核程序在使用主内存区时，也同样要首先向内核的内存管理模块提出申请，在申请成功后方能使用。对于含有RAM虚拟盘的系统，主内存区头部还要划去一部分，供虚拟盘存放数据。

注：节选自《linux内核完全注释》，有改动。

相关日志

GAE for Java 试用手记

zhiwei — Wed, 22 Jul 2009 11:20:11 +0000

暑假没回，在学校里做项目，于是忙里偷闲学着做了个GAE小应用，我在两个月前就申请试用GAE for Java了，并且也通过了，一直想写个匿名发送邮件的GAE程序，一直都没能如愿，不过我用两个简单的jsp页面和google的自定义搜索做了个自己网站的搜索引擎，里面能搜索到我几个站点的信息。

下面我就介绍下怎么使用GAE for Java：
1.首先，你得有个GAE帐户号，即web-search.appspot.com中的第一个字段web-search。怎么申请我就不多说了，网上有N多方法。

2.进入到这个页面来安装运行环境：http://code.google.com/appengine/docs/java/gettingstarted/installing.html
这里我给出我用的两个程序的下载地址：
JDK1.6下载地址: http://www.java.net/download/jdk6/6u10/promoted/b32/binaries/jdk-6u10-rc2-bin-b32-windows-i586-p-12_sep_2008.exe
eclipse3.4.2: http://mirror.bjtu.edu.cn/eclipse/eclipse/downloads/drops/R-3.4.2-200902111700/eclipse-SDK-3.4.2-win32.zip
当然了，你也要根据官方给出的最新版本来作参考。

3.先安装JDK，再安装eclipse。打开eclipse，点击下图中的help->Software Updates,再在新窗口中选择Available Software选项卡，点击最右边的Add Site会出现下图，然后输入http://dl.google.com/eclipse/plugin/3.4 点击确定，然后再窗口中会多出一行，Google Update Site for eclipse 3.4 选中然后再点击窗口右上角的Install按钮。接着安装，安装完后新建一个Web Application Project，输入项目名和包名，然后把Use Google Web Toolkit去掉,单击OK。

4.这样一个完整的GAE for Java项目就算是创建好了。不过这个项目可能会不支持JSP文件，如果不支持JSP文件，你就按以下操作，在eclipse下进入 Window->Preferences->java->Installed JREs，如果出现一个JRE的话，就单击它，并选edit,添加路径时要选择JDK下的jre,我的JDK安装在了这里C:\Program Files\Java\jdk1.6.0_10\jre，选这个路径，然后finish。好了，这时你的GAE项目已经支持JSP文件了。

5.接着，你就可以写自己的GAE for Java小应用了。我写了个简单的搜索我博客的应用：http://so.chenzhiwei.cn/ 有兴趣的话，你还可以写很应用，比如BLog，Chatting Room之类的应用。

相关日志

百度与我的域名

zhiwei — Fri, 29 May 2009 03:55:19 +0000

今天看了一个我的网站统计数据，发现百度上的一个关键词“石家庄志伟设计”，我怎么想也想不到自己网站上会出现这个关键词，打开百度一看才知道，我的这个域名的标题www.zhiwei.net.cn成了“石家庄志伟平面设计工作室”，很无奈，我的这个域名是转发到blog.chenzhiwei.cn上面的，根本没有什么内容。也不知道百度是怎么弄的，怎么会弄成这样呢，很无奈。如图所示。

相关日志

体验google的GAE服务

zhiwei — Thu, 30 Apr 2009 07:32:23 +0000

google appengine 我早在去年十月份就申请了，就是不知道怎么使用，今天突然来感觉了，想用用GAE，于是就在网上看了一天的文章，现在对这个GAE算是了解了一些，同时也放上了这个博客程序，徐明写的，很不错的一个博客程序。
但是在使用中我发现了个问题，我申请这个appengine的帐户不能使用他。如下：
google 帐户与 google apps 不通用导致了我无法使用appengine。因为我是用google apps（企业套件）申请的google appengine，而相应的博客程序是用google帐户来管理的。。这个问题相当严重呀，我不得把又申请了个Gmail然后将Gmail帐户加入到 developer行列里，这样我才能使用博客程序。。。。这个问题是不是很让人无奈呀。。。

其实，有个问题我一直都在思考。我注册了个 google apps ，然后又用google apps 的邮箱注册了个google account，我现在同时使用着google的analytics，adsense，blogger，feedburder，reader等，我每次在这几个产品与邮箱之前切换时都会输入一下google企业邮局邮箱密码，虽然比较麻烦，但我还能应付得了。今天下午我遇到的这个问题实在是不能忍受了，放在appengine上面的程序居然不能用创建appengine的人使用，是不是有些令人费解呀。希望google能够早日打通google企业套件与 google帐户，让拥有企业套件邮箱的人直接就能使用google帐户。
下面这个是我的GAE：http://web.chenzhiwei.cn 欢迎大家访问，有问题大家可以一起讨论。。。

相关日志

Google Adsense已经申请成功

zhiwei — Mon, 27 Apr 2009 23:23:19 +0000

        等了两天,在昨天下午终于等到Adsense发来的邮件了,说是adsense申请通过了.于是我就迫不及待的在blogger的页角上放置了一段广告,现在已经可以了,但我能adsense还是不够了解,到底怎么个计费法还是不明白。不管这么多了，先放上广告再说其他的。
        昨天我的博客又不能访问了，国外主机老是出问题，得考虑一下换成国内的。我现在用了是一个网友提供的CPanel空间（www.pcliver.cn），网速还行，就是最近这段时间老是出问题，很让人无奈。昨天我和他们聊天，他们给我说准备更换新的主机，希望新的主机比现在的这个好吧。今天早上，一起床，我就打开的博客，在Adsense上找到了个合适的代码放在了博客的最下边，位置不显眼，我看看效果怎么样吧，如果好的话，我再考虑将广告移动支显眼的地方。
        现在有个问题不知道怎么解决：我以前申请使用过google analytics，不过我把google帐户给删除了，analytics一直都还存在，我开通了adsense之后又重新使用了analytics，但是现在不能用，老是出错。不知道怎么回事，很无奈，我的google帐户里也不显示analytics，现在真是搞晕了。。

相关日志

关于百度联盟与Google adsense

关于百度联盟与Google adsense

zhiwei — Sun, 26 Apr 2009 07:40:21 +0000

        百度联盟与google adsense是国内使用最多、最早的二个网站广告联盟，目前绝大部分个人网站都是使用这二个联盟来从事网赚。百度和google都是大站、名站，都能给站长(发布商)足够信任感。
        经常见到很多网站都有百度联盟或者是Google adsense的广告，我自己最烦广告了，因此我用Firefox浏览器，因为FF浏览器的一个Adblocker插件可以屏蔽大部分互联网上的广告，对于那些ads by google, ads by alimama, 还有百度主题推广的广告都能很有效的屏蔽，感觉很实用。现在的互联网，广告真是那个N多呀，到处到能见到广告，一个好好的网站在最显眼的位置放上一片广告跟牛皮癣似的，很让人受不了。
        最近我很想体验一下百度联盟和Google adsense，于是我就申请了个adsense，现在还没有通过，明天应该就出结果了。至于百度联盟，我还没申请，我的网站现在访问量这么少，况且是国外空间还没有备案，想申请百度联盟真是和登天差不多。我等一段时间自己的主机放到国内时，再备案完之后再说注册百度联盟的事，现在要做的就是先把Adsense给拿下。我申请adsense时候让写的自己的地址，没有让写银行卡号，好像是等自己adsense帐户上的钱达到100美元时会结算一次，真的感到很无奈，不知道什么时候帐户上才能会有100美元，现在的钱很难挣的。
        我博客的访问量这么少，如果申请下adsense可能也不会挣到多少钱，全当时体验一下吧。
        最近发生在我身边的一系列事情很让我伤心。XX学院XX系的一群XX人做的一系列XX事，真是那个XX呀。。。我都不知道该怎么说好。我现在对XX学院XX系很反感，它们把我仅存的对于XX学院XX系的那一点点信心也剥夺了。

相关日志

Google Adsense已经申请成功

有道也出网页翻译了

zhiwei — Fri, 10 Apr 2009 05:32:36 +0000

继Google网页翻译之后，有道也出网页翻译了。搜索引擎来网页翻译确实是个不错的想法。我拿自己的博客测试了一下，感觉还行，不过也有些BUG，刚推出的产品有点小BUG也是很正常的，相信有道以后会慢慢改进的。顺便说一下，上次给有道阅读发了个反馈意见，很快他们就给我回复了，向我询问具体的内容，我就给他们说了下，有道阅读抓取的文章反应没有Google Reader快，还有就是有道阅读的翻墙术也不如Google。点击这里快速访问有道网页翻译 http://fanyi.youdao.com/ 。

作为百度的FANS，我希望百度也能尽快推出网页翻译，这也是必须的，因为百度要国际化是少不了网页翻译的。现在我发现自己越来越不了解百度了，他到底想做什么，怎么做？百度HI的UI那么难看，很多人都给他们提意见，他们就是不改进，如果百度HI也能像百度贴吧改版那样，很快就恢复了旧版该有多好呀。最近百度HI的新版中也加入了活跃度与积分，我想百度就是想用这东西来扩大一下百度HI的使用人数吧，不过这样本人觉得并不能带来多好的效果，并且我感觉这种行为和QQ没有太大差别。总体上来讲我还是喜欢百度，百度HI的，希望百度HI能在新版中把用户界面给改过来，换回原来的那种。

相关日志

百度Hi出企业版了，印证百度“商道”