简单的说，集群（cluster）就是一组计算机，它们作为一个整体向用户提供一组网络资源。这些单个的计算机系统就是集群的节点（node）。一个理想的集群是，用户从来不会意识到集群系统底层的节点，在他/她们看来，集群是一个系统，而非多个计算机系统。并且集群系统的管理员可以随意增加和删改集群系统的节点。

集群并不是一个全新的概念，其实早在七十年代计算机厂商和研究机构就开始了对集群系统的研究和开发。由于主要用于科学工程计算，所以这些系统并不为大家所熟知。直到Linux集群的出现，集群的概念才得以广为传播。集群系统主要分为高可用(High Availability)集群,简称 HA 集群，和高性能计算(High Perfermance Computing)集群，简称 HPC 集群。

通过下面这篇文章我们可以方方面面了解 Linux 集群涉及的硬件和软件。

• Linux 集群大全 -- 哪种群集适合您？

回页首

一般我们把集群系统分为两类：

  
• 高可用(High Availability)集群,简称HA集群。这类集群致力于提供高度可靠的服务。

    
• 高性能计算(High Perfermance Computing)集群，简称HPC集群。这类集群致力于提供单个计算机所不能提供的强大的计算能力。
  
  

回页首

在 Linux 出现前，集群系统采用的操作系统主要有 VMS、UNIX 和 WindowsNT。到九十年代末期，Linux 操作系统不断走向成熟，它的健壮性不断增强，并且提供了 GNU 软件和标准化的 PVM、MPI 消息传递机制，最重要的是 Linux 在普通 PC 机上提供了对高性能网络的支持，这样就大大推动了基于 Linux 的集群系统的普及和发展。

• 基于 linux 的集群系统，第 1 部分：集群系统概述



• 基于 linux 的集群系统，第 2 部分：典型集群系统介绍之一  



• 基于 linux 的集群系统，第 3 部分：典型集群系统介绍之二
  



• 基于 linux 的集群系统，第 4 部分：典型系统小结及评测标准
  


• 基于 linux 的集群系统，第 5 部分：关键技术分析之 进程的放置和迁移
  



• 基于 linux 的集群系统，第 6 部分：关键技术分析之 高可用性



• 基于 linux 的集群系统，第 7 部分：关键技术分析之文件系统



• 基于 linux 的集群系统，第 8 部分：实现过程之理论先导篇(1)



• 基于 linux 的集群系统，第 9 部分：实现过程之理论先导篇(2)



• 基于 linux 的集群系统，第 10 部分：实现过程之理论先导篇(3)



• 基于 linux 的集群系统，第 11 部分：Linux集群系统的实现（上）


• 基于 linux 的集群系统，第 12 部分：Linux集群系统的实现（下）

回页首

Linux Virtual Server 项目针对高可伸缩、高可用网络服务的需求，给出了基于 IP 层和基于内容请求分发的负载平衡调度解决方法，并在 Linux 内核中实现了这些方法，将一组服务器构成一个实现可伸缩的、高可用网络服务的虚拟服务器。

我们可以通过 Linux 集群项目－－LVS(Linux Virtual Server) 的创始人和主要开发人员章文嵩博士来了解这一集群系统。

• Linux 服务器集群系统，第 1 部分：
  LVS 项目介绍


• Linux 服务器集群系统，第 2 部分：
  LVS 集群的体系结构


• Linux 服务器集群系统，第 3 部分：
  LVS 集群中的IP负载均衡技术


• Linux 服务器集群系统，第 4 部分：
  LVS 集群的负载调度

回页首

高性能计算(High-Performance Computing)是计算机科学的一个分支，它致力于开发超级计算机，研究并行算法和开发相关软件。高性能计算主要研究如下两类问题：1)   大规模科学问题，象天气预报、地形分析和生物制药等； 2) 存储和处理海量数据，象数据挖掘、图象处理和基因测序；

当论及 Linux 高性能集群时，许多人的第一反映就是 Beowulf。起初，Beowulf 只是一个著名的科学计算集群系统。以后的很多集群都采用 Beowulf 类似的架构，所以，实际上，现在 Beowulf 已经成为一类广为接受的高性能集群的类型。下面这系列文章就是围绕 Beowulf 展开的讨论。

• Linux 高性能计算集群，第 1 部分：概述



• Linux 高性能计算集群，第 2 部分：Beowulf 集群




• Linux 高性能计算集群，第 3 部分：硬件和网络体系结构



• Linux 高性能计算集群，第 4 部分：软件体系结构



• Linux 高性能计算集群，第 5 部分：资源管理和系统管理

IBM 研发的 Linux 集群 Cluster1350 是定位于高性能计算的一套解决方案，集成了众多 IBM 与非 IBM 的先进的软硬件技术，有其特有的技术优势与强大的服务支持。

  
• IBM Cluster 1350 与 CSM

回页首

MOSIX 是由 Jerusalem 的 Hebrew 大学开发的，它是一个软件管理层, 为 Linux 内核扩充了高性能集群计算支持能力。它采用单一系统映像模式 SSI(Single System Image)，支持所有的UNIX接口和机制，它最大特点是易使用性和透明性。

• 集群系统 MOSIX 分析，第 1 部分：
  集群技术和进程迁移简介



• 集群系统 MOSIX 分析，第 2 部分：
  MOSIX 系统简介



• 集群系统 MOSIX 分析，第 3 部分：
  MOSIX 代理远程机制



• 集群系统 MOSIX 分析，第 4 部分：
  MOSIX 连接层



• 集群系统 MOSIX 分析，第 5 部分：
  MOSIX 进程迁移机制



• 集群系统 MOSIX 分析，第 6 部分：
  MOSIX 对系统调用的处理



• 集群系统 MOSIX 分析，第 7 部分：
  MOSIX 对信号机制的处理

MOSIX 是一种特殊的透明形式的集群，它很容易建立并且只需投入最少的时间和精力就可产生积极结果。下面这篇教程可以指导您建立自己的 MOSIX 群集。

• 使用 Mosix 的 Linux 集群

回页首

如何搭建自己的 Linux 集群呢？ 这可能是大多数读者非常希望知道的。“安装大型 Linux 集群”系列文章介绍了如何构建基于 IBM® System x®(TM)和 IBM® TotalStorage® systems 的 Linux® 集群。

• 安装大型 Linux 集群，第 1 部分： 简介和硬件配置



• 安装大型 Linux 集群，第 2 部分： 配置管理服务器和安装节点


• 安装大型 Linux 集群，第 3 部分： 存储和共享文件系统


• 安装大型 Linux 集群，第 4 部分： 节点安装和 GPFS 集群配置
  

此外，我们可以选择许多开源软件来构建自己的集群系统。

• 使用 ClusterKnoppix 构建负载平衡集群



• 使用 coLinux 和 openMosix 构建异构集群


• Linux 上的集群及其配置实例

• 使用 Mosix 的 Linux 集群

回页首

  

• IBM eServer OpenPower 710 集群入门介绍

  
• IBM Cluster 1350 与 CSM ]]> http://narmy.cn/linux/read.php/87.htm lengyuex <lengyuex@gmail.com> Tue, 29 Sep 2009 02:43:51 +0000 http://narmy.cn/linux/read.php/87.htm IBM的 工程师这些文章写得太牛了，我真想全部copy过来。又有些懒，直接整个链接得了。哈哈。
  
  awk的精华文章：
  
  
    
  
  
  
  Awk 实例，第 1 部分 -- 一种名称很奇特的优秀语言介绍
  
  Awk 实例，第 2 部分 -- 记录、循环和数组
  Awk 实例，第 3 部分 -- 字符串函数和……支票簿？
  
  巧用 AWK 处理二进制数据文件
  
  sed精华篇：
  
  sed 实例，第 1 部分
  sed 实例，第 2 部分
  sed 实例，第 3 部分
  
  vi & emacs精华篇：
  vi 入门 -- 巧表单方法
  
  生活在 Emacs 中
  
  Emacs 编辑环境，第 7 部分: 让 Emacs 帮助您走出困境
  
  
  bash技巧精华篇：
  
  
  技巧: 了解文本实用程序
  使用 GNU 文本实用程序
  技巧: 用 uniq 除去重复行
  开发人员的笔记 -- 分享经验丰富的 Linux 程序员 Spence Murray 的开发技巧
  技巧: 用 tr 过滤文件
  
  Shell 脚本调试技术
  使用 Bash shell 脚本进行功能测试 ]]> http://narmy.cn/linux/read.php/86.htm lengyuex <lengyuex@gmail.com> Tue, 29 Sep 2009 01:26:57 +0000 http://narmy.cn/linux/read.php/86.htm
  
  #!/bin/bash
  #filename testarg.sh
  testfunc2()
  {
    echo "$# parameters"
    echo Using '$*'
    for p in $*
    do
      echo "[$p]"
    done
    echo Using '"$*"'
    for p in "$*"
    do
      echo "[$p]"
    done
    echo Using '$@'
    for p in "$@"
    do
      echo "[$p]"
    done
    echo Using '"$@"'
    for p in "$@"
    do
      echo "[$p]"
    done
  }
  
  
  
  
  
  [lengyuex@Tux testlab]$ source testarg.sh
  [lengyuex@Tux testlab]$ IFS="|${IFS}" testfunc2 abc "a bc" "1 2
  3"
  3 parameters
  Using $*
  [abc]
  [a]
  [bc]
  [1]
  [2]
  [3]
  Using "$*"
  [abc|a bc|1 2
  3]
  Using $@
  [abc]
  [a bc]
  [1 2
  3]
  Using "$@"
  [abc]
  [a bc]
  [1 2
  3]
  
  
  
  IFS 默认变量使用一个空格作为它的第一个字符，因此上面添加了一条竖线作为 IFS 变量的第一个字符，更加清楚地显示了在 “$*” 扩展中的何处使用这个字符。
  注意加引号的形式和包含空白（如空格字符和换行符）的参数。在一个 [] 字符对中，“$*” 扩展实际上是一个词。
  
  
  0, 1, 2, ...  位置参数从参数 0 开始。参数 0 引用启动 bash 的程序的名称，如果函数在 shell 脚本中运行，则引用 shell 脚本的名称。有关该参数的其他信息，比如 bash 由 -c 参数启动，请参阅 bash 手册页面。由单引号或双引号包围的字符串被作为一个参数进行传递，传递时会去掉引号。如果是双引号，则在调用函数之前将对 $HOME 之类的 shell 变量进行扩展。对于包含嵌入空白或其他字符（这些空白或字符可能对 shell 有特殊意义）的参数，需要使用单引号或双引号进行传递。
  *  位置参数从参数 1 开始。如果在双引号中进行扩展，则扩展就是一个词，由 IFS 特殊变量的第一个字符将参数分开，如果 IFS 为空，则没有间隔空格。IFS 的默认值是空白、制表符和换行符。如果没有设置 IFS，则使用空白作为分隔符（仅对默认 IFS 而言）。
  @  位置参数从参数 1 开始。如果在双引号中进行扩展，则每个参数都会成为一个词，因此 “$@” 与 “$1” “$2” 等效。如果参数有可能包含嵌入空白，那么您将需要使用这种形式。
  #  参数数量（不包含参数 0）。
  
  
  
  
  参数的精华之作：http://www.ibm.com/developerworks/cn/linux/l-bash-parameters.html
  ]]> http://narmy.cn/linux/read.php/84.htm lengyuex <lengyuex@gmail.com> Wed, 23 Sep 2009 12:35:14 +0000 http://narmy.cn/linux/read.php/84.htm oprofile 是 Linux 平台上，类似 INTEL VTune 的一个功能强大的性能分析工具。
  
  其支持两种采样(sampling)方式：基于事件的采样(event based)和基于时间的采样(time based)。
  基于事件的采样是oprofile只记录特定事件（比如L2 cache miss）的发生次数，当达到用户设定的定值时oprofile 就记录一下（采一个样）。这种方式需要CPU 内部有性能计数器(performace counter)。现代CPU内部一般都有性能计数器，龙芯2E内部亦内置了2个性能计数器。
  
  基于时间的采样是oprofile 借助OS 时钟中断的机制，每个时钟中断 oprofile 都会记录一次(采一次样）。引入的目的在于，提供对没有性能计数器 CPU 的支持。其精度相对于基于事件的采样要低。因为要借助 OS时钟中断的支持，对禁用中断的代码oprofile不能对其进行分析。
  
  oprofile 在Linux 上分两部分，一个是内核模块(oprofile.ko)，一个为用户空间的守护进程(oprofiled)。前者负责访问性能计数器或者注册基于时间采样的函数(使用register_timer_hook注册之，使时钟中断处理程序最后执行profile_tick 时可以访问之)，并采样置于内核的缓冲区内。后者在后台运行，负责从内核空间收集数据，写入文件。
  
  安装：
  
  
  [root@Tux ~]# yum list &#124;grep oprofile
  eclipse-oprofile.i586              0.2.0-2.fc11           @updates              
  oprofile.i586                      0.9.4-12.fc11          @updates              
  oprofile-devel.i586                0.9.4-12.fc11          @updates              
  oprofile-gui.i586                  0.9.4-12.fc11          @updates              
  oprofile-jit.i586                  0.9.4-12.fc11          @updates              
  oprofileui.i586                    0.2.0-3.fc11           @fedora              
  [root@Tux ~]# yum -y install oprofile*
  
  
  初始化：
  opcontrol --init
  
      该命令会加载oprofile.ko模块，mount oprofilefs。成功后会在/dev/oprofile/目录下导出一些文件和目录如： cpu_type, dump, enable, pointer_size, stats/
  
  
  [root@Tux ~]# opcontrol --init
  [root@Tux ~]# ls -F /dev/oprofile/
  0/  1/  backtrace_depth  buffer  buffer_size  buffer_watershed  cpu_buffer_size  cpu_type  dump  enable  pointer_size  stats/
  
  
  配置：
  主要设置计数事件和样本计数，以及计数的CPU模式（用户态、核心态）
    
      opcontrol --setup --event=EVENT:1000::0:1
  
      则是设置计数事件为EVENT，即对处理器时钟周期进行计数
      样本计数为1000，即每1000个时钟周期，oprofile 取样一次。
      处理器运行于核心态则不计数
      运行于用户态则计数
  
      --event=name:count:unitmask:kernel:user
  
      name:   event name, 这里event name可以通过#opcontrol --list-events查看。
      count:   reset counter value e.g. 100000
      unitmask: hardware unit mask e.g. 0x0f
      kernel:   whether to profile kernel: 0 or 1
      user:   whether to profile userspace: 0 or 1
  
  启动
  
      opcontrol --start
  取出数据
  
      opcontrol --dump
      opcontrol --stop
  分析结果
  
      opreport -l ./binary_file
  
  
  
  要想看到例子，请看IBM牛人的文章：http://www.ibm.com/developerworks/cn/linux/l-pow-oprofile/ ]]>