月度归档:2013年06月

C#下的异步编程及其同步机制

 前几天公司内部有人搞了一个关于多线程及其同步问题的讲座,内容很丰富,覆盖面很广,让人听了大呼过瘾。他采取了横向铺陈的方法讲的,罗列了C#下异步编程方法和模式及各种同步机制,这种讲述方式对于熟悉这块的人来说总结一下,帮助很大,但对于新手有可能就云里雾里了。虽然我研究不深,但纵向讲一下这一块内容,对新手入门有可能会有所帮助,也算是自己对这块内容的一种总结。只讨论技术,不涉及细节和Demo。

    本篇文章涵盖一下几部分内容:

    1. 什么是异步编程,为什么会需要异步编程

    2. .NET下的异步编程及其发展

    3. .NET线程同步机制及线程间数据封送

    4. 异步模式

    5. 线程安全及异常处理

    6. 线程取消

什么是异步编程,为什么会需要异步编程

           这个世界上资源是受限的。但资源限制和懒惰一样促进了工业和科技的发展。在计算机方面举个例子,计算机非得是二进制吗?对计算机来说二进制最好吗?不是,这是由于当时工业水平限制,把电压分成两份表示0和1比分成三份更加方便且可靠;虚拟内存管理,Cache等技术都是由当时硬件条件所限逼出来的技术,同样异步编程和分布式编程也是。生活中的好多事物都不是线性的,拿学生时代的一个常见的例子说一下,明天开学,海量作业一点没写,于是找个同学作业抄一下,但在短时间内一个人很难抄得完,于是我花钱请了几个同学一起抄,把一份工作分给几个人去做,这就是异步了。但除去笔迹不同这么做没有一个人抄安全,有可能哥几个把一份内容重复抄了好几遍(线程安全),这期间万一笔,纸,橡皮没准备充分还得有一个资源争用,死锁的问题(同步的问题),哥几个抄得时候还会相互报一下各自进度(线程间数据封送),所以说这么干是有风险的我们就得有个机制避免这种风险的发生,异步编程和这个类似。

          那在编程中异步会用在什么地方呢?一个简单情形,图形界面程序,后台如果要连接数据库查询或写入海量数据或者进行I/O操作,界面会“假死”。之所以发生这种情况是这些处理都在UI线程中,这些操作占用UI线程时,任何拖动UI,点击按钮等操作都得不到及时响应。解决的方法是将这些需要长时间的操作放入一个新的线程异步操作,把UI线程解放出来。其它的应用比如海量数据计算,服务器响应客户端请求等等。

.NET下的异步编程及其发展

         首先说明一点,线程可以分为前台线程和后台线程。前台线程和吸血鬼差不多很恐怖,要想干死进程,就必须把所有的前台进程都干掉,UI线程就是前台线程。而后台线程就是二房生的儿子了,进程消亡后紧跟着死掉了,很明显的后台线程就是Word的拼写检查,或者outlook负责跟服务器同步更新邮件的线程。

        任何平台和编程语言都会有多线程的实现机制和方法。对于C#来讲Thread类就是创建线程,管理线程的一种最初始的手段。但是创建和销毁一个线程是很耗费资源的,而且创建的线程越多,线程间切换就越频繁(计算机CPU个数受限),线程切换也要耗费资源和时间,再加上线程管理是一件很费心的事,所以微软就引入了线程池的概念。线程池是一个先进先出FIFO的队列,程序员只需要把操作或者任务丢给线程池,让.NET framework替程序员管理线程,线程复用等,极大的简化了开发。这里就有一个控制线程池内线程数量的问题。线程池内的线程肯定得根据需要动态变化,但适应这种需要的算法是什么呢?

          一个简单的算法:往线程池中增加一些线程,观察线程池的吞吐量,如果增加后吞吐量增加,说明线程不够,需要增加线程。但这存在一个问题,对于一个很大的任务需要长时间占用线程,增加线程并不能增加吞吐量,此时如果增加线程会加重负担。所以在CLR v4时引入了本地队列(Local  Queue)的概念,如果一个线程内创建了另一个线程,新创建的线程不再丢给全局队列,而是给本地队列排队等候调用。这就又有个问题,如果一个队列内任务执行完了,而另一个队列还有好多怎么办?那就让执行完任务的本地队列从该队列上“偷“一个线程执行。这样达到负载均衡。当然线程池的算法会随着CLR版本升级而不断演进,更加智能的管理线程。对普通开发者而言可以不用考虑这些细节,无缝的体验线程池带来的便利和效率就行了。                   

       线程池如此方便,我们怎么使用线程池呢?可以通过以下几种方式:

  • 通过类方法ThreadPool.QueueUserWorkItem直接调用。
  • 通过.net Framework 4.0 引入的TPL(Task Parallel Library)任务并行库。

         TPL中最主要的两个类是Task和Parallel。而新版C++标准中也引入了类似的概念parallel_for, parallel_foreach, parallel_invoke等。

         详细信息见以下链接。

  • 通过异步委托(BeginInvoke/EndInvoke)调用。
  • 通过BackgroundWorker, BackgroundWorker是WinForm, WPF下的一个控件,主要用于提供UI控件下的协作式取消,进度报告等。

点击查看原图

        这里我还要讲一下PFX(Parallel FrameWork)。PFX从概念上可以分为数据并行和任务并行。

上层的由两个结构化数据并行APIs组成:PLINQ和Parallel类。而底层的任务并行包含了Task 类和一系列的附属结构用于帮助并行编程。注意PFX是建立在线程池之上的,是更好使用线程池的一种途径,有说法说是用TPL比直接使用线程池效率更高。关于PLINQ,Task,Parallel类及上图所列结构的使用请参考一下链接。

NET线程同步机制及线程间数据封送

        首先.Net的同步机制是干什么的?概况来讲是为了安全。同步机制的存在是因为异步操作是不安全的,会带来一系列的问题,这些问题在第一章节中已经讨论过了。而线程间数据封送和COM与.Net framework数据封送一样,是为了线程间数据和状态的传递。

那么.net的同步机制有哪些呢?概括一下:

  1.   简单的锁定方法:Thead类的Sleep, Join等以及Task的Wait方法。
  2.   基于对象的锁定:

                 lock(Monitor.Enter/Monitor.Exit):首先强调一下它不可以跨进程间线程同步。一般跨进间线程同步都有一个特征,就是同步对象都有名字。

                 Mutex和Semophore(slim):这两个都可以跨进程同步,两者的区别在于:Mutex只能有一等待资源,而Semophore可以有多个。拿厕所举例,Mutex相当于厕所中只有一个蹲位,只能一个上了才能上另一个,而Semophore可以有多个蹲位,可以让多个线程同时阻塞一个线程的执行。就是n个哥们一起蹲着,又来一哥们,然后这n个哥们就占着那啥不那啥。

                 Reade/Writer 锁。

     3.基于信号

                事件等待句柄AutoResetEvent, ManualResetEvent(Slim):注意这两个也是允许跨进程的,两者用法差不多,使一个线程释放一个信号从而使得其他线程能够执行。

                CountdownEvent(4.0被引入):这个和上边用法正好相反,它使得一个线程等待收到其他线程的信号后再执行。

                Barrier

                Wait and pulse

     4. 非阻塞的同步结构

                Thread.MemoryBarrier

                Thread.VolatileRead/Write

                Interlocaked   

  关于以上同步机制具体应用和Demo代码请参考以下链接。

  而关于线程间数据封送,一个很好的例子就是点击button后开始在新线程中执行某个操作,但执行过程需要在一个label上显示出来,这时候就需要把新线程内表示执行状态的数据对象封送回UI线程。这部分内容可以参考我以前写的一篇帖子:http://www.cnblogs.com/salomon/archive/2012/06/28/2567339.html。                        

异步模式

    什么需要异步模式?所谓模式,其实是一种方法,就跟上篇博客里所讲的,是从工程实践中总结出来的解决相似或特定问题的一种惯用手段。常见的异步模式包括:

      APM模式: BeginXXX/EndXXX, IAsyncResult

      EAP模式(基于事件的异步模式)

           Windows Form

           MethodNameAsync

           Event

     TAP(基于任务的异步模式)

           MethodNameAsync

           Task/Task<Result>

     这部分内容以下链接讲得很好了,感兴趣可以看一下。更详尽的介绍去MSDN或者官方网站上去找相似的文档。

线程安全及异常处理

   新线程中抛出的异常会不会自动封送到主线程中?如何处理新线程中抛出的异常?什么是线程安全?怎样做到线程安全?

线程取消

   正在执行的线程怎么能不能取消,怎么取消合适?暴力取消?协作式取消?

C#5.0新的异步模式Async和await关键字

   请参考我以前的博客:http://www.cnblogs.com/salomon/archive/2012/06/27/2565862.html

 

     后几章内容实在写不下去了,先提出问题,以后再补上吧。另外关于讲座PPT视频的内容,不知道原作者是否乐意分享,征得他本人同意后我会附上链接。

References

http://www.albahari.com/threading/(详尽的C#线程介绍)

http://www.danielmoth.com/Blog/New-And-Improved-CLR-4-Thread-Pool-Engine.aspx(线程池介绍)

http://www.codeproject.com/Articles/152765/Task-Parallel-Library-1-of-n(TPL的介绍)

http://www.cnblogs.com/scy251147/archive/2012/03/03/2378477.html(异步模式介绍)

http://www.codeproject.com/Articles/80825/Concurrency-Runtime-in-Visual-C-2010(C++中的并行库)

http://www.cnblogs.com/yuyijq/archive/2011/02/20/1958925.html

http://www.cnblogs.com/yuyijq/archive/2011/02/22/1960273.html

http://www.cnblogs.com/Zhouyongh/archive/2009/08/31/1557126.html

http://www.cnblogs.com/zhouyongh/archive/2011/01/12/1933414.html

http://www.cnblogs.com/salomon/archive/2012/07/26/2610548.html

linux chkconfig 启动顺序

1)redhat的启动方式和执行次序是: 

加载内核 执行init程序 
/etc/rc.d/rc.sysinit          # 由init执行的第一个脚本 
/etc/rc.d/rc $RUNLEVEL  # $RUNLEVEL为缺省的运行模式 
/etc/rc.d/rc.local             #相应级别服务启动之后、在执行该文件(其实也可以把需要执行的命令写到该文件中) /sbin/mingetty # 等待用户登录
在Redhat中,/etc/rc.d/rc.sysinit主要做在各个运行模式中相同的初始化工作,包括: 调入keymap以及系统字体 启动swapping 设置主机名 设置NIS域名 
检查(fsck)并mount文件系统打开quota 装载声卡模块设置系统时钟等等。 
/etc/rc.d/rc则根据其参数指定的运行模式(运行级别,你在inittab文件中可以设置)来执行相应目录下的脚本。
凡是以Kxx开头的 ,都以stop为参数来调用;凡是以Sxx开头的,都以start为参数来调用。

调用的顺序按xx 从小到大来执行。
(其中xx是数字、表示的是启动顺序)例如,假设缺省的运行模式是3,/etc/rc.d/rc就会按上述方式调用 
/etc/rc.d/rc3.d/下的脚本。 
值得一提的是,Redhat中的运行模式2、3、5都把/etc/rc.d/rc.local做为初始化脚本中 
的最后一个,所以用户可以自己在这个文件中添加一些需要在其他初始化工作之后,登录之前执行的命令。 init在等待/etc/rc.d/rc执行完毕之后(因为在/etc/inittab中/etc/rc.d/rc的 
action是wait),将在指定的各个虚拟终端上运行/sbin/mingetty,等待用户的登录。 至此,LINUX的启动结束。 

2)init运行级别及指令 一、什么是INIT: 
init是Linux系统操作中不可缺少的程序之一。 
所谓的init进程,它是一个由内核启动的用户级进程。 
内核自行启动(已经被载入内存,开始运行,并已初始化所有的设备驱动程序和数据结构等)之后,就通过启动一个用户级程序init的方式,完成引导进程。所以,init始终是第一个进程(其进程编号始终为1)。 
内核会在过去曾使用过init的几个地方查找它,它的正确位置(对Linux系统来说)是/sbin/init。如果内核找不到init,它就会试着运行/bin/sh,如果运行失败,系统的启动也会失败。 
二、运行级别
那么,到底什么是运行级呢? 
简单的说,运行级就是操作系统当前正在运行的功能级别。

这个级别从1到6 ,具有不同的功能。 不同的运行级定义如下 
# 0 -停机(千万不能把initdefault 设置为0 ) 
# 1 -单用户模式 # s init s = init 1 
# 2 -多用户,没有 NFS 
# 3 -完全多用户模式(标准的运行级) 
# 4 -没有用到 
# 5 -X11 多用户图形模式(xwindow) 
# 6 -重新启动 (千万不要把initdefault 设置为6 ) 
这些级别在/etc/inittab 文件里指定。
这个文件是init 程序寻找的主要文件,最先运行的服务是放
在/etc/rc.d 目录下的文件。
在大多数的Linux 发行版本中,启动脚本都是位于 /etc/rc.d/init.d中的。
这些脚本被用ln 命令连接到 /etc/rc.d/rcn.d 目录。(这里的n 就是运行级0-6) 3):
---------------------------

chkconfig命令主要用来更新(启动或停止)和查询系统服务的运行级信息。谨记chkconfig不是立即自动禁止或激活一个服务,它只是简单的改变了符号连接。

使用语法:
chkconfig [--add][--del][--list][系统服务] 或 chkconfig [--level <等级代号>][系统服务][on/off/reset]

chkconfig在没有参数运行时,显示用法。如果加上服务名,那么就检查这个服务是否在当前运行级启动。如果是,返回true,否则返回false。如果在服务名后面指定了on,off或者reset,那么chkconfi 会改变指定服务的启动信息。on和off分别指服务被启动和停止,reset指重置服务的启动信息,无论有问题的初始化脚本指定了什么。on和off开关,系统默认只对运行级3,4,5有效,但是reset可以对所有运行级有效。

参数用法:
   --add  增加所指定的系统服务,让chkconfig指令得以管理它,并同时在系统启动的叙述文件内增加相关数据。
   --del  删除所指定的系统服务,不再由chkconfig指令管理,并同时在系统启动的叙述文件内删除相关数据。
   --level<等级代号>  指定读系统服务要在哪一个执行等级中开启或关毕。
      等级0表示:表示关机
      等级1表示:单用户模式
      等级2表示:无网络连接的多用户命令行模式
      等级3表示:有网络连接的多用户命令行模式
      等级4表示:不可用
      等级5表示:带图形界面的多用户模式
      等级6表示:重新启动
      需要说明的是,level选项可以指定要查看的运行级而不一定是当前运行级。对于每个运行级,只能有一个启动脚本或者停止脚本。当切换运行级时,init不会重新启动已经启动的服务,也不会再次去停止已经停止的服务。

    chkconfig --list [name]:显示所有运行级系统服务的运行状态信息(on或off)。如果指定了name,那么只显示指定的服务在不同运行级的状态。
    chkconfig --add name:增加一项新的服务。chkconfig确保每个运行级有一项启动(S)或者杀死(K)入口。如有缺少,则会从缺省的init脚本自动建立。
    chkconfig --del name:删除服务,并把相关符号连接从/etc/rc[0-6].d删除。
    chkconfig [--level levels] name:设置某一服务在指定的运行级是被启动,停止还是重置。

运行级文件:
每个被chkconfig管理的服务需要在对应的init.d下的脚本加上两行或者更多行的注释。第一行告诉chkconfig缺省启动的运行级以及启动和停止的优先级。如果某服务缺省不在任何运行级启动,那么使用 - 代替运行级。第二行对服务进行描述,可以用\ 跨行注释。
例如,random.init包含三行:
# chkconfig: 2345 20 80
# description: Saves and restores system entropy pool for \
# higher quality random number generation.

使用范例:
chkconfig --list        #列出所有的系统服务
chkconfig --add httpd        #增加httpd服务
chkconfig --del httpd        #删除httpd服务
chkconfig --level httpd 2345 on        #设置httpd在运行级别为2、3、4、5的情况下都是on(开启)的状态
chkconfig --list        #列出系统所有的服务启动情况
chkconfig --list mysqld        #列出mysqld服务设置情况
chkconfig --level 35 mysqld on        #设定mysqld在等级3和5为开机运行服务,--level 35表示操作只在等级3和5执行,on表示启动,off表示关闭
chkconfig mysqld on        #设定mysqld在各等级为on,“各等级”包括2、3、4、5等级

如何增加一个服务:
1.服务脚本必须存放在/etc/ini.d/目录下;
2.chkconfig --add servicename
    在chkconfig工具服务列表中增加此服务,此时服务会被在/etc/rc.d/rcN.d中赋予K/S入口了;
3.chkconfig --level 35 mysqld on
    修改服务的默认启动等级。