敏捷 Web 开发实践

理论上最简单的安装模式：

$ sudo easy_install pySvnManager
Searching for pySvnManager
Reading http://pypi.python.org/simple/pySvnManager/
Reading https://sourceforge.net/projects/pysvnmanager

理论上很简单的东西，却奈何不了复杂的现实：

在项目刚刚开发完成，就出现了相当长一段时间的 SourceForge.net 无法访问！ 导致 easy_install 为了搜索最新版本，在连接到 http://pysvnmanager.sourceforge.net 时发生了死锁而阻塞。 虽然我打算把项目移到别处，但发现一些依赖的包如: python-ldap 也是要访问 SourceForge.net 网站。因此我取消了搬家的打算，耐心且无助的等待解封。 同时将代码镜像在网址：http://svn.worldhello.net/svn/pysvnmanager 上，供不能访问 http://pysvnmanager.sourceforge.net 的用户参考。

如果遇到阻塞，则需要花费更多的时间，手工下载软件包。easy_install 也可以安装已经下载到本地的软件包。

$ wget http://pypi.python.org/packages/source/p/pySvnManager/pySvnManager... 
$ sudo easy_install pySvnManager-... 

	PySvnManager 的软件包有两种格式。一种是二进制的格式：pysvnmanager-xxx.egg， 另外一种是源码包 pysvnmanager-xxx.tar.gz。 二进制包，是针对特定的 Python 版本编译的，如果您当前的 Python 版本和二进制包的版本不符， 就必须从源码包开始安装过程。无论源码包还是二进制的 Egg 包，都可以方便的使用 easy_install 进行安装。

执行 make-config 和 setup-app 完成部署。部署过程的细节参见后面软件集成的相关内容。

$ mkdir deploy
$ cd deploy
$ paster make-config pySvnManager config.ini
Distribution already installed:
pySvnManager 0.1.2dev-r9 from /home/jiangxin/pyenv/lib/python2.5/site-packages/pySvnManager-0.1.2dev_r9-py2.5.egg
Creating config.ini
Now you should edit the config files
config.ini
$ paster setup-app config.ini
Running setup_config() from pysvnmanager.websetup

部署目录下的四个配置文件：

启动应用，自动开启Web服务于5000端口。用Web浏览器访问。推荐使用 Firefox。

$ paster serve config.ini
Starting server in PID 28937.
serving on 0.0.0.0:5000 view at http://127.0.0.1:5000 

参见演示网站：http://demo.ossxp.com/svnadmin/

Subversion 的授权机制，可能存在互相冲突的策略，导致用户权限的设置可能并不符合预期。 可以通过“权限检查”的功能对用户权限进行检查。参见： 图 1 “用户权限测试功能”

图 1. 用户权限测试功能

管理员可以用图形界面对用户帐号进行角色管理，可以对版本库的授权进行设置。参见： 图 2 “路径授权设置功能”

图 2. 路径授权设置功能

PySvnManager 还提供的版本库创建和删除（仅限空版本库）， 以及版本库钩子脚本的设置界面。参见： 图 3 “版本库创建及钩子脚本扩展”

图 3. 版本库创建及钩子脚本扩展

下面将整个开发过程进行概要的介绍，展示如何用 Python 进行敏捷的 Web 开发。

首先为我们的模型起个名字：svnauthz。

Subversion路径授权中，用户对象（用户/别名/组）显然是最重要的基本单位， 每一条授权策略都包含一个用户对象。那么我们第一个迭代就实现用户对象： User 类，Alias 类， Group 类。

假设 svnauthz 的 User, Alias, Group 类已经完成， 我们期望他们实现的功能是什么呢？于是在纸上写下假想任务目标（模拟python交互式命令行）：

>>> from svnauthz import User, Group, Alias
>>> user1=User('Tom')
>>> user2=User("Jerry")
>>> print user1
Tom # 显示 user1 内容（字符串化）

>>> alias1=Alias('admin')
>>> alias1.user = user1
>>> print alias1
admin = Tom # 显示 alias1 内容（字符串化）

>>> group1 = Group('team1')
>>> group2 = Group('team2')
>>> group1.append(group2, user2, alias1, user1)
>>> print group1
team1 = &admin, @team2, Jerry, Tom # group1 的成员列表要进行排序
>>> group2.append(group1, user1)
Exception: ... # 抛出异常! group1 引起了组间的循环引用
>>> group2.append(group1, user1, autodrop=True)
>>> print group2
team2 = Tom # 使用 autodrop 参数，自动抛弃冲突的组成员，而不引发异常。（即容错性）

将假想的任务目标翻译为测试用例。建立单元测试文件 test_svnauthz.py 如下：

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import unittest
from svnauthz import *

class TestStage1(unittest.TestCase):

    def testUser(self):
        user1 = User('Tom')
        self.assert_(str(user1) == 'Tom')
    
    def testAlias(self):
        user1 = User('Tom')
        alias1=Alias('admin')
        alias1.user = user1
        self.assert_(str(alias1) == 'admin = Tom', str(alias1))
    
    def testGroup(self):
        user1 = User('Tom')
        user2 = User('Jerry')
        alias1=Alias('admin')
        alias1.user = user1
        group1 = Group('team1')
        group2 = Group('team2')
        group1.append(group2, user2, alias1, user1)
        self.assert_(str(group1) == 'team1 = &admin, @team2, Jerry, Tom')
        self.assertRaises(Exception, group2.append, group1, user1)
        group2.append(group1, user1, autodrop=True)
        self.assert_(str(group2) == 'team2 = Tom')

if __name__ == '__main__': unittest.main()

执行测试用例：

$ python test_svnauthz.py
Traceback (most recent call last):
  File "test_svnauthz.py", line 8, in <module>
    from svnauthz import *
ImportError: No module named svnauthz

测试失败！不要紧，因为我们还没有写代码呢。

之前执行测试用例失败，报告：找不到 svnauthz 模组。因为模组还没有创建，当然找不到了。 于是创建一个空的模组文件 svnauthz.py。

$ touch svnauthz.py

执行测试用例：

$ python test_svnauthz.py
EEE
======================================================================
ERROR: testAlias (__main__.TestStage1)
----------------------------------------------------------------------
Traceback (most recent call last):
File "test_svnauthz.py", line 17, in testAlias
user1 = User('Tom')
NameError: global name 'User' is not defined
...

太棒了，我们前进了一步，因为失败的原因已经不同了。错误报告说： User类未定义。于是我们写一些代码， 让测试用例通过。

svnauthz.py 第一个版本的代码如下：

1 #!/usr/bin/env python
2 # -*- coding: utf-8 -*-
3 
4 """Subversion authz config file management.
5 
6 Basic classes used for Subversion authz management.
7 """
8 
9 class User(object):
10 
11     def __init__(self, name):
12         name = name.strip()
13 
14         if not name:
15             raise Exception, 'Username is not provided'
16 
17         self.__name = name
18 
19     def __str__(self):
20         return self.__name

再次执行测试用例：

$ python test_svnauthz.py -v
testAlias (__main__.TestStage1) ... ERROR
testGroup (__main__.TestStage1) ... ERROR
testUser (__main__.TestStage1) ... ok

======================================================================
ERROR: testAlias (__main__.TestStage1)
----------------------------------------------------------------------
Traceback (most recent call last):
File "test_svnauthz.py", line 18, in testAlias
alias1=Alias('admin')
NameError: global name 'Alias' is not defined
...

好的，我们已经有一个测试用例（testUser）通过了！ 其他的测试用例呢？先把他们注释掉，以便提前感受一下完全通过测试的滋味。

注意：我所说的注释掉不是删除代码，也不是把每一行变为注释， 而是非常简单的将暂不考虑的测试用例改名。

	注：只要不是以 test 开头都好。

再次执行测试用例，太棒了完全通过！

$ python test_svnauthz.py -v
testUser (__main__.TestStage1) ... ok

----------------------------------------------------------------------
Ran 1 test in 0.000s

OK

检查代码覆盖度，在 Python 下有 coverage 包可用。 用 easy_install 安装之后， 就可以使用 coverage 命令了。

$ coverage -x test_svnauthz.py
.
----------------------------------------------------------------------
Ran 1 test in 0.001s

OK
$ ls .coverage
.coverage
$ coverage -r -m svnauthz.py
Name       Stmts   Exec  Cover   Missing
----------------------------------------
svnauthz       8      7    87%   15

哦，看来我们离完美还是差了一点。从 coverage 的输出中可以看出，我们的测试用例并没有对 svnauthz.py 的代码测试完全：第15行没有测试到。也就是用空的用户名创建 User 对象，应该抛出异常。

我们在 testUser 用例的最后补充一条断言：

def testUser(self):
    user1 = User('Tom')
    self.assert_(str(user1) == 'Tom')
    self.assertRaises(Exception, User, " ")

再次检查一下测试用例对代码的覆盖度。哇，100% 通过！

$ coverage -x test_svnauthz.py
.
----------------------------------------------------------------------
Ran 1 test in 0.002s

OK
$ coverage -r -m svnauthz.py
Name       Stmts   Exec  Cover   Missing
----------------------------------------
svnauthz       8      8   100%

目前来讲，代码和测试用例共存于同一个目录。我们重构一下，将模组代码放在 src 目录，将测试用例放在 tests 目录。

执行测试用例：

$ python tests/test_svnauthz.py
Traceback (most recent call last):
  File "tests/test_svnauthz.py", line 8, in <module>
    from svnauthz import *
ImportError: No module named svnauthz

在 test_svnauthz.py 文件头增加如下语句， 设置 Python 模组查询路径：

import sys
sys.path.insert(0,'src')

测试用例又可以成功执行了。

目录 tests 下如果有多个测试用例文件， 难道要一个一个去调用么？或者用 unittest.TestSuite 去组织测试用例？其实不用这么麻烦，nosetests 可以自动发现目录下的测试用例，并执行。

鼻子测试（nosetests）是一个主动发现测试用例的 unittest 扩展。可以用 easy_install 来安装:

$ easy_install nose
$ nosetests
.
----------------------------------------------------------------------
Ran 1 test in 0.008s

OK

代码覆盖度测试

$ nosetests --with-coverage --cover-package=svnauthz
.
Name       Stmts   Exec  Cover   Missing
----------------------------------------
svnauthz       8      8   100%
----------------------------------------------------------------------
Ran 1 test in 0.030s

OK

下面用命令创建控制器 check，会产生两个文件，一个是控制器文件本身： controllers/check.py，另外一个是单元测试文件： tests/functional/test_check.py。

$ paster controller check
Creating /home/jiangxin/pyenv/pySvnManager/pysvnmanager/controllers/check.py
Creating /home/jiangxin/pyenv/pySvnManager/pysvnmanager/tests/functional/test_check.py

用浏览器访问URL：http://127.0.0.1:5000/check/ 会看到Hello World。 我们追根溯源，会看到 controllers/check.py 中的代码：

class CheckController(BaseController):

    def index(self):
        return 'Hello World'

哦，原来如此。Pylons 已经将 URL到代码的映射搞定！就是将浏览器对 URL 的访问映射到控制器代码，再由控制器处理后将结果显示给浏览器。 控制器调用实现逻辑（即Model），然后把从Model获取的结果填充到模板（View）中， 于是 MVC 便实现了逻辑和展现分离。Pylons 框架实现的将URL映射到控制器代码， 和 Windows 下 VC/Delphi 等GUI编程中将事件（鼠标、按钮等）映射到对应的代码是多么的近似。

还记得我们已经删除了 public/index.html 文件么？ 我们现在通过修改控制器映射，将 Web 应用的缺省首页指向我们新建立的 controller。 要修改的文件就是： config/routing.py

18     map.connect('/error/{action}', controller='error')
19     map.connect('/error/{action}/{id}', controller='error')
20
21     # CUSTOM ROUTES HERE
22     map.connect('/', controller='check', action='index')
23
24     map.connect('/{controller}')
25     map.connect('/{controller}/{action}')
26     map.connect('/{controller}/{action}/{id}')

第22行是我们新增的，告诉Pylons，将缺省的主页定位到名为 check 的控制器的 index 方法（动作）。

我们打开浏览器访问 http://127.0.0.1:5000/ 会自动定位到 http://127.0.0.1:5000/check/index 。

把我们已经开发完毕的 svnauthz 模组及其单元测试放到 pySvnManager 的代码树中，因为 svnauthz 和 pySvnManager 的耦合很紧，没有必要单独维护 svnauthz 模组。

pySvnManager/model 目录是放置模组的地方， 将 svnauthz 的模组放在该目录下。

至于单元测试用例，则应该拷贝到 pysvnmanager/tests 目录下。该目录下有文件 test_models.py，就是用于测试模组的。 我们可以用 test_svnauthz.py 覆盖 空文件 test_models.py ，并在该文件中设置 Python 包含路径， 以便能成功包含要测试的模组：

1 #!/usr/bin/env python
2 # -*- coding: utf-8 -*-
… 
20 import os
21 import sys
22 sys.path.insert(0,os.path.dirname(os.path.dirname(os.path.dirname(os.path.abspath(__file__)))))
23
24 from pysvnmanager.tests import *
25 from pysvnmanager import model
26 from pysvnmanager.model.svnauthz import *

实验一下 nosetests 是否依然可靠运行。

$ nosetests
.............
----------------------------------------------------------------------
Ran 13 tests in 0.546s

OK

Check页面的布局参见：图 5 “控制器check的MVC框架示意图”

图 5. 控制器check的MVC框架示意图

各个部分的含义为：

	其中：③和⑤是动态内容，②和④会触发表单提交。

Pylons缺省使用mako格式的模板。mako文件相当于ASP,PHP,JSP, 不过是Python语言的。模板文件的主体依旧是HTML，可以在模板中用“<% %>” 语法嵌入Python代码。例如：

<%
userlist = [[u'请选择...', '...'],
            [u'所有用户（含匿名）', '*'],
            [u'注册用户', '$authenticated'],
            [u'匿名用户', '$anonymous'],]
for i in c.userlist:
    if i == '*' or i =='$authenticated' or i == '$anonymous':
        continue
    if i[0] == '@':
        userlist.append([u'团队:'+i[1:], i])
    elif i[0] == '&':
        userlist.append([u'别名:'+i[1:], i])
    else:
        userlist.append([i, i])

reposlist = [[u'请选择...', '...'], [u'所有版本库', '*'], [u'缺省', '/'],]
for i in c.reposlist:
    if i == '/':
        continue
    reposlist.append([i, i])

pathlist = [[u'所有路径...', '*'],]
for i in c.pathlist:
    pathlist.append([i, i])
%>

可以用“${expression}”将页面Python代码的或者Controller 传递的变量/表达式的值直接嵌入到模板中输出。例如：

<input type="radio" name="reposinput" value="select" 
       ${c.checked_reposinput_select}> 选择代码库
  <select name="reposselector" size="0" onFocus="select_repos(this.form)">
    ${h.options_for_select(reposlist, c.selected_repos)}
  </select>

class CheckController(BaseController):
    
    def __init__(self):
        self.authz = SvnAuthz(cfg.authz_file)
        c.reposlist = map(lambda x:x.name, self.authz.reposlist)
        c.userlist = map(lambda x:x.uname, self.authz.grouplist)
        c.userlist.extend(map(lambda x:x.uname, self.authz.aliaslist))
        c.userlist.extend(map(lambda x:x.uname, self.authz.userlist))
        c.pathlist = []
    
    def index(self):
        return render('/check/index.mako')

class CheckController(BaseController):
    ...
    def submit(self):
        d=request.params
        # 从 request.params 中获取用户名、版本库名、路径等
        if d['reposinput'] == 'manual':
            repos = d['reposname']
        else:
            repos = d['reposselector']
        # 略去参数解析
        ...
        # 通过上下文对象传递Model返回值
        c.access_map_msg ="<pre>"
        c.access_map_msg+="\n\n".join(self.authz.get_access_map_msgs(username, repos))
        c.access_map_msg+="</pre>"
        # 调用并返回填充后的视图模板
        return render('/check/index.mako')

Prototype是一个JavaScript框架，可以更加容易的使用AJAX实现动态Web。 Pylons内置了prototype脚本。如果想要启用Pylons自带prototype 的JavaScript框架，只要在模板中嵌入如下WebHelpers语句：

<html>
  <head>
    ${h.javascript_include_tag(builtins=True)}

实际上会在页面中产生下面两个JavaScrip包含语句：

    <script src="/javascripts/prototype.js" type="text/javascript"></script> 
    <script src="/javascripts/scriptaculous.js" type="text/javascript"></script>

from routes import url_for, redirect_to
from webhelpers.html import escape, HTML, literal, url_escape
from webhelpers.html.tags import *
from webhelpers.rails.prototype import link_to_remote, form_remote_tag
from webhelpers.rails.scriptaculous import visual_effect
from webhelpers.rails.asset_tag import javascript_include_tag, stylesheet_link_tag

改造之后的CGI（controller的action）不再返回整个页面， 而是返回局部的需要动态更新的内容，或者是返回一段数据供页面中的 JavaScript解析使用。

需要把原来返回一个整个页面的CGI(一个controller的一个方法)改造成多个CGI （多个方法）以针对不同情况返回不同的动态内容。

例如：pySvnManager的check控制器的submit方法实际上要处理两种情况： 一个是当选定一个版本库时要更新页面中的路径列表项（因为不同的版本库定义了不同的授权路径）， 另外一个是按下“检查权限”按钮要进行的表单提交，显示用户授权信息。 将check控制器的submit方法改造为AJAX实现，就需要一分为二。

页面要动态更新的内容封装在一个DOM容器中；

页面提交修改为执行一个JavaScript函数，该函数调用Ajax.Updater或者Ajax.Request函数；

当点击权限检查（④）按钮，原来的实现是直接进行表单的提交， 修改之后为执行一段JavaScript代码。

文件 check/index.mako 中用WebHelpers.rails的form_remote_tag 快速创建了一个Ajax Form。

## AJAX Form
<%
  context.write( 
      h.form_remote_tag(
          html={'id':'main_form'}, 
          url=h.url(action='access_map'), 
          update=dict(success="acl_msg", failure="acl_error"), 
          method='post', before='showNoticesPopup()',
          complete='hideNoticesPopup();'+h.visual_effect("Highlight", "acl_msg", duration=1),
      )
  )
%>

出现在页面中，则是如下的代码：

<form action="/check/access_map" id="main_form" method="POST" onsubmit="showNoticesPopup(); 
      new Ajax.Updater({success:'acl_msg', failure:'acl_error'}, '/check/access_map', 
        {asynchronous:true, evalScripts:true, method:'post', onComplete:function(request) 
          {hideNoticesPopup(); new Effect.Highlight(&quot;acl_msg&quot;,{duration:1}); }, 
          parameters:Form.serialize(this)}); 
      return false;">

说明

当从版本库下拉框(②)选择时，将触发更新授权路径的列表(③)。 原来的实现是提交整个表单并刷新整个页面，用AJAX改造后， 只更新授权路径的列表(③)部分。

虽然也可以用Ajax.Updater来更新整个授权路径列表，但为了演示另外一种Ajax处理方式， 以及获得更少的带宽占用和更快的响应，使用Ajax.Request来实现。

版本库下拉框(②)更新时，执行JavaScript函数：update_path()，而非提交表单：

<input type="radio" name="reposinput" value="select" Checked onClick="update_path(this.form)">

函数update_path()，执行Ajax.Request，从"get_auth_path"这个action获取信息， 并用返回值(request.reponseText)为参数调用JavaScript函数ajax_update_path。

function update_path(form)
{
    var repos = "";
    if (form.reposinput[0].checked) {
        repos = form.reposselector.options[form.reposselector.selectedIndex].value;
    } else {
        repos = form.reposname.value;
    }
    var params = {repos:repos};
    showNoticesPopup();
    new Ajax.Request(
        '${h.url_for(controller="check", action="get_auth_path")}', 
        {asynchronous:true, evalScripts:true, method:'post',
            onComplete:
                function(request) 
                { hideNoticesPopup();
                  ajax_update_path(request.responseText);},
            parameters:params
        });
}

函数ajax_update_path()，解析参数code，更新授权路径的下拉列表框。 本例非常简单，直接将参数(code)当作JavaScript代码并执行(eval函数)， 这是因为Ajax.Request获取到的内容是字符串格式的JavaScript代码。 最终这些JavaScript代码在函数ajax_update_path中被执行， 并用相应的数据更新了授权路径的列表(③)。

function ajax_update_path(code)
{
    var id = new Array();
    var name = new Array();
    var total = 0;
    
    pathselector = document.forms[0].pathselector;
    lastselect = pathselector.value;
    pathselector.options.length = 0;
    
    try {
        eval(code);
        for (var i=0; i < total; i++)
            {
                pathselector.options[i] = new Option(name[i], id[i]);
                if (id[i]==lastselect)
                pathselector.options[i].selected = true;
            }
    }
    catch(exception) {
      alert(exception);
    }
}

在setup.cfg文件中，对nosetests进行设置。可以设置采用不同的pylons配置文件。

[nosetests]
verbose=True
verbosity=2
with-pylons=test.ini # 使用test.ini作为pylons的配置文件
detailed-errors=1
#with-doctest=1      # 不进行 doctest测试，因为依赖的confobj包的doctest不通过

res = self.app.get(url_for(controller='check')) 
assert res.status == 200 
assert '''<input type="submit" name="submit" value='Check Permissions'>''' in res.body 
assert res.c.reposlist == ['/', u'repos1', u'repos2', u'repos3', u'document']

params = {
         'userinput':'select', 
         'userselector':'user1',
         'reposinput':'select', 
         'reposselector':'repos1',
         'pathinput':'manual',
         'pathname':'/trunk/src/test',
         'abbr':'True',
         }
res = self.app.get(url_for(controller='check', action='access_map'), params)
assert res.status == 200
assert '''<div id='acl_path_msg'>[repos1:/trunk/src/test] user1 =</div>''' in res.body, res.body