V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
lzjun
V2EX  ›  Python

理解 Python 装饰器就看这一篇

  •  7
     
  •   lzjun ·
    lzjun567 · 2017-01-17 14:01:41 +08:00 · 8171 次点击
    这是一个创建于 2865 天前的主题,其中的信息可能已经有所发展或是发生改变。

    讲 Python 装饰器前,我想先举个例子,虽有点污,但跟装饰器这个话题很贴切。

    每个人都有的内裤主要功能是用来遮羞,但是到了冬天它没法为我们防风御寒,咋办?我们想到的一个办法就是把内裤改造一下,让它变得更厚更长,这样一来,它不仅有遮羞功能,还能提供保暖,不过有个问题,这个内裤被我们改造成了长裤后,虽然还有遮羞功能,但本质上它不再是一条真正的内裤了。于是聪明的人们发明长裤,在不影响内裤的前提下,直接把长裤套在了内裤外面,这样内裤还是内裤,有了长裤后宝宝再也不冷了。装饰器就像我们这里说的长裤,在不影响内裤作用的前提下,给我们的身子提供了保暖的功效。

    谈装饰器前,还要先要明白一件事, Python 中的函数和 Java 、 C++不太一样, Python 中的函数可以像普通变量一样当做参数传递给另外一个函数,例如:

    def foo():
    	print("foo")
    
    def bar(func):
    	func()
    
    bar(foo)
    
    

    正式回到我们的主题。装饰器本质上是一个 Python 函数或类,它可以让其他函数或类在不需要做任何代码修改的前提下增加额外功能,装饰器的返回值也是一个函数 /类对象。它经常用于有切面需求的场景,比如:插入日志、性能测试、事务处理、缓存、权限校验等场景,装饰器是解决这类问题的绝佳设计。有了装饰器,我们就可以抽离出大量与函数功能本身无关的雷同代码到装饰器中并继续重用。概括的讲,装饰器的作用就是为已经存在的对象添加额外的功能。

    先来看一个简单例子,虽然实际代码可能比这复杂很多:

    def foo():
    	print('i am foo')
    

    现在有一个新的需求,希望可以记录下函数的执行日志,于是在代码中添加日志代码:

    def foo():
        print('i am foo')
        logging.info("foo is running")
    

    如果函数 bar()、 bar2() 也有类似的需求,怎么做?再写一个 logging 在 bar 函数里?这样就造成大量雷同的代码,为了减少重复写代码,我们可以这样做,重新定义一个新的函数:专门处理日志 ,日志处理完之后再执行真正的业务代码

    def use_logging(func):
        logging.warn("%s is running" % func.__name__)
        func()
     
    def foo():
        print('i am foo')
     
    use_logging(foo)
    

    这样做逻辑上是没问题的,功能是实现了,但是我们调用的时候不再是调用真正的业务逻辑 foo 函数,而是换成了 use_logging 函数,这就破坏了原有的代码结构, 现在我们不得不每次都要把原来的那个 foo 函数作为参数传递给 use_logging 函数,那么有没有更好的方式的呢?当然有,答案就是装饰器。

    简单装饰器

    def use_logging(func):
    
        def wrapper():
            logging.warn("%s is running" % func.__name__)
            return func()   # 把 foo 当做参数传递进来时,执行 func()就相当于执行 foo()
        return wrapper
     
    def foo():
        print('i am foo')
     
    foo = use_logging(foo)  # 因为装饰器 use_logging(foo) 返回的时函数对象 wrapper ,这条语句相当于  foo = wrapper
    foo()					# 执行 foo()就相当于执行 wrapper()
    

    use_logging 就是一个装饰器,它一个普通的函数,它把执行真正业务逻辑的函数 func 包裹在其中,看起来像 foo 被 use_logging 装饰了一样, use_logging 返回的也是一个函数,这个函数的名字叫 wrapper 。在这个例子中,函数进入和退出时 ,被称为一个横切面,这种编程方式被称为面向切面的编程。

    @ 语法糖

    如果你接触 Python 有一段时间了的话,想必你对 @ 符号一定不陌生了,没错 @ 符号就是装饰器的语法糖,它放在函数开始定义的地方,这样就可以省略最后一步再次赋值的操作。

    def use_logging(func):
    
        def wrapper():
            logging.warn("%s is running" % func.__name__)
            return func()
        return wrapper
    
    @use_logging
    def foo():
        print("i am foo")
    
    foo()
    

    如上所示,有了 @ ,我们就可以省去foo = use_logging(foo)这一句了,直接调用 foo() 即可得到想要的结果。你们看到了没有, foo() 函数不需要做任何修改,只需在定义的地方加上装饰器,调用的时候还是和以前一样,如果我们有其他的类似函数,我们可以继续调用装饰器来修饰函数,而不用重复修改函数或者增加新的封装。这样,我们就提高了程序的可重复利用性,并增加了程序的可读性。

    装饰器在 Python 使用如此方便都要归因于 Python 的函数能像普通的对象一样能作为参数传递给其他函数,可以被赋值给其他变量,可以作为返回值,可以被定义在另外一个函数内。

    *args 、**kwargs

    可能有人问,如果我的业务逻辑函数 foo 需要参数怎么办?比如:

    def foo(name):
    	print("i am %s" % name)
    

    我们可以在定义 wrapper 函数的时候指定参数:

    def wrapper(name):
            logging.warn("%s is running" % func.__name__)
            return func(name)
        return wrapper
    

    这样 foo 函数定义的参数就可以定义在 wrapper 函数中。这时,又有人要问了,如果 foo 函数接收两个参数呢?三个参数呢?更有甚者,我可能传很多个。当装饰器不知道 foo 到底有多少个参数时,我们可以用 *args 来代替:

    def wrapper(*args):
            logging.warn("%s is running" % func.__name__)
            return func(*args)
        return wrapper
    ```	    
    如此一来,甭管 foo 定义了多少个参数,我都可以完整地传递到 func 中去。这样就不影响 foo 的业务逻辑了。这时还有读者会问,如果 foo 函数还定义了一些关键字参数呢?比如:  
    ```python	
    def foo(name, age=None, height=None):
    	print("I am %s, age %s, height %s" % (name, age, height))
    

    这时,你就可以把 wrapper 函数指定关键字函数:

    def wrapper(*args, **kwargs):
    		# args 是一个数组, kwargs 一个字典
            logging.warn("%s is running" % func.__name__)
            return func(*args, **kwargs)
        return wrapper
    

    带参数的装饰器

    装饰器还有更大的灵活性,例如带参数的装饰器,在上面的装饰器调用中,该装饰器接收唯一的参数就是执行业务的函数 foo 。装饰器的语法允许我们在调用时,提供其它参数,比如@decorator(a)。这样,就为装饰器的编写和使用提供了更大的灵活性。比如,我们可以在装饰器中指定日志的等级,因为不同业务函数可能需要的日志级别是不一样的。

    def use_logging(level):
        def decorator(func):
            def wrapper(*args, **kwargs):
                if level == "warn":
                    logging.warn("%s is running" % func.__name__)
                elif level == "info":
                    logging.info("%s is running" % func.__name__)
                return func(*args)
            return wrapper
    
        return decorator
    
    @use_logging(level="warn")
    def foo(name='foo'):
        print("i am %s" % name)
    
    foo()
    

    上面的 use_logging 是允许带参数的装饰器。它实际上是对原有装饰器的一个函数封装,并返回一个装饰器。我们可以将它理解为一个含有参数的闭包。当我 们使用@use_logging(level="warn")调用的时候, Python 能够发现这一层的封装,并把参数传递到装饰器的环境中。

    @use_logging(level="warn")等价于@decorator

    ###类装饰器 没错,装饰器不仅可以是函数,还可以是类,相比函数装饰器,类装饰器具有灵活度大、高内聚、封装性等优点。使用类装饰器主要依靠类的__call__方法,当使用 @ 形式将装饰器附加到函数上时,就会调用此方法。

    class Foo(object):
        def __init__(self, func):
            self._func = func
     
        def __call__(self):
            print ('class decorator runing')
            self._func()
            print ('class decorator ending')
     
    @Foo
    def bar():
        print ('bar')
     
    bar()
    

    functools.wraps

    使用装饰器极大地复用了代码,但是他有一个缺点就是原函数的元信息不见了,比如函数的docstring__name__、参数列表,先看例子:

    # 装饰器
    def logged(func):
        def with_logging(*args, **kwargs):
            print func.__name__      # 输出 'with_logging'
            print func.__doc__       # 输出 None
            return func(*args, **kwargs)
        return with_logging
    
    # 函数
    @logged
    def f(x):
       """does some math"""
       return x + x * x
    
    logged(f)
    

    不难发现,函数 f 被with_logging取代了,当然它的docstring__name__就是变成了with_logging函数的信息了。好在我们有functools.wrapswraps本身也是一个装饰器,它能把原函数的元信息拷贝到装饰器里面的 func 函数中,这使得装饰器里面的 func 函数也有和原函数 foo 一样的元信息了。

    from functools import wraps
    def logged(func):
        @wraps(func)
        def with_logging(*args, **kwargs):
            print func.__name__      # 输出 'f'
            print func.__doc__       # 输出 'does some math'
            return func(*args, **kwargs)
        return with_logging
    
    @logged
    def f(x):
       """does some math"""
       return x + x * x
    
    

    装饰器顺序

    一个函数还可以同时定义多个装饰器,比如:

    @a
    @b
    @c
    def f ():
    	pass
    

    它的执行顺序是从里到外,最先调用最里层的装饰器,最后调用最外层的装饰器,它等效于

    f = a(b(c(f)))
    

    关注公众号 一个程序员的微站(VTtalk) 分享 Python 干货和有温度的内容

    image

    57 条回复    2017-05-24 17:51:35 +08:00
    crytis
        1
    crytis  
       2017-01-17 14:31:08 +08:00 via iPhone
    跟 JAVA 代理差不多?
    fantastic
        2
    fantastic  
       2017-01-17 14:48:48 +08:00
    手动赞
    juju
        3
    juju  
       2017-01-17 14:57:58 +08:00
    辛苦楼主了,手动点赞,收藏。
    linboki
        4
    linboki  
       2017-01-17 15:37:18 +08:00 via Android
    一个装饰器都能扯这么长,也是厉害
    Shura
        5
    Shura  
       2017-01-17 15:39:38 +08:00 via Android
    就是装饰模式
    menc
        6
    menc  
       2017-01-17 15:41:20 +08:00   ❤️ 1
    “因为 python 可以返回函数对象,所以我们可以函数套函数,加个语法糖就是装饰器”
    你看我这么说吼不吼哇
    ruter8
        7
    ruter8  
       2017-01-17 16:21:23 +08:00
    内容很熟悉,好像在哪里看过。
    lzjun
        8
    lzjun  
    OP
       2017-01-17 16:42:54 +08:00 via iPhone
    应该是知乎,在知乎写过一个类似的回答,不过没有说清楚,于是重新整理了一次
    lzjun
        9
    lzjun  
    OP
       2017-01-17 16:44:45 +08:00 via iPhone
    @crytis 比 Java 代理简单很多
    julyclyde
        10
    julyclyde  
       2017-01-17 17:07:44 +08:00   ❤️ 2
    我总觉得吧,很单纯的技术问题,非要用各种莫名其妙的比喻,其实是背离本质的
    不管是喜欢看比喻的还是喜欢打比方的,都是外行
    lxf1992521
        11
    lxf1992521  
       2017-01-17 17:15:47 +08:00
    很棒,看懂了。
    之前这块一直比较模糊,在开发 django 权限部分的时候,发现大量用到了装饰器。
    谢谢楼主!
    lzjun
        12
    lzjun  
    OP
       2017-01-17 17:17:29 +08:00 via iPhone   ❤️ 2
    @julyclyde 技术也可以源自于生活,有时用生活的例子打比方只不过是让晦涩难懂的技术更好理解而已,这有什么问题呢?
    julyclyde
        13
    julyclyde  
       2017-01-17 17:20:22 +08:00
    @lzjun “也可以”并不等于“这就是”。打比方也并不能让它更容易理解,因为那东西本来并不简单。你这种片面的比方只能让一些不懂的人误以为自己懂了而已
    lzjun
        14
    lzjun  
    OP
       2017-01-17 17:35:42 +08:00 via iPhone
    @julyclyde “打比方”本来就是一个类比的方式,帮助他们对新事物建立初步的映象。为啥在 PC 刚问世的时候乔布斯要把 PC 比喻成自行车,因为人们对 PC 没什么概念,但是自行车已经是他们日常生活的一部分啊
    josephshen
        15
    josephshen  
       2017-01-17 19:46:17 +08:00 via iPhone
    一个返回函数的函数而已,这么简单的概念还要各种比喻,一个概念两件话就可以讲清楚,非要说上一大堆吧啦吧啦,而且我记得 V2EX 上不允许全文转载吧?有人 @管理员么?
    logeable
        16
    logeable  
       2017-01-17 20:09:10 +08:00
    ```python
    # 装饰器
    def logged(func):
    def with_logging(*args, **kwargs):
    print func.__name__ # 输出 'with_logging'
    print func.__doc__ # 输出 None
    return func(*args, **kwargs)
    return with_logging

    # 函数
    @logged
    def f(x):
    """does some math"""
    return x + x * x

    logged(f)
    ```
    这里是不是有问题?
    iakisey
        17
    iakisey  
       2017-01-17 20:18:31 +08:00 via iPhone
    @logeable 有问题
    bramblex
        18
    bramblex  
       2017-01-17 20:36:04 +08:00
    不就是一个高阶函数嘛……
    在任何一门函数式语言入门教程中,讲完这种东西都不会超过两句话……
    AlisaDestiny
        19
    AlisaDestiny  
       2017-01-17 21:01:03 +08:00 via iPhone
    装饰器能写这么多。我服。
    lzjun
        20
    lzjun  
    OP
       2017-01-17 21:28:47 +08:00 via iPhone
    @bramblex 文章的目的是面向还不理解什么是装饰器的初学者,还请像您这样的大牛轻喷,不喜勿入
    frinstioAKL
        21
    frinstioAKL  
       2017-01-17 22:05:08 +08:00
    就面向新手而言,我觉得这篇讲得挺好。
    不过好像哪里见过?我当初新学 python 的时候好像在哪看的就是这篇,瞬间茅塞顿开~不知是不是原作者
    thedog
        22
    thedog  
       2017-01-17 22:17:49 +08:00
    觉得讲得还可以啊,两句话可以讲完是什么,但是这篇文章还讲了怎么用啊,不知道楼上都在喷什么?
    arischow
        23
    arischow  
       2017-01-17 22:24:50 +08:00 via iPhone
    有的人真的很 mean.
    我在 SO 看过比这个长好几倍的,而且楼主也没写错什么啊,怎么你们了?
    Respect.
    lzjun
        24
    lzjun  
    OP
       2017-01-17 22:59:33 +08:00 via iPhone
    @frinstioAKL 谢谢。我在知乎上写过一个类似的答案,那篇文章也同步在博客上,现在又在原基础上修正了一些错误
    lzjun
        25
    lzjun  
    OP
       2017-01-17 23:01:27 +08:00 via iPhone
    @arischow @thedog 谢谢你们的理解与支持
    DarsyCheuk
        26
    DarsyCheuk  
       2017-01-17 23:06:22 +08:00 via iPhone
    很好理解 谢谢
    kkzxak47
        27
    kkzxak47  
       2017-01-18 00:20:35 +08:00 via Android
    还可以扩展。比如还有 legb 没讲到。还可以讲讲用 class 来实现装饰器。
    对新手来说,装饰器并不好理解,因为其实牵涉到很多概念,远远超过了 Python 其他基础知识点的复杂度。这些概念对于熟悉它们的人来说,可能就像喝水一样自然,但对新手则是复杂的迷宫。
    这些说话尖刻的人,属于典型的没有同理心的那类人,他们不能理解别人的困难,因此在集体协作环境里很难有更大的作为。
    kkzxak47
        28
    kkzxak47  
       2017-01-18 00:21:42 +08:00 via Android
    不好意思没仔细看,有 class 实现的装饰器,赞。
    wohenyingyu02
        29
    wohenyingyu02  
       2017-01-18 00:31:31 +08:00
    看起来和传递调用 c 的函数指针差不多,只不过包装了语法糖而已
    20015jjw
        30
    20015jjw  
       2017-01-18 02:59:25 +08:00 via Android
    写得不错
    xiaket
        31
    xiaket  
       2017-01-18 07:21:40 +08:00
    窃以为不如 Pro Python 里的讲述...
    firebroo
        32
    firebroo  
       2017-01-18 07:55:22 +08:00 via Android
    发现喷子真的好多啊,别人分享又没装逼,还用不就是 xxx ,服了之类的鄙视语气。
    coolloves
        33
    coolloves  
       2017-01-18 08:02:02 +08:00 via iPhone
    这个马克之,一直对装饰不是很理解,谢谢
    xarrow
        34
    xarrow  
       2017-01-18 08:52:57 +08:00
    怎么觉得像 AOP ?
    araraloren
        35
    araraloren  
       2017-01-18 08:53:05 +08:00
    mark
    我的理解这就是一个 wrapper (中文貌似就是外覆器、包装器)。。
    gouchaoer
        36
    gouchaoer  
       2017-01-18 08:57:19 +08:00 via Android
    def wrapper(*args, **kwargs):
    # args 是一个数组, kwargs 一个字典
    logging.warn("%s is running" % func.__name__)
    return func(*args, **kwargs)
    return wrapper

    你这个函数最后会让人绝望的,因为谁都看不懂
    wyntergreg
        37
    wyntergreg  
       2017-01-18 08:58:07 +08:00   ❤️ 3
    作者讲的很好,浅显易懂,所谓由俭入奢易,由奢入俭难,懂得一项技术容易,把它用浅显易懂的道理讲出来就是不容易。

    V 站好些整瓶子不满半瓶子晃荡的玩意在这强行装逼,丢的是你自己的脸,还不自知。

    不用回复他们,让他们继续莫名优越感吧,毕竟 V 站日常。
    panda1001
        38
    panda1001  
       2017-01-18 08:59:01 +08:00 via Android
    mark 很好的文章
    karlxu
        39
    karlxu  
       2017-01-18 09:13:45 +08:00
    感谢楼主,非常棒的文章,已关注微信公众号
    rockivy
        40
    rockivy  
       2017-01-18 09:19:55 +08:00
    面向初学者的很不错的文章,赞楼主的分享精神。
    stormpeach
        41
    stormpeach  
       2017-01-18 09:46:15 +08:00
    很好很好,支持 lz 的分享。

    不过我有一个问题是:如果一个函数使用装饰器之后,我什么时候想要不调用装饰器增加的部分功能,直接调用这个函数本身应该怎么做呢?
    sivacohan
        42
    sivacohan  
       2017-01-18 10:01:49 +08:00 via Android
    @stormpeach

    这说明你需要两个函数了。
    把装饰器理解为框架级别的东西,业务逻辑不要放装饰器里面。
    或者考虑使用带参数的装饰器。
    Wien
        43
    Wien  
       2017-01-18 10:04:07 +08:00
    很早就关注了楼主的博客了,干货满满,向楼主学习!
    F10Y
        44
    F10Y  
       2017-01-18 10:29:35 +08:00
    感谢楼主,讲的很棒
    argsno
        45
    argsno  
       2017-01-18 10:39:34 +08:00
    可以,简单易懂
    stormpeach
        46
    stormpeach  
       2017-01-18 11:55:59 +08:00
    @sivacohan 哦哦,确实可以用参数做开关就是哦, 3q~
    loryyang
        47
    loryyang  
       2017-01-18 12:05:59 +08:00   ❤️ 1
    其实我理解装饰器就认准一个点: function wrapper 。核心思想还是在函数外面再包一层。
    相当于拿到输入先处理一下,再塞给函数,函数输出,再处理一下再返回给外部调用者
    不过装饰器如何使用一些默认变量需要记一下
    lzjun
        48
    lzjun  
    OP
       2017-01-18 12:27:59 +08:00 via iPhone
    😄,谢谢楼上的各位, V 站还是充满了爱。给我们提供了一个友善的讨论环境。
    huson
        49
    huson  
       2017-01-18 12:54:57 +08:00
    通熟易懂 赞一个
    3b295
        50
    3b295  
       2017-01-18 13:39:59 +08:00
    @stormpeach 使用了 @wraps 后, 可以通过__wraped__ 访问到被包装函数
    lhbc
        51
    lhbc  
       2017-01-18 13:48:45 +08:00
    tab 空格混用……
    yiyiwa
        52
    yiyiwa  
       2017-01-18 14:48:34 +08:00
    这个一直不太明白, 可能是因为用得少的缘故. 谢谢分享
    sunjourney
        53
    sunjourney  
       2017-01-19 02:31:00 +08:00
    functools.wraps 这部分,元信息并没有被覆盖
    toono
        54
    toono  
       2017-01-19 08:49:32 +08:00
    谢谢分享
    stormpeach
        55
    stormpeach  
       2017-01-19 09:18:29 +08:00
    @3b295 哦哦,原来可以直接访问啊,学习了
    andyL
        56
    andyL  
       2017-01-19 16:41:04 +08:00
    我还以为你有多污呢
    qyc6810
        57
    qyc6810  
       2017-05-24 17:51:35 +08:00
    浅显易懂,手动赞!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4679 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 01:07 · PVG 09:07 · LAX 17:07 · JFK 20:07
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.