目录
一、了解函数
为什么使用函数
#1、代码的组织结构不清晰，可读性差#2、遇到重复的功能只能重复编写实现代码，代码冗余#3、功能需要扩展时，需要找出所有实现该功能的地方修改之，无法统一管理且维护难度极大
函数分类
#1、内置函数为了方便我们的开发，针对一些简单的功能，python解释器已经为我们定义好了的函数即内置函数。对于内置函数，我们可以拿来就用而无需事先定义，如len(),sum(),max()#2、自定义函数很明显内置函数所能提供的功能是有限的，这就需要我们自己根据需求，事先定制好我们自己的函数来实现某种功能，以后，在遇到应用场景时，调用自定义的函数即可。
二、 函数定义
#语法def 函数名(参数1,参数2,参数3,...): '''注释''' 函数体 return 返回的值#函数名要能反映其意义
def auth(user:str,password:str)->int: ''' auth function :param user: 用户名 :param password: 密码 :return: 认证结果 ''' if user == 'egon' and password == '123': return 1# print(auth.__annotations__) #{'user': , 'password': , 'return': }user=input('用户名>>: ').strip()pwd=input('密码>>: ').strip()res=auth(user,pwd)print(res) 三、函数使用原则：先定义，后调用
函数即“变量”，“变量”必须先定义后引用。未定义而直接引用函数，就相当于在引用一个不存在的变量名#测试一def foo(): print('from foo') bar()foo() #报错#测试二def bar(): print('from bar')def foo(): print('from foo') bar()foo() #正常#测试三def foo(): print('from foo') bar() def bar(): print('from bar')foo() #会报错吗?#结论:函数的使用,必须遵循原则:先定义,后调用#我们在使用函数时,一定要明确地区分定义阶段和调用阶段#定义阶段def foo(): print('from foo') bar()def bar(): print('from bar')#调用阶段foo() 注意：
#函数在定义阶段只检测语法，不执行代码也就说，语法错误在函数定义阶段就会检测出来，而代码的逻辑错误只有在执行时才会知道
四、定义函数的三种形式
#1、无参：应用场景仅仅只是执行一些操作，比如与用户交互，打印#2、有参：需要根据外部传进来的参数，才能执行相应的逻辑，比如统计长度，求最大值最小值#3、空函数：设计代码结构
#定义阶段def tell_tag(tag,n): #有参数 print(tag*n)def tell_msg(): #无参数 print('hello world')#调用阶段tell_tag('*',12)tell_msg()tell_tag('*',12)'''************hello world************'''#结论：#1、定义时无参，意味着调用时也无需传入参数#2、定义时有参，意味着调用时则必须传入参数 def auth(user,password): ''' auth function :param user: 用户名 :param password: 密码 :return: 认证结果 ''' pass def get(filename): ''' :param filename: :return: ''' pass def put(filename): ''' :param filename: :return: ''' def ls(dirname): ''' :param dirname: :return: ''' pass #程序的体系结构立见
五、函数的调用
1、调用函数
函数的调用：函数名加括号1 先找到名字2 根据名字调用代码
2、函数返回值
无return->Nonereturn 1个值->返回1个值return 逗号分隔多个值->元组
def foo():
pass return 1,'a',[1,2] print(foo())（1，'a',[1,2]）
return的特点：
1、 函数内可以有多个return，但是只能执行一次return2、 执行return函数就立刻结束，并且return的后值当做本次调用的结果返回def my_max(x,y):
if x >= y: return x else: return y什么时候该有返回值？ 调用函数，经过一系列的操作，最后要拿到一个明确的结果，则必须要有返回值 通常有参函数需要有返回值，输入参数，经过计算，得到一个最终的结果什么时候不需要有返回值？ 调用函数，仅仅只是执行一系列的操作，最后不需要得到什么结果，则无需有返回值 通常无参函数不需要有返回值
#如何获取返回值 def foo(x,y): return x+y res=foo(1,2)#注意不是:res=foo，这是把整个foo函数赋值给res，也就是产生了一个跟foo一样的res函数。
返回值没有类型限制
#可以是任意类型数据，即使是一个函数def bar(): print('from bar')def foo(): return barprint(foo() is bar)Truef=foo()#则f函数与bar函数是同一个函数 3、函数三种调用方式
1 语句形式：foo()2 表达式形式：3*len('hello')3 当中另外一个函数的参数：range(len('hello')) def my_max(x,y):
if x >= y: return x else: return yres1=my_max(1,2)
res2=my_max(1,2)*10
res3=my_max(my_max(1,2),3)
print(res3)
六、函数的参数
1、形参与实参
#形参即变量名，实参即变量值，函数调用时，将值绑定到变量名上，函数调用结束，解除绑定
2、具体应用
#1、位置参数：按照从左到右的顺序定义的参数 位置形参：必选参数，定义后，必须被传值，多一个少一个都不行 位置实参：按照位置给形参一一对应传值def foo(x,y): print(x,y)foo(2,1)#2、关键字参数：按照key=value的形式定义的实参 无需按照位置为形参传值 注意的问题： 1. 关键字实参必须在位置实参右面 2. 对同一个形参不能重复传值def foo(name,age,sex): print(name,age,sex)foo('egon',sex='male',age=18)#3、默认参数：形参在定义时就已经为其赋值 可以传值也可以不传值，经常需要变得参数定义成位置形参，变化较小的参数定义成默认参数（形参） 注意的问题： 1. 只在定义时赋值一次 2. 默认参数的定义应该在位置形参右面 3. 默认参数通常应该定义成不可变类型def foo(x,y=1): print(x,y)foo(1,2)foo(y=3,x=1)foo(111)foo(x=1111)1 21 3111 11111 1#4、可变长参数： 可变长指的是实参值的个数不固定 而实参有按位置和按关键字两种形式定义，针对这两种形式的可变长，形参对应有两种解决方案来完整地存放它们，分别是*args，**kwargs注意：*、**和args、kwargs是两部分，不是一体的 ===========*args=========== #x,y位置形参取完值后，剩余的值都存放到一个yuan'z中赋值给变量args def foo(x,y,*args): print(x,y) print(args) foo(1,2,3,4,5) 1 2 (3, 4, 5) #*也可以在调用函数时使用，可以把列表打散 def foo(x,y,*args): print(x,y) print(args) foo(1,2,*[3,4,5]) #相当于foo(1,2,3,4,5) def foo(x,y,z): print(x,y,z) foo(*[1,2,3]) #相当于foo(1,2,3) ===========**kwargs=========== #是把位置形参之外的以字典形式赋给变量kwargs def foo(x,y,**kwargs): print(x,y) print(kwargs) foo(1,y=2,a=1,b=2,c=3) 1 2 { 'a': 1, 'b': 2, 'c': 3} #相同的，**也可以在传值的时候，把字典打散 def foo(x,y,**kwargs): print(x,y) print(kwargs) foo(1,y=2,**{ 'a':1,'b':2,'c':3}) def foo(x,y,z): print(x,y,z) foo(**{ 'z':1,'x':2,'y':3}) ===========*args+**kwargs=========== #利用*和**在存值和传值时的特性，可以将一个函数收到的值原封不动的传给在它函数体中调用的另一个函数，保证里层函数传值方式不变 def foo(x,y): print(x,y) def wrapper(*args,**kwargs): print('====>') foo(*args,**kwargs)#5、命名关键字参数：*后定义的参数，必须被传值（有默认值的除外），且必须按照关键字实参的形式传递可以保证，传入的参数中一定包含某些关键字 def foo(x,y,*args,a=1,b,**kwargs): print(x,y) print(args) print(a) print(b) print(kwargs) foo(1,2,3,4,5,b=3,c=4,d=5) 结果： 1 2 (3, 4, 5) 1 3 { 'c': 4, 'd': 5} 七、 函数对象
一 函数是第一类对象，即函数可以当作数据传递
#1 可以被引用#2 可以当作参数传递#3 返回值可以是函数#3 可以当作容器类型的元素
#1、可以被引用 x=1,y=xdef func(x,y): print(x,y)f=funcf(1,2)#2、可当做函数的参数传入def foo(): print('from foo')def bar(func): # print(func) func()bar(foo)#3、可以当做函数的返回值def foo(): print('from foo')def bar(): return foof=bar()f()#4、可以当做容器类型的元素def foo(): print('from foo')def bar(): return fool=[foo,bar]print(l)l[0]() 二 利用该特性，优雅的取代多分支的if
def foo(): print('foo')def bar(): print('bar')dic={ 'foo':foo, 'bar':bar,}while True: choice=input('>>: ').strip() if choice in dic: dic[choice]() 八、函数嵌套
一 函数的嵌套调用
def max(x,y): return x if x > y else ydef max4(a,b,c,d): res1=max(a,b) res2=max(res1,c) res3=max(res2,d) return res3print(max4(1,2,3,4))
二 函数的嵌套定义
def f1(): def f2(): def f3(): print('from f3') f3() f2()f1()f3() #报错，为何？请看下一小节 九、名称空间与作用域
一 什么是名称空间？
#名称空间：存放名字的地方，三种名称空间，（之前遗留的问题x=1，1存放于内存中，那名字x存放在哪里呢？名称空间正是存放名字x与1绑定关系的地方）
二 名称空间的加载顺序
python test.py#1、python解释器先启动，因而首先加载的是：内置名称空间，python解释器内置的名字，max，len，print#2、执行test.py文件，然后以文件为基础，加载全局名称空间，文件级别定义的名字#3、在执行文件的过程中如果调用函数，则临时产生局部名称空间（函数调用时生效，调用结束失效）
三 名字的查找顺序
局部名称空间--->全局名称空间--->内置名称空间#需要注意的是：在全局无法查看局部的，在局部可以查看全局的，如下示例# max=1def f1(): # max=2 def f2(): # max=3 print(max) f2()f1()print(max)
四 作用域
#1、作用域即范围 - 全局范围（内置名称空间与全局名称空间属于该范围）：全局存活，全局有效globals() - 局部范围（局部名称空间属于该范围）：临时存活，局部有效locals()#如果文件没有任何局部范围名称定义，则局部等于全局print(locals() is globals())True#2、作用域关系是在函数定义阶段就已经固定的，与函数的调用位置无关，如下x=1def f1(): def f2(): print(x) return f2x=100def f3(func): x=2 func()x=10000f3(f1())10000#3、查看作用域：globals(),locals()LEGB 代表名字查找顺序: locals -> enclosing function -> globals -> __builtins__locals 是函数内的名字空间，包括局部变量和形参enclosing 外部嵌套函数的名字空间（闭包中常见）globals 全局变量，函数定义所在模块的名字空间builtins 内置模块的名字空间
五 global与nonlocal关键字
global:
#global关键字用来在函数或其他局部作用域中使用全局变量。但是如果不修改全局变量也可以不使用global关键字，如果使用关键字并修改变量，则修改了全局变量x=100def func(): global x x=1func()print(x)1
nolocal：
#nonlocal关键字用来在函数或其他作用域中使用外层(非全局)变量。x='global'def f1(): x=1 #把这里注释会报错，提示外层函数没有定义x变量 def f2(): nonlocal x x=0 f2() print('===f1 innter--->',x)f1()print(x)===f1 innter---> 0global 强调两点：
#1、打破函数层级限制来调用函数def outter(): def inner(): print('inner') return innerf=outter()# print(f)def bar(): f()bar()inner#2、函数的作用域关系是在函数定义阶段就已经固定了，与调用位置无关x=1def outter(): # x=2 def inner(): print('inner',x) return innerf=outter()# print(f)# x=1111111111111111111111111111111111111111111111111111111111111111111111111111111111def bar(): x=3 f()# x=1111111111111111111111111111111111111111111111111111111111111111111111111111111111bar()x=1111111111111111111111111111111111111111111111111111111111111111111111111111111111 十、 闭包函数
一 什么是闭包？
#内部函数包含对外部作用域而非全局作用域的引用
#1 定义在函数内部的函数
#2 该函数的函数体代码包含对外部作用域（而不是全局作用域）名字的引用 #3 通常将闭包函数用return返回，然后可以在任意使用#提示：之前我们都是通过参数将外部的值传给函数，闭包提供了另外一种思路 def counter(): n=0 def incr(): nonlocal n x=n n+=1 return x return incr c=counter() print(c()) print(c()) print(c()) print(c.__closure__[0].cell_contents) #查看闭包的元素
#爬页面:闭包函数为我们提供了一种新的为函数传参的方式import requests #pip3 install requestsdef outter(url): # url = 'https://www.baidu.com' def get(): response=requests.get(url) if response.status_code == 200: print(len(response.text)) return getbaidu=outter('https://www.baidu.com')python=outter('https://www.python.org')baidu()python() 二 闭包的意义与应用
#闭包的意义：返回的函数对象，不仅仅是一个函数对象，在该函数外还包裹了一层作用域，这使得，该函数无论在何处调用，优先使用自己外层包裹的作用域#应用领域：延迟计算（原来我们是传参，现在我们是包起来） from urllib.request import urlopen def index(url): def get(): return urlopen(url).read() return get baidu=index('http://www.baidu.com') print(baidu().decode('utf-8')) 十一、 装饰器
装饰器就是闭包函数的一种应用场景
一 为何要用装饰器
#开放封闭原则：对修改封闭，对扩展开放
二 什么是装饰器
装饰器他人的器具，本身可以是任意可调用对象，被装饰者也可以是任意可调用对象。强调装饰器的原则：1 不修改被装饰对象的源代码 2 不修改被装饰对象的调用方式装饰器的目标：在遵循1和2的前提下，为被装饰对象添加上新功能
三 装饰器的使用
装饰器语法：在被装饰对象正上方单独一行写上，@装饰器名
@装饰器名：干了两件事：
1、把被装饰函数名作为参数传给装饰器函数
2、将装饰器函数执行结果重新赋值给被装饰函数（被装饰函数变为一个新函数，也就是装饰器函数的inner函数）
#foo=timmer(foo)
import timedef timmer(func): def wrapper(*args,**kwargs): start_time=time.time() res=func(*args,**kwargs) stop_time=time.time() print('run time is %s' %(stop_time-start_time)) return res return wrapper@timmerdef foo(): time.sleep(3) print('from foo')foo() def auth(driver='file'): def auth2(func): def wrapper(*args,**kwargs): name=input("user: ") pwd=input("pwd: ") if driver == 'file': if name == 'egon' and pwd == '123': print('login successful') res=func(*args,**kwargs) return res elif driver == 'ldap': print('ldap') return wrapper return auth2@auth(driver='file')def foo(name): print(name)foo('egon') 有参装饰器：
在无参装饰器的基础上在套一个函数，实现多传一个参数给inner函数(实际上可以看做有参装饰器加()运行得到一个无参装饰器)
@auth(driver='file') == @auth2 == foo=auth2(foo)def foo(name): print(name)
四 并列多个装饰器语法
被装饰函数的正上方，单独一行 @deco1 @deco2 @deco3 def foo(): pass foo=deco1(deco2(deco3(foo))) 就是在被3装饰的基础上在进行2装饰，最后进行1装饰
import timedef timmer(func): def inner(*args,**kwargs): start=time.time() res=func(*args,**kwargs) stop=time.time() print('run time is %s' %(stop-start)) return res return innerdef auth2(engine='file'): def auth(func): # func=index def inner(*args,**kwargs): if engine == 'file': name=input('name>>: ').strip() password=input('password>>: ').strip() if name == 'egon' and password == '123': print('login successful') return func(*args,**kwargs) else: print('login err') elif engine == 'mysql': print('mysql auth') elif engine == 'ldap': print('ldap auth') else: print('engin not exists') return inner return auth@auth2(engine='file')@timmerdef index(name): time.sleep(1) print('welecome %s to index' %name) return 1111res=index('egon')print(res) 五 装饰器补充：wraps
模块需要导入，由于被装饰的函数虽然调用方式不变，实际上已经换成装饰器的inner函数了，帮助信息和实际函数名都变了：
# inner.__doc__=func.__doc__
# inner.__name__=func.__name__要想保证完全不变，需要使用wraps
from functools import wrapsdef deco(func): @wraps(func) #加在最内层函数正上方 def wrapper(*args,**kwargs): return func(*args,**kwargs) return wrapper@decodef index(): '''哈哈哈哈''' print('from index')print(index.__doc__) 练习题：
1、写函数，，用户传入修改的文件名，与要修改的内容，执行函数，完成批了修改操作
2、写函数，计算传入字符串中【数字】、【字母】、【空格] 以及 【其他】的个数3、写函数，判断用户传入的对象（字符串、列表、元组）长度是否大于5。
4、写函数，检查传入列表的长度，如果大于2，那么仅保留前两个长度的内容，并将新内容返回给调用者。
5、写函数，检查获取传入列表或元组对象的所有奇数位索引对应的元素，并将其作为新列表返回给调用者。
6、写函数，检查字典的每一个value的长度,如果大于2，那么仅保留前两个长度的内容，并将新内容返回给调用者。
dic = {"k1": "v1v1", "k2": [11,22,33,44]}PS:字典中的value只能是字符串或列表 #题目一def modify_file(filename,old,new): import os with open(filename,'r',encoding='utf-8') as read_f,\ open('.bak.swap','w',encoding='utf-8') as write_f: for line in read_f: if old in line: line=line.replace(old,new) write_f.write(line) os.remove(filename) os.rename('.bak.swap',filename)modify_file('/Users/jieli/PycharmProjects/爬虫/a.txt','alex','SB')#题目二def check_str(msg): res={ 'num':0, 'string':0, 'space':0, 'other':0, } for s in msg: if s.isdigit(): res['num']+=1 elif s.isalpha(): res['string']+=1 elif s.isspace(): res['space']+=1 else: res['other']+=1 return resres=check_str('hello name:aSB passowrd:alex3714')print(res)#题目三：略#题目四def func1(seq): if len(seq) > 2: seq=seq[0:2] return seqprint(func1([1,2,3,4]))#题目五def func2(seq): return seq[::2]print(func2([1,2,3,4,5,6,7]))#题目六def func3(dic): d={} for k,v in dic.items(): if len(v) > 2: d[k]=v[0:2] return dprint(func3({ 'k1':'abcdef','k2':[1,2,3,4],'k3':('a','b','c')})) 一：编写函数，（函数执行的时间是随机的）
二：编写装饰器，为函数加上统计时间的功能三：编写装饰器，为函数加上认证的功能四：编写装饰器，为多个函数加上认证的功能（用户的账号密码来源于文件），要求登录成功一次，后续的函数都无需再输入用户名和密码
注意：从文件中读出字符串形式的字典，可以用eval('{"name":"egon","password":"123"}')转成字典格式五：编写装饰器，为多个函数加上认证功能，要求登录成功一次，在超时时间内无需重复登录，超过了超时时间，则必须重新登录
六：编写下载网页内容的函数，要求功能是：用户传入一个url，函数返回下载页面的结果
七：为题目五编写装饰器，实现缓存网页内容的功能：
具体：实现下载的页面存放于文件中，如果文件内有值（文件大小不为0），就优先从文件中读取网页内容，否则，就去下载，然后存到文件中扩展功能：用户可以选择缓存介质/缓存引擎，针对不同的url，缓存到不同的文件中
八：还记得我们用函数对象的概念，制作一个函数字典的操作吗，来来来，我们有更高大上的做法，在文件开头声明一个空字典，然后在每个函数前加上装饰器，完成自动添加到字典的操作
九 编写日志装饰器，实现功能如：一旦函数f1执行，则将消息2017-07-21 11:12:11 f1 run写入到日志文件中，日志文件路径可以指定
注意：时间格式的获取import timetime.strftime('%Y-%m-%d %X') #题目四：db='db.txt'login_status={ 'user':None,'status':False}def auth(auth_type='file'): def auth2(func): def wrapper(*args,**kwargs): if login_status['user'] and login_status['status']: return func(*args,**kwargs) if auth_type == 'file': with open(db,encoding='utf-8') as f: dic=eval(f.read()) name=input('username: ').strip() password=input('password: ').strip() if name in dic and password == dic[name]: login_status['user']=name login_status['status']=True res=func(*args,**kwargs) return res else: print('username or password error') elif auth_type == 'sql': pass else: pass return wrapper return auth2@auth()def index(): print('index')@auth(auth_type='file')def home(name): print('welcome %s to home' %name)# index()# home('egon')#题目五import time,randomuser={ 'user':None,'login_time':None,'timeout':0.000003,}def timmer(func): def wrapper(*args,**kwargs): s1=time.time() res=func(*args,**kwargs) s2=time.time() print('%s' %(s2-s1)) return res return wrapperdef auth(func): def wrapper(*args,**kwargs): if user['user']: timeout=time.time()-user['login_time'] if timeout < user['timeout']: return func(*args,**kwargs) name=input('name>>: ').strip() password=input('password>>: ').strip() if name == 'egon' and password == '123': user['user']=name user['login_time']=time.time() res=func(*args,**kwargs) return res return wrapper@authdef index(): time.sleep(random.randrange(3)) print('welcome to index')@authdef home(name): time.sleep(random.randrange(3)) print('welcome %s to home ' %name)index()home('egon')#题目六:略#题目七：简单版本import requestsimport oscache_file='cache.txt'def make_cache(func): def wrapper(*args,**kwargs): if not os.path.exists(cache_file): with open(cache_file,'w'):pass if os.path.getsize(cache_file): with open(cache_file,'r',encoding='utf-8') as f: res=f.read() else: res=func(*args,**kwargs) with open(cache_file,'w',encoding='utf-8') as f: f.write(res) return res return wrapper@make_cachedef get(url): return requests.get(url).text# res=get('https://www.python.org')# print(res)#题目七:扩展版本import requests,os,hashlibengine_settings={ 'file':{ 'dirname':'./db'}, 'mysql':{ 'host':'127.0.0.1', 'port':3306, 'user':'root', 'password':'123'}, 'redis':{ 'host':'127.0.0.1', 'port':6379, 'user':'root', 'password':'123'},}def make_cache(engine='file'): if engine not in engine_settings: raise TypeError('egine not valid') def deco(func): def wrapper(url): if engine == 'file': m=hashlib.md5(url.encode('utf-8')) cache_filename=m.hexdigest() cache_filepath=r'%s/%s' %(engine_settings['file']['dirname'],cache_filename) if os.path.exists(cache_filepath) and os.path.getsize(cache_filepath): return open(cache_filepath,encoding='utf-8').read() res=func(url) with open(cache_filepath,'w',encoding='utf-8') as f: f.write(res) return res elif engine == 'mysql': pass elif engine == 'redis': pass else: pass return wrapper return deco@make_cache(engine='file')def get(url): return requests.get(url).text# print(get('https://www.python.org'))print(get('https://www.baidu.com'))#题目八route_dic={}def make_route(name): def deco(func): route_dic[name]=func return deco@make_route('select')def func1(): print('select')@make_route('insert')def func2(): print('insert')@make_route('update')def func3(): print('update')@make_route('delete')def func4(): print('delete')print(route_dic)#题目九import timeimport osdef logger(logfile): def deco(func): if not os.path.exists(logfile): with open(logfile,'w'):pass def wrapper(*args,**kwargs): res=func(*args,**kwargs) with open(logfile,'a',encoding='utf-8') as f: f.write('%s %s run\n' %(time.strftime('%Y-%m-%d %X'),func.__name__)) return res return wrapper return deco@logger(logfile='aaaaaaaaaaaaaaaaaaaaa.log')def index(): print('index')index()