1. NLP基本处理

去除不需要的字符

使用正则表达式实现：

import re# 过滤不了\\ \ 中文（）还有————r1 = u'[a-zA-Z0-9’!"#$%&\'()*+,-./:;<=>?@，。?★、…【】《》？“”‘’！[\\]^_`{|}~]+'#用户也可以在此进行自定义过滤字符 # 者中规则也过滤不完全r2 = "[\s+\.\!\/_,$%^*(+\"\']+|[+——！，。？、~@#￥%……&*（）]+"# \\\可以过滤掉反向单杠和双杠，/可以过滤掉正向单杠和双杠，第一个中括号里放的是英文符号，第二个中括号里放的是中文符号，第二个中括号前不能少|，否则过滤不完全r3 =  "[.!//_,$&%^*()<>+\"'?@#-|:~{}]+|[——！\\\\，。=？、：“”‘’《》【】￥……（）]+" # 去掉括号和括号内的所有内容r4 =  "\\【.*?】+|\\《.*?》+|\\#.*?#+|[.!/_,$&%^*()<>+""'?@|:~{}#]+|[——！\\\，。=？、：“”‘’￥……（）《》【】]"sentence = "hello! wo?rd!."cleanr = re.compile('<.*?>')sentence = re.sub(cleanr, ' ', sentence)        #去除html标签sentence = re.sub(r4,'',sentence)print(sentence)

停用词

from nltk.corpus import stopwordssentence = "this is a apple"filter_sentence= [w for w in sentence.split(' ') if w not in stopwords.words('english')]print(filter_sentence)

2. CV数据基本处理

2.1 使用opencv进行数据预处理

imutils

----------图像平移

img = cv.imread(filename)#x,y 表示平移的像素个数 translated = imutils.translate(img, x, y)#图像缩放resized = imutils.resize(img, width=200)#图像旋转rotated = imutils.rotate(img, alpha)