今天看到一个大牛在弄一个基于windows和linux下各自扫描器的分布式的系统。由于不同的扫描工具，所运行的环境有所不同，导致我们的扫描系统有必要兼容不同的系统。比如hydra, openvas等工具，它们是比较适合运行在Linux上，而WVS，appscan等工具是运行在Windows上，所以我们有必要同时兼容这两大类系统。如果再深入一点，Linux也分为很多种不同的系统，比如CentOS， Ubuntu，Redhat等，而且即便相同的系统，内核版本不同的话，运行环境也是有很大的区别。
然而今天思考的问题是在windows下进行的AWVS扫描。主要调用了Awvs的命令行wvs_console.exe
>> USAGE: wvs_console /Scan [URL] OR /Crawl [URL] OR /ScanFromCrawl [FILE]
OR /ScanWSDL [WSDL URL]
>> PARAMETERS //参数
/Scan [URL] : Scan specified URL //扫描特定的URL
/Crawl [URL] : Crawl specified URL //检索指定的url
/ScanFromCrawl [FILE] : Scan from crawling results //扫描检索的结果
/ScanWSDL [WSDL URL] : Scan web services from WSDL URL //扫描来自wsdl的参数URL
/Profile [PROFILE_NAME] : Use specified scanning profile during scanning //使用指定的扫描配置进行扫描
/Settings [FILE] : Use specified settings template during scanning //使用指定的设置模板进行扫描
/LoginSeq [FILE] : Use specified login sequence //使用指定的登录序列
/Import [FILE(s)] : Import files during crawl //导入检索的地址进行爬行
/Run [command line] : Run this command during crawl //
/Selenium [FILE] : Execute selenium script during crawl //执行selenium脚本进行爬行
/Save : Save scan results //保存结果
/SaveFolder [DIR] : Specify the folder were all the saved data will be stored //保存记录的目录
/GenerateZIP : Compress all the saved data into a zip file //对所有的数据进行zip压缩
/ExportXML : Exports results as XML //将结果以XML方式导出
/ExportAVDL : Exports results as AVDL //将结果以AVDL方式导出
/SavetoDatabase : Save alerts to the database //把警告数据保存进数据库
/SaveLogs : Save scan logs //保存扫描日志
/SaveCrawlerData : Save crawler data (.CWL file) //保存检索(爬行)数据
/GenerateReport : Generate a report after the scan was completed //扫描完成后生成报告
/ReportFormat [FORMAT] : Generated report format (REP, PDF, RTF, HTML) //生成报告的格式
/ReportTemplate [TEMPLATE]: Specify the report template //特定的报告模板
/Timestamps : Print current timestamp with each line. //打印每行的时间戳
/SendEmail : Send email notification when scan is completed, using scheduler settings. //扫描结束后发送电子邮件
/EmailAddress [EMAIL] : Send email notification to this email address, override scheduler settings. //邮件地址会把之前设置的给覆盖掉
/Verbose : Enable verbose mode //开启细节模式。也就是发送的具体参数
/Password : Application password (if required) //如果有需要写入密码
/? : Show this help screen //没得说，帮助
>> OPTIONS [ ? = TRUE or FALSE ] //选项 =true 或者是=false
--GetFirstOnly=? : Get only the first URL //仅仅获取第一个url
--RestrictToBaseFolder=? : Do not fetch anything above start folder //不扫描当前目录以上的其他目录(扫描二级目录有效)
--FetchSubdirs=? : Fetch files bellow base folder //
--ForceFetchDirindex=? : Fetch directory indexes even if not linked //扫描目录，即使该目录不再链接里面(就是目录匹配)
--RobotsTxt=? : Retrieve and process robots.txt //从robots.txt里面获取目录进行爬行
--CaseInsensitivePaths=? : Use case insensitive paths //
--UseWebKit=? : Use WebKit based browser for discovery //使用基于WebKit的浏览器
--ScanningMode=* : Scanning mode (* = Quick, Heuristic, Extensive) //扫描模式(快速、启发式、广泛的)
--ManipHTTPHeaders=? : Manipulate HTTP headers //http头可以修改(个人暂时理解为可以修改http头进行提交)
--UseAcuSensor=? : Use AcuSensor technology //使用AcuSensor 技术(不明所以)
--EnablePortScanning=? : Enable port scanning //启用端口扫描
--UseSensorDataFromCrawl=*: Use sensor data from crawl(* = Yes, No, Revalidate) //抓取fuzz提交的数据( = 是,否，重新验证)
--HtmlAuthUser=? : Username for HTML based authentication //基于HTTP认证的用户名
--HtmlAuthPass=? : Password for HTML based authentication //基于HTTP认证的密码
--ToolTimeout=? : Timeout for testing tool in seconds //设置提交的超时时间
>> EXAMPLES
wvs_console /Scan http://testphp.vulnweb.com /SaveFolder c:\temp\scanResults\ /Save
wvs_console /ScanWSDL http://test/WS.asmx?WSDL /Profile ws_default /Save
wvs_console /Scan http://testphp.vulnweb.com /Profile default /Save --UseWebKit=false --ScanningMode=Heuristic]]
那么扫描的命令我就这样子使用了
wvs_console.exe /Scan http://testphp.vulnweb.com /Profile ws_default /save /savetodatabase --GetFirstOnly=false --FetchSubdirs=true --Re strictToBaseFolder=true --ForceFetchDirindex=true --SubmitForms=true --RobotsTxt=true --CaseInsensitivePaths=false --UseCSA=true --Us eAcuSensor=true --EnablePortScanning=false --UseSensorDataFromCrawl=revalidate --ScanningMode=Heuristic --TestWebAppsOnAllDirs=false --ManipHTTPHeaders=true
既然如此，那么批量扫描也是就是顺理成章的事情了
#!/usr/bin/python
# coding: UTF-8
'''
wvs_console 批量扫描脚本
'''
import sys,os,time
urllist = r'd:\\urllist.txt' #需扫描网站列表文件
savefolder = r'd:\\result\\' #扫描结果保存路劲
wvs_console = r'F:\\"Program Files (x86)"\\Acunetix\\"Scanner 10"\\wvs_console.exe' #wvs_console路径
def scan(url,folder):
if 'http' in url:
name = url.split('//')[1].replace('/','')
url = url
else:
name = url.replace('\n','')
url = 'http://'+url
name = name.replace('\n','')
url = url.replace('\n','')
if name in os.listdir(folder):
print '%s has scaned'%name
else:
# os.system('%s'%wvs_console)
os.system('%s /Scan %s /Profile ws_default /saveFolder %s%s --GetFirstOnly=false --FetchSubdirs=true --RestrictToBaseFolder=true --ForceFetchDirindex=true --SubmitForms=true --RobotsTxt=true --CaseInsensitivePaths=false --UseCSA=true --UseAcuSensor=true --EnablePortScanning=false --UseSensorDataFromCrawl=revalidate --ScanningMode=Heuristic --TestWebAppsOnAllDirs=false --ManipHTTPHeaders=true'%(wvs_console,url,folder,name))
if __name__ == '__main__':
if not os.path.exists(urllist):
print r'需扫描的网站文件不存在'
if os.path.exists(savefolder) == False:
os.mkdir(savefolder)
for i in open(urllist):
scan(i,savefolder)
再然后就是对数据的处理上来了
默认保存的位置为:C:\ProgramData\Acunetix WVS 10\Data\Database\vulnscanresults.mdb
Awvs扫描结果数据库中有一个Wvs_scans表，保存的都是扫描过的url,以及扫描开始时间和结束时间。可以将当天下载的url保存到一个list中，然后在扫描之前先将之前所有扫描过的URL查询出来，同样保存在list中，读取list中的url,判断是否在扫描过的URL list中，如果存在将之从url list中删除掉；如果不存在则再进行扫描。
Awvs会自动将扫描结果保存到本地的access数据库中，具体的表是Wvs_alerts，也可以设置保存到Mssql数据库中，具体的是在Application Setting进行设置。结果入库模块的功能是从access数据库筛选出危害等级大于0的漏洞。然后用正则表达式对request中的host,漏洞文件,get或post提交的请求进行筛选拼凑，获取到完整的漏洞测试url。
其实可以发现：需要的东西都是保存到WVS_alerts
severity为危害等级，分为0，1，2，3分别是无影响，低位，中危，高危
algroup 为漏洞的类型
affects 为漏洞文件
根据某个这些思路。大约可以这么定义
conn = win32com.client.Dispatch(r'ADODB.Connection')
DSN = 'PROVIDER=Microsoft Access Driver (*.mdb, *.accdb)'
conn.Open('awvs')
cur=conn.cursor()
rs = win32com.client.Dispatch(r'ADODB.Recordset')
rs.Open('[WVS_alerts]', conn, 1, 3)
if rs.recordcount == 0:
exit()
#遍历WVS_alerts所有的结果，cmp进行筛选危害等级为3的，也就是高危
while not rs.eof:
severity = str(rs('severity'))
if cmp('3', severity):
rs.movenext
continue
vultype = rs('algroup')
vulfile=rs('affects')
#由于mysql库中要求的漏洞类型和access的名称有点差别，所以还需要对漏洞类型和危害等级进行二次命名,sql注入和xss为例
xss='Cross site'
sqlinject='injection'
if xss in str(vultype):
vultype='XSS'
level='低危'
elif sqlinject in str(vultype):
vultype="SQL注入"
level='高危'
else:
level='中危'
#拼凑出漏洞测试url，用了正则表达式， post和get类型的request请求是不同的
params = rs('parameter')
ss = str(rs('request'))
str1 = ss[0:4]
if 'POST'== str1:
requestType = 'POST'
regex = 'POST (.*?) HTTP/1\.\d+'
str1 = re.findall(regex, ss);
else:
requestType = 'GET'
regex = 'GET (.*?) HTTP/1\.\d+'
str1 = re.findall(regex, ss);
regex = 'Host:(.*?)\r\n'
host = re.findall(regex, ss);
if host == []:
host = ''
else:
host = host[0].strip()
if str1 == []:
str1 = ''
else:
str1 = str1[0]
url =host + str1
timex=time.strftime('%Y-%m-%d',time.localtime(time.time()))
晚上到家，重新装了office里面的套件.access，重新打开mdb数据库。然后重新思考了下整个流程
1.用户输入网址进行扫描
os.system('%s /Scan %s /Profile ws_default /saveFolder %s%s --GetFirstOnly=false --FetchSubdirs=true --RestrictToBaseFolder=true --ForceFetchDirindex=true --SubmitForms=true --RobotsTxt=true --CaseInsensitivePaths=false --UseCSA=true --UseAcuSensor=true --EnablePortScanning=false --UseSensorDataFromCrawl=revalidate --ScanningMode=Heuristic --TestWebAppsOnAllDirs=false --ManipHTTPHeaders=true'%(wvs_console,url,folder,name))
然后会根据url会在WVS_scans创建一个scid。同时写入当前创建的时间。结束后写入结束的时间
result = "select scid,starttime,finishtime from WVS_scans where starturl="+%d (url) id=result[scid] start = result[starttime] end = result[finishtime] 耗时:time = end -start
再根据scid来查询WVS_alerts里面的信息
result1 = select severity,algroup,affects,parameter,request from WVS_alerts where severity>0 and scid=result[scid] 漏洞级别 result1[severity] 漏洞类型 result1[algroup] 具体文件 result1[affects] 问题参数 result1[parameter] 请求过程 result1[request]
再把相关的数据整合就好了
#!/usr/bin/python
#-*- coding: utf-8 -*-
#Author:saline
#Email:nophacker@gmail.com
import pypyodbc
connection_string = 'Driver={Microsoft Access Driver (*.mdb)};DBQ=D:\\phpStudy\\WWW\\vulnscanresults.mdb'
connection = pypyodbc.connect(connection_string)
#使用Access的ODBC连接字符串，通过pypyodbc模块获得一个可以连接到vulnscanresults.mdb数据库的ODBC连接对象connection：
cur = connection.cursor()
#并从这个连接对象中，获取一个数据库操作游标cur：
sql='select scid,starttime,finishtime from WVS_scans where scid =1'
cur.execute(sql)
#首先，传递SQL查询语句至Access数据库：
for row in cur.fetchall():
id =row[0]
start = row[1]
end = row[2]
time = end -start
print '消耗的时间为:'+ str(time)
sql1 = 'select alid,algroup,severity,affects,parameter,request from WVS_alerts where severity>0 and scid=%d'%(id)
cur.execute(sql1)
for raw in cur.fetchall():
print '第'+str(raw[0]+1)+'问题'
print raw[1]
print '危害等级:'+str(raw[2])
print raw[3]
print raw[4]
print raw[5]
connection.close()
至此，一个简单的demo已经完成了。虽然是一些片段
