freewvs.git

1) import difflib

2) import glob
3) import json

4) import re

5) import sys
6) import unittest

7) 
8) 

9) def versioncompare(safe_version, find_version):
10)     safe_version_tup = [int(x) for x in safe_version.split(".")]
11)     find_version_tup = [int(x) for x in find_version.split(".")]
12)     return find_version_tup < safe_version_tup
13) 
14) 

15) class TestJsonLint(unittest.TestCase):

16)     @unittest.skipIf(
17)         sys.version_info < (3, 6, 0), "json.dumps force-sorts on python 3.5"
18)     )

19)     def test_json_lint(self):
20)         valid = True
21)         for f in glob.glob("freewvsdb/*.json"):

22)             fp = open(f, encoding="ascii")

23)             orig = fp.read()
24)             fp.close()
25)             tmp = json.loads(orig)

26)             new = json.dumps(tmp, indent=2) + "\n"

27)             if orig != new:

28)                 print(f"json {f} not valid")

29)                 sys.stdout.writelines(difflib.unified_diff(orig, new))
30)                 valid = False

31)         self.assertTrue(valid)

32) 

33)     def test_json_values(self):
34)         jconfig = []

35)         for cfile in glob.glob("freewvsdb/*.json"):

36)             with open(cfile, encoding="ascii") as json_file:

37)                 jconfig += json.load(json_file)
38) 

39)         mkeys = {"name", "url", "safe", "vuln", "detection"}

40)         for item in jconfig:
41)             # check for all mandatory keys

42)             self.assertEqual(
43)                 mkeys.intersection(item.keys()),
44)                 mkeys,
45)                 msg=f"Missing key in {item['name']}",
46)             )

47) 
48)             # check we have at least one detection

49)             self.assertTrue(
50)                 len(item["detection"]) >= 1, msg=f"No detection in {item['name']}"
51)             )

52) 
53)             # vuln needs to be CVE or HTTPS URL

54)             self.assertTrue(
55)                 re.match("^CVE-[0-9]*-[0-9]*$", item["vuln"])
56)                 or item["vuln"].startswith("https://"),
57)                 msg=f"{item['name']}: Invalid vuln {item['vuln']}",
58)             )

59) 

60)             # make sure safe is a version
61)             if item["safe"] != "":
62)                 # we have a theoretical reDoS here, but
63)                 # this is no external data, therefore ok
64)                 self.assertTrue(

65)                     re.match(r"^([0-9]+\.)*[0-9]+$", item["safe"]),  # noqa: DUO138

66)                     msg=f"{item['name']}: Invalid safe version {item['safe']}",
67)                 )
68) 

69)             # make sure old_safe is properly sorted

70)             if "old_safe" in item:
71)                 old_safe = item["old_safe"].split(",")

72)                 for i in range(1, len(old_safe)):

73)                     self.assertTrue(
74)                         versioncompare(old_safe[i - 1], old_safe[i]),
75)                         msg=f"{item['name']}: Invalid old_safe"
76)                         " ordering {item['old_safe']}",
77)                     )

78) 

79)             # make sure latest is not outdated

80)             if "latest" in item and item["safe"] != "":
81)                 self.assertTrue(
82)                     not versioncompare(item["safe"], item["latest"]),
83)                     msg=f"{item['name']}: Safe version "
84)                     "{item['safe']} newer than latest"
85)                     " {item['latest']}",
86)                 )

87) 

88)             # subdir needs to be integer

89)             for det in item["detection"]:
90)                 self.assertTrue(
91)                     isinstance(det["subdir"], int),
92)                     msg=f"{item['name']}: subdir not int",
93)                 )

94) 

95) 

96) if __name__ == "__main__":