图文精华

About云»专题 › 技术学习(版主发帖区) › 大数据学习 › Hadoop|YARN › 实操演练› 基于大数据的疫情数据分析及可视化系统
分享

基于大数据的疫情数据分析及可视化系统

Mirinda 2022-3-31 15:41:03 发表于 实操演练 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 0 4261
本帖最后由 pig2 于 2022-4-1 07:31 编辑

问题导读：
1.开发环境用了哪些工具和库？
2.报表关键代码包含哪些内容？
3.数据库包含哪些内容？

1 前言
Hi，大家好，这里是丹成学长，今天做一个 基于大数据的疫情可视化系统，这只是一个demo，尝试对疫情数据进行分析，并可视化系统.

2 开发简介
学长从各省累计确诊人数随时间增长的态势以及空间分布随时间增长的态势入手，利用所收集的数据将各省累计确诊人数的时空分布用地图、折线图、堆叠条形图的形式呈现出来，从总体态势进行大致分析，然后再通过在不同粒度上展示各省疫情相关的详细信息，以发现其在不同时间段影响其态势变化的原因（境外输入、相关政策颁布等）。

同时还将疫情相关确诊、死亡等数据与各省的GDP、受教育程度、城镇化率、医疗卫生水平进行联系，以发现其与GDP、受教育程度、城镇化率之间是否存在关系。
其目标用户是政府等防控机关，通过本系统可以分析疫情时空分布模式、监控疫情发展态势、评估疫情防控措施。

3 数据集
数据源于爬虫与手动搜集：
weibo.json 新浪微博实时热搜前50的数据

a1.png


ProvinceData.json 省市疫情详情

a2.png


源于中国国家统计局（2018年中国统计年鉴）的数据
2020-01-10至2020-02-06数据来自国家，各省，武汉市卫健委疫情公告,2020-02-07后数据从今日头条接口采集

a3.png


a4.png


境外输入数据（手动从网上新闻中搜集）

a5.png


4 实现技术
4.1 系统架构

a6.png


4.2 开发环境
1、Node.js（前端Vue和后端node都依赖该环境）
2、开发工具：Git，vscode，Hbuilder，pycharm
3、开发语言：Python，HTML+CSS+JavaScript
4、重点依赖库：echarts，bootstrap，jQuery

4.3 疫情地图
新型冠状病毒肺炎已经开始全球蔓延，形势越来越严峻，我们除了关注国内发展疫情发展，也开始关注境外疫情的发展变化。通过地理可视化我们能够很直观的看到的各个区域的疫情严重程度。

4.3.1 填充图(Choropleth maps)
填充图适合表达区域之间的差异。
填充图能够很好的展现形全局差异，细微的差异很难表达。
但填充图的展现效果受区域面积影响比较大，容易形成误导

a7.png


上面的填充图，我们可以关注到亚洲，欧洲，美洲三大疫情区域，但是我们很难关注到，意大利、韩国的疫情严重程度。

4.3.2 气泡图
气泡图使用不同大小的圆圈表示区域上的数值。它在每个地理坐标上显示一个气泡，或在每个区域显示一个气泡。
下图我们以气泡图形式进行疫情地图可视化

a8.png


通过气泡图我们可以很明确的看出世界上疫情比较严重的国家，而且不会受到区域面积的干扰，欧洲一些面积比较小的国家我们也能够清晰的识别出来。气泡图表达方式缺点在于气泡过多，过大将会产生遮盖现在。
气泡是一种比较好的展现形式，如果使用方式不当也会产生干扰，比如数据映射方法选择，颜色色带选择都会影响数据表达的结果。

关键代码：
  1. 

  2. # 作者：丹成学长 q746876041

  3. import json

  4. import requests

  5. import jsonpath

  6. from pyecharts.charts import Map,Geo

  7. from pyecharts import options as opts

  8. from pyecharts.globals import GeoType,RenderType

  9. # 1.目标网站

  10. url='https://api.inews.qq.com/newsqa/v1/automation/foreign/country/ranklist'

  11. # 2.请求资源

  12. resp=requests.get(url)

  13. # 3.提取数据

  14. # 类型转换 json-->dict

  15. data=json.loads(resp.text)

  16. name = jsonpath.jsonpath(data,"$..name")

  17. # print(name)

  18. confirm = jsonpath.jsonpath(data,"$..confirm")

  19. # print(confirm)

  20. data_list = zip(name,confirm)

  21. # print(list(data_list))

  22. # 4.可视化 matplotlib 和 pyecharts

  23. 

  24. nameMap = {

  25.         'Singapore Rep.':'新加坡',

  26.         'Dominican Rep.':'多米尼加',

  27.         'Palestine':'巴勒斯坦',

  28.         'Bahamas':'巴哈马',

  29.         'Timor-Leste':'东帝汶',

  30.         'Afghanistan':'阿富汗',

  31.         'Guinea-Bissau':'几内亚比绍',

  32.         "Côte d'Ivoire":'科特迪瓦',

  33.         'Siachen Glacier':'锡亚琴冰川',

  34.         "Br. Indian Ocean Ter.":'英属印度洋领土',

  35.         'Angola':'安哥拉',

  36.         'Albania':'阿尔巴尼亚',

  37.         'United Arab Emirates':'阿联酋',

  38.         'Argentina':'阿根廷',

  39.         'Armenia':'亚美尼亚',

  40.         'French Southern and Antarctic Lands':'法属南半球和南极领地',

  41.         'Australia':'澳大利亚',

  42.         'Austria':'奥地利',

  43.         'Azerbaijan':'阿塞拜疆',

  44.         'Burundi':'布隆迪',

  45.         'Belgium':'比利时',

  46.         'Benin':'贝宁',

  47.         'Burkina Faso':'布基纳法索',

  48.         'Bangladesh':'孟加拉国',

  49.         'Bulgaria':'保加利亚',

  50.         'The Bahamas':'巴哈马',

  51.         'Bosnia and Herz.':'波斯尼亚和黑塞哥维那',

  52.         'Belarus':'白俄罗斯',

  53.         'Belize':'伯利兹',

  54.         'Bermuda':'百慕大',

  55.         'Bolivia':'玻利维亚',

  56.         'Brazil':'巴西',

  57.         'Brunei':'文莱',

  58.         'Bhutan':'不丹',

  59.         'Botswana':'博茨瓦纳',

  60.         'Central African Rep.':'中非',

  61.         'Canada':'加拿大',

  62.         'Switzerland':'瑞士',

  63.         'Chile':'智利',

  64.         'China':'中国',

  65.         'Ivory Coast':'象牙海岸',

  66.         'Cameroon':'喀麦隆',

  67.         'Dem. Rep. Congo':'刚果民主共和国',

  68.         'Congo':'刚果',

  69.         'Colombia':'哥伦比亚',

  70.         'Costa Rica':'哥斯达黎加',

  71.         'Cuba':'古巴',

  72.         'N. Cyprus':'北塞浦路斯',

  73.         'Cyprus':'塞浦路斯',

  74.         'Czech Rep.':'捷克',

  75.         'Germany':'德国',

  76.         'Djibouti':'吉布提',

  77.         'Denmark':'丹麦',

  78.         'Algeria':'阿尔及利亚',

  79.         'Ecuador':'厄瓜多尔',

  80.         'Egypt':'埃及',

  81.         'Eritrea':'厄立特里亚',

  82.         'Spain':'西班牙',

  83.         'Estonia':'爱沙尼亚',

  84.         'Ethiopia':'埃塞俄比亚',

  85.         'Finland':'芬兰',

  86.         'Fiji':'斐',

  87.         'Falkland Islands':'福克兰群岛',

  88.         'France':'法国',

  89.         'Gabon':'加蓬',

  90.         'United Kingdom':'英国',

  91.         'Georgia':'格鲁吉亚',

  92.         'Ghana':'加纳',

  93.         'Guinea':'几内亚',

  94.         'Gambia':'冈比亚',

  95.         'Guinea Bissau':'几内亚比绍',

  96.         'Eq. Guinea':'赤道几内亚',

  97.         'Greece':'希腊',

  98.         'Greenland':'格陵兰',

  99.         'Guatemala':'危地马拉',

  100.         'French Guiana':'法属圭亚那',

  101.         'Guyana':'圭亚那',

  102.         'Honduras':'洪都拉斯',

  103.         'Croatia':'克罗地亚',

  104.         'Haiti':'海地',

  105.         'Hungary':'匈牙利',

  106.         'Indonesia':'印度尼西亚',

  107.         'India':'印度',

  108.         'Ireland':'爱尔兰',

  109.         'Iran':'伊朗',

  110.         'Iraq':'伊拉克',

  111.         'Iceland':'冰岛',

  112.         'Israel':'以色列',

  113.         'Italy':'意大利',

  114.         'Jamaica':'牙买加',

  115.         'Jordan':'约旦',

  116.         'Japan':'日本',

  117.         'Japan':'日本本土',

  118.         'Kazakhstan':'哈萨克斯坦',

  119.         'Kenya':'肯尼亚',

  120.         'Kyrgyzstan':'吉尔吉斯斯坦',

  121.         'Cambodia':'柬埔寨',

  122.         'Korea':'韩国',

  123.         'Kosovo':'科索沃',

  124.         'Kuwait':'科威特',

  125.         'Lao PDR':'老挝',

  126.         'Lebanon':'黎巴嫩',

  127.         'Liberia':'利比里亚',

  128.         'Libya':'利比亚',

  129.         'Sri Lanka':'斯里兰卡',

  130.         'Lesotho':'莱索托',

  131.         'Lithuania':'立陶宛',

  132.         'Luxembourg':'卢森堡',

  133.         'Latvia':'拉脱维亚',

  134.         'Morocco':'摩洛哥',

  135.         'Moldova':'摩尔多瓦',

  136.         'Madagascar':'马达加斯加',

  137.         'Mexico':'墨西哥',

  138.         'Macedonia':'马其顿',

  139.         'Mali':'马里',

  140.         'Myanmar':'缅甸',

  141.         'Montenegro':'黑山',

  142.         'Mongolia':'蒙古',

  143.         'Mozambique':'莫桑比克',

  144.         'Mauritania':'毛里塔尼亚',

  145.         'Malawi':'马拉维',

  146.         'Malaysia':'马来西亚',

  147.         'Namibia':'纳米比亚',

  148.         'New Caledonia':'新喀里多尼亚',

  149.         'Niger':'尼日尔',

  150.         'Nigeria':'尼日利亚',

  151.         'Nicaragua':'尼加拉瓜',

  152.         'Netherlands':'荷兰',

  153.         'Norway':'挪威',

  154.         'Nepal':'尼泊尔',

  155.         'New Zealand':'新西兰',

  156.         'Oman':'阿曼',

  157.         'Pakistan':'巴基斯坦',

  158.         'Panama':'巴拿马',

  159.         'Peru':'秘鲁',

  160.         'Philippines':'菲律宾',

  161.         'Papua New Guinea':'巴布亚新几内亚',

  162.         'Poland':'波兰',

  163.         'Puerto Rico':'波多黎各',

  164.         'Dem. Rep. Korea':'朝鲜',

  165.         'Portugal':'葡萄牙',

  166.         'Paraguay':'巴拉圭',

  167.         'Qatar':'卡塔尔',

  168.         'Romania':'罗马尼亚',

  169.         'Russia':'俄罗斯',

  170.         'Rwanda':'卢旺达',

  171.         'W. Sahara':'西撒哈拉',

  172.         'Saudi Arabia':'沙特阿拉伯',

  173.         'Sudan':'苏丹',

  174.         'S. Sudan':'南苏丹',

  175.         'Senegal':'塞内加尔',

  176.         'Solomon Is.':'所罗门群岛',

  177.         'Sierra Leone':'塞拉利昂',

  178.         'El Salvador':'萨尔瓦多',

  179.         'Somaliland':'索马里兰',

  180.         'Somalia':'索马里',

  181.         'Serbia':'塞尔维亚',

  182.         'Suriname':'苏里南',

  183.         'Slovakia':'斯洛伐克',

  184.         'Slovenia':'斯洛文尼亚',

  185.         'Sweden':'瑞典',

  186.         'Swaziland':'斯威士兰',

  187.         'Syria':'叙利亚',

  188.         'Chad':'乍得',

  189.         'Togo':'多哥',

  190.         'Thailand':'泰国',

  191.         'Tajikistan':'塔吉克斯坦',

  192.         'Turkmenistan':'土库曼斯坦',

  193.         'East Timor':'东帝汶',

  194.         'Trinidad and Tobago':'特里尼达和多巴哥',

  195.         'Tunisia':'突尼斯',

  196.         'Turkey':'土耳其',

  197.         'Tanzania':'坦桑尼亚',

  198.         'Uganda':'乌干达',

  199.         'Ukraine':'乌克兰',

  200.         'Uruguay':'乌拉圭',

  201.         'United States':'美国',

  202.         'Uzbekistan':'乌兹别克斯坦',

  203.         'Venezuela':'委内瑞拉',

  204.         'Vietnam':'越南',

  205.         'Vanuatu':'瓦努阿图',

  206.         'West Bank':'西岸',

  207.         'Yemen':'也门',

  208.         'South Africa':'南非',

  209.         'Zambia':'赞比亚',

  210.         'Zimbabwe':'津巴布韦'

  211.     }

  212. map = Map().add(series_name='世界疫情分布',

  213.                 data_pair=data_list,

  214.                 maptype='world',

  215.                 name_map=nameMap,

  216.                 is_map_symbol_show=False

  217. )

  218. map.set_series_opts(label_opts=opts.LabelOpts(is_show=False))

  219. map.render('世界疫情分布情况3.html')
复制代码

4.4 全国疫情实时追踪
全国疫情实时追踪页面，支持折线图、条形图、扇形图、地图热力图展示，图表由Echarts实现，支持左上角侧边栏跳转。

a9.png


a10.png



4.6 其他页面

a11.png



a12.png


a13.png



5 关键代码
两个数据表
  1. CREATE TABLE `history` (

  2.   `ds` datetime NOT NULL COMMENT '日期',

  3.   `confirm` int(11) DEFAULT NULL COMMENT '累计确诊',

  4.   `confirm_add` int(11) DEFAULT NULL COMMENT '当日新增确诊',

  5.   `suspect` int(11) DEFAULT NULL COMMENT '剩余疑似',

  6.   `suspect_add` int(11) DEFAULT NULL COMMENT '当日新增疑似',

  7.   `heal` int(11) DEFAULT NULL COMMENT '累计治愈',

  8.   `heal_add` int(11) DEFAULT NULL COMMENT '当日新增治愈',

  9.   `dead` int(11) DEFAULT NULL COMMENT '累计死亡',

  10.   `dead_add` int(11) DEFAULT NULL COMMENT '当日新增死亡',

  11.   PRIMARY KEY (`ds`) USING BTREE

  12. ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
复制代码
  1. CREATE TABLE `details` (

  2.   `id` int(11) NOT NULL AUTO_INCREMENT,

  3.   `update_time` datetime DEFAULT NULL COMMENT '数据最后更新时间',

  4.   `province` varchar(50) DEFAULT NULL COMMENT '省',

  5.   `city` varchar(50) DEFAULT NULL COMMENT '市',

  6.   `confirm` int(11) DEFAULT NULL COMMENT '累计确诊',

  7.   `confirm_add` int(11) DEFAULT NULL COMMENT '新增治愈',

  8.   `heal` int(11) DEFAULT NULL COMMENT '累计治愈',

  9.   `dead` int(11) DEFAULT NULL COMMENT '累计死亡',

  10.   PRIMARY KEY (`id`)

  11. ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
复制代码
  1. import requests

  2. import json

  3. import time

  4. import pymysql

  5. 

  6. #返回历史数据和当日详细数据

  7. def get_tencent_data():

  8.     url1 = "https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5"

  9.     url2 = "https://view.inews.qq.com/g2/getOnsInfo?name=disease_other"

  10.     headers = {

  11.         'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36'

  12.     }

  13.     r1 = requests.get(url1, headers)

  14.     r2 = requests.get(url2, headers)

  15. 

  16.     #json字符串转字典

  17.     res1 = json.loads(r1.text)

  18.     res2 = json.loads(r2.text)

  19. 

  20.     data_all1 = json.loads(res1["data"])

  21.     data_all2 = json.loads(res2["data"])

  22. 

  23.     #历史数据

  24.     history = {}

  25.     for i in data_all2["chinaDayList"]:

  26.         ds = "2020." + i["date"]

  27.         tup = time.strptime(ds, "%Y.%m.%d")  # 匹配时间

  28.         ds = time.strftime("%Y-%m-%d", tup)  #改变时间输入格式，不然插入数据库会报错，数据库是datatime格式

  29.         confirm = i["confirm"]

  30.         suspect = i["suspect"]

  31.         heal = i["heal"]

  32.         dead = i["dead"]

  33.         history[ds] = {"confirm": confirm, "suspect": suspect, "heal": heal, "dead": dead}

  34.     for i in data_all2["chinaDayAddList"]:

  35.         ds = "2020." + i["date"]

  36.         tup = time.strptime(ds, "%Y.%m.%d")  # 匹配时间

  37.         ds = time.strftime("%Y-%m-%d", tup)  #改变时间输入格式，不然插入数据库会报错，数据库是datatime格式

  38.         confirm = i["confirm"]

  39.         suspect = i["suspect"]

  40.         heal = i["heal"]

  41.         dead = i["dead"]

  42.         history[ds].update({"confirm_add": confirm, "suspect_add": suspect, "heal_add": heal, "dead_add": dead})

  43. 

  44.     #当日详细数据

  45.     details = []

  46.     update_time = data_all1["lastUpdateTime"]

  47.     data_country = data_all1["areaTree"]  #list 25个国家

  48.     data_province = data_country[0]["children"] #中国各省

  49.     for pro_infos in data_province:

  50.         province = pro_infos["name"] #省名

  51.         for city_infos in pro_infos["children"]:

  52.             city = city_infos["name"]

  53.             confirm = city_infos["total"]["confirm"]

  54.             confirm_add = city_infos["today"]["confirm"]

  55.             heal = city_infos["total"]["heal"]

  56.             dead = city_infos["total"]["dead"]

  57.             details.append([update_time, province, city, confirm, confirm_add, heal, dead])

  58.     return history, details

  59. 

  60. 

  61. def get_conn():

  62.         #建立连接

  63.         conn = pymysql.connect(host="127.0.0.1", user="root", password="*", db="cov", charset="utf8")

  64.         #创建游标

  65.         cursor = conn.cursor()

  66.         return conn,cursor

  67. 

  68. def close_conn(conn,cursor):

  69.         if cursor:

  70.                 cursor.close()

  71.         if conn:

  72.                 conn.close()

  73. 

  74. #插入details数据

  75. def update_details():

  76.         cursor = None

  77.         conn = None

  78.         try:

  79.                 li = get_tencent_data()[1] #0是历史数据，1是当日详细数据

  80.                 conn,cursor = get_conn()

  81.                 sql = "insert into details(update_time,province,city,confirm,confirm_add,heal,dead) values(%s,%s,%s,%s,%s,%s,%s)"

  82.                 sql_query = "select %s=(select update_time from details order by id desc limit 1)"  #对比当前最大时间戳

  83.                 #对比当前最大时间戳

  84.                 cursor.execute(sql_query,li[0][0])

  85.                 if not cursor.fetchone()[0]:

  86.                         print(f"{time.asctime()}开始更新数据")

  87.                         for item in li:

  88.                                 cursor.execute(sql,item)

  89.                         conn.commit()

  90.                         print(f"{time.asctime()}更新到最新数据")

  91.                 else:

  92.                         print(f"{time.asctime()}已是最新数据！")

  93.         except:

  94.                 traceback.print_exc()

  95.         finally:

  96.                 close_conn(conn,cursor)

  97. 

  98. 

  99. #插入history数据

  100. def insert_history():

  101.     cursor = None

  102.     conn = None

  103.     try:

  104.         dic = get_tencent_data()[0]#0代表历史数据字典

  105.         print(f"{time.asctime()}开始插入历史数据")

  106.         conn,cursor = get_conn()

  107.         sql = "insert into history values (%s,%s,%s,%s,%s,%s,%s,%s,%s)"

  108.         for k,v in dic.items():

  109.             cursor.execute(sql,[k, v.get("confirm"),v.get("confirm_add"),v.get("suspect"),

  110.                            v.get("suspect_add"),v.get("heal"),v.get("heal_add"),

  111.                            v.get("dead"),v.get("dead_add")])

  112.         conn.commit()

  113.         print(f"{time.asctime()}插入历史数据完毕")

  114.     except:

  115.         traceback.print_exc()

  116.     finally:

  117.         close_conn(conn,cursor)

  118. 

  119. 

  120. #更新历史数据

  121. def update_history():

  122.     cursor = None

  123.     conn = None

  124.     try:

  125.         dic = get_tencent_data()[0]#0代表历史数据字典

  126.         print(f"{time.asctime()}开始更新历史数据")

  127.         conn,cursor = get_conn()

  128.         sql = "insert into history values (%s,%s,%s,%s,%s,%s,%s,%s,%s)"

  129.         sql_query = "select confirm from history where ds=%s"

  130.         for k,v in dic.items():

  131.             if not cursor.execute(sql_query,k):

  132.                 cursor.execute(sql,[k, v.get("confirm"),v.get("confirm_add"),v.get("suspect"),

  133.                                v.get("suspect_add"),v.get("heal"),v.get("heal_add"),

  134.                                v.get("dead"),v.get("dead_add")])

  135.         conn.commit()

  136.         print(f"{time.asctime()}历史数据更新完毕")

  137.     except:

  138.         traceback.print_exc()

  139.     finally:

  140.         close_conn(conn,cursor)

  141. 

  142. 

  143. insert_history()

  144. update_details()
复制代码

最新经典文章，欢迎关注公众号


原文链接：https://blog.csdn.net/HUXINY/article/details/121081904





回复

使用道具 举报

自定义广告语

没找到任何评论，期待你打破沉寂

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

发表新帖
Mirinda

超级版主

关注

  • 123

    主题

  • 125

    帖子

  • 11

    粉丝

TA的主题
关闭

推荐上一条 /2 下一条

关于我们· 联系我们· 加入我们· 小黑屋· 合作伙伴   

Copyright © 2001-2025 About云 Powered by Discuz! X3.4 Licensed Discuz Team.

简书 / Smrz 京ICP备2020039040号 Wxb 简书网举报电话：021-34700000