python html5 bootstrap 视频教程

深网 - Deep Web表面网络 IoT物联网 大数据 AI人工智能

2018-6-5 06:10| 发布者: digitser| 查看: 2601| 评论: 0|原作者: Qt/C++

摘要: 深网 - Deep Web表面网络 IoT物联网 大数据 AI人工智能 深网 英文译为 Deep Web,又称不可见网、隐藏网。深网 是指 Internet 互联网上那些不被 标准搜索引擎 索引的非表面不可见 Web 网络内容。 迈克尔·伯格曼 将当 ...
AI人工智能 语音助理 人工翻译 教程
深网 - Deep Web表面网络 IoT物联网 大数据 AI人工智能

"深网" 英文译为 "Deep Web",又称不可见网、隐藏网。"深网" 是指 Internet 互联网上那些不被 "标准搜索引擎" 索引的非表面不可见 Web 网络内容。


"迈克尔·伯格曼" 将当今互联网上的搜索服务,比喻为像在地球海洋表面拉起一个大网进行搜索,巨量的表面信息固然可通过这种方式被查找到,可还有相当大量的信息由于隐藏在深处而被搜索引擎错失。这些绝大部分被隐藏的信息,是必须通过 "动态请求产生" 的网页信息,而标准搜索引擎却无法对其进行查找。传统搜索引擎 "看" 不到,也获取不了这些存在于 "深网" 中的内容,除非通过 "特定操作或工具" 对这些页面进行动态 "生成或查找"。于是相对的,这些内容就 "被隐藏" 了起来,从而形成了所谓的 "深网"。


据估计,"深网" 要比表面网站大好几个数量级,特别是在这个人人都能发布网络信息的 "IoT 物联网" 大数据时代;当大部分个人发布的信息对于 "传统中心化" 服务商而言,可能 "无用或需进一步处理" 时,而那些占比不到 2% 的有价值信息 (对服务商无用) 就可能会被忽略或因长期存在却不可见而成为 "深网" 内容。但很重要的基本个人信息,譬如:性别、爱好、大致年龄、上网习惯、联系方式、等信息,"传统中心化" 服务商却一定不会放过还会对其进一步深入加工,并美其名曰 "个人画像"。这种 "精准数据" 从目前来看,对个人而言不是什么好事。


"传统中心化" 服务商的解决办法,目前来看是:采用 IoT 物联网、大数据、AI 人工智能、等新技术 (有时是一种垄断技术),直接定位到每台智能设备,甚至对应到每一个自然人。这样做的反果,有时会对社会产生重大负面影响,譬如:AI 人工智能杀熟,从 2014 年起中国国内越来越多人被大数据、AI 人工智能、等新技术进行诈骗的事情;2018 年美川普通俄门后爆出的天量 Facebook 个人数据涉漏,有所谓的学术研究团队利用 AI 人工智能分析 Facebook 会员群体特征。因此,2018 年 5 月欧洲通过的个人信息保护法,要求在收集某些个人信息前必须先征得同意。


由大数据、AI 人工智能、等新技术驱动的 "智能移动设备端" 信息流,有些 "服务商" 为了利益什么信息都有可能会将其拿去 "提取-加工",从而出现了前所未有的 "天量信息" 大爆炸,这种信息的 "对错-及时性-社会正面" 已不再重要,重要的只是流量。"信息流" 会每天不停轰炸 "智能移动设备",对大家的生活质量产生重大影响,所谓的千人千面,不是让你沉迷刷小视频,就是帮你革新世界观。


百度网盘

https://pan.baidu.com/s/1mhJHnQg


软件仓库

https://github.com/digitser

https://digitser.sourceforge.io/

https://pan.baidu.com/s/1TV70__Be1ta0ney1-tudFQ


免费高效 工业4.0数字化理念“灵活-高效-柔性”增强本地 Web 浏览器

http://browser.digitser.cn/

http://forum.digitser.cn/thread-2198-1-1.html


深网 vs 浅层网

Web 按其 "深度" 可分为 Surface Web (浅层网) 和 Deep Web (深网) 两部分。


与 Surface Web 相比,Deep Web 蕴藏了更丰富,更专业 (专注于某一领域)、更高质量的信息。且 Deep Web 的增长速度要远高于 Surface Web。Deep Web 内容大都是面向某一特定领域,且涵盖各领域,譬如:商业、教育、政府、等等。Deep Web 上 95% 的信息能公开访问,可免费获取。


01、Surface Web (浅层网)

是指通过超链接,可被 "传统搜索引擎" 索引到的页面集合。


通常情况下,由于计算能力、存储空间、及时反馈、等原因,"传统搜索引擎" 只会索引那些热门、社会影响正面、它认为必要且有指向超链接的 Web 内容。


从目前来看,下一代 "量子计算" 不知能否解决 "Windows、Mac、Unix、Linux 等" OS 本地文件的全面精确搜索,现在就要完全 Web 索引-搜索那就更不可能了。


02、Deep Web (深网)

是指 Web 中不能被传统搜索引擎索引到的,那部分内容,包括:动态内容、未被链接内容、私有网站、Contextual Web、被限制访问内容、脚本化内容、非 HTML 文本内容、等等。


包含以下 4 种情况:

01) 通过填写表单形成对后台在线数据库的查询,而得到的动态页面


实际应用中,人们更关注这一部分内容;因为,这部分内容对结构化数据的集成更有意义,可以采用的技术也更丰富。


DeepWeb 数据集成也主要是指对结构化信息的集成,可把 Web 中可访问的在线数据库称为 Web 数据库或 WDB。


这些内容只有在被查询时才会由 Web 服务器动态生成页面,把结果返回给访问者;因此,没有超链接指向这些页面,这是和那些可被直接访问的静态页面的根本区别。


随着 Web 技术的日益成熟和 DeepWeb 所蕴含信息量的快速增长,通过对 web 数据库的访问逐渐成为获取信息的主要手段,而对 DeepWeb 的研究也越来越受到人们的关注。


02) 由于缺乏指向超链接而没被搜索引擎索引到的页面 (这部分占比最大)


在 "IoT 物联网" 大数据时代,前所未有的 "天量信息" 使搜索引擎忙于应付,很多 Web 内容必然 "无指向超链接"。


譬如:未提交链接给搜索引擎或搜索引擎不愿收录的 Web 内容、私有网站、被限制访问内容、非 HTML 文本内容、等等。


03) 需要注册或其它限制才能访问的内容


04) Web 上可访问的非网页文件


由于 Web 技术本身问题,这些内容很难识别 (虽说 AI 人工智能很先进) 并被索引,比如:图片文件、PDF、Word 文档、某些专业软件生成文件、等等。


"长按二维码" 或 "扫一扫" 关注 "德云社区" 微信公众号

版权声明:
本文为独家原创稿件,版权归 德云社区,未经许可不得转载;否则,将追究其法律责任。


路过

雷人

握手

鲜花

鸡蛋

相关阅读

最新评论

psutil 5.7.0 官方中文文档编制 中文手册教程 人工翻译
psutil 5.7.0 官方中文文档编制 中文手册教程 人工翻译 网页背景为黑色以保护视力,未上传 en-US 官方原版文档编制,目前上传的最新 zh-CN 人工翻译为 psutil 5.7.0。 psu[58/2020-10-19]
psutil 5.7.0 中文文档编制 中文手册教程 人工翻译 更新日志
psutil 5.7.0 中文文档编制 中文手册教程 人工翻译 更新日志 网页背景为黑色以保护视力,未上传 en-US 官方原版文档编制,目前上传的最新 zh-CN 人工翻译为 psutil 5.7.0。[9/2020-10-19]
PyQt 4.11.4 for Qt 4.8.7 中文文档编制 手册 人工翻译 更新日志
PyQt 4.11.4 for Qt 4.8.7 中文文档编制 手册 人工翻译 更新日志 最近把网页背景由白色改为黑色,保护视力,不再上传 en-US 官方原版文档编制,目前上传的最新 zh-CN 人工[10/2020-10-19]
数字 IDE 网页 2019 - HTML Bootstrap网站站群 集成开发环境 编辑器
数字 IDE 网页 2019 - HTML Bootstrap网站站群 集成开发环境 编辑器 数字化 Web 网页 IDE 采用 应用 + 小程序 方式架构,结合 精确-模糊 批量查找-修改-比对 多文件-多工程[218/2020-10-08]
JavaScript Web-API DOM 官方中文文档编制 中文手册教程 人工翻译
JavaScript Web-API DOM 官方中文文档编制 中文手册教程 人工翻译 网页背景为黑色以保护视力,未上传 en-US 官方原版文档编制,目前上传的最新 zh-CN 人工翻译为 2020 年 9[32/2020-10-05]
JavaScript Web-API DOM 官方中文文档编制 中文手册教程 更新日志
JavaScript Web-API DOM 官方中文文档编制 中文手册教程 更新日志 网页背景为黑色以保护视力,未上传 en-US 官方原版文档编制,目前上传的最新 zh-CN 人工翻译为 2020 年 9[12/2020-10-05]
Cython 0.29.6 官方中文文档编制 官方教程 人工翻译 更新日志
Cython 0.29.6 官方中文文档编制 官方教程 人工翻译 更新日志 Cython 0.29.6 中文文档编制采用机器辅助 + 全人工翻译,完全采用 数字翻译 的文档翻译流程进行汉化 (未采用[118/2020-08-08]
Cython 0.29.6 官方中文文档编制 官方教程 手册 全人工翻译
Cython 0.29.6 官方中文文档编制 官方教程 手册 全人工翻译 以后不再上传 en-US 官方原版文档编制,目前上传的最新 zh-CN 人工翻译版本为 Cython 0.29.6。 Cython 0.29.6 [182/2020-08-08]
Qt 4.8.7 官方中文文档编制 教程 在线手册 人工翻译 更新日志
Qt 4.8.7 官方中文文档编制 教程 在线手册 人工翻译 更新日志 以后不再上传 en-US 官方原版文档编制,目前上传的最新 zh-CN 人工翻译版本为 Qt 4.8.7。 Qt 4.8.7 中文文档[49/2020-08-08]
PyInstaller 3.6 官方中文文档编制 官方教程 人工翻译 更新日志
PyInstaller 3.6 官方中文文档编制 官方教程 人工翻译 更新日志 PyInstaller 3.6 中文文档编制采用机器辅助 + 全人工翻译,完全采用 数字翻译 的文档翻译流程进行汉化 (未[59/2020-08-08]
PyInstaller 3.6 官方中文文档编制 官方教程 手册 全人工翻译
PyInstaller 3.6 官方中文文档编制 官方教程 手册 全人工翻译 以后不再上传 en-US 官方原版文档编制,目前上传的最新 zh-CN 人工翻译版本为 PyInstaller 3.6。 PyInstalle[80/2020-08-08]
Qt 4.8.7 官方中文文档编制 在线手册 官方教程 全人工翻译
Qt 4.8.7 官方中文文档编制 在线手册 官方教程 全人工翻译 以后不再上传 en-US 官方原版文档编制,目前上传的最新 zh-CN 人工翻译版本为 Qt 4.8.7。 Qt 4.8.7 中文文档编[50/2020-08-08]
Python2.7.18 官方中文文档编制 标准库教程 帮助文件 更新日志
Python2.7.18 官方中文文档编制 标准库教程 帮助文件 更新日志 CPython 2.7 原定于 2020 年 01 月 停止维护, 但官方却又于 2020 年 04 月发布了 CPython 2.7.18。 感谢德[50/2020-08-05]
Python3.6.8 官方中文文档编制 标准库教程 帮助文件 更新日志
Python3.6.8 官方中文文档编制 标准库教程 帮助文件 更新日志 网页背景由之前的白色主题,切换成黑色主题,保护视力及增强阅读体验。 完全采用 数字翻译 的文档翻译流程进[60/2020-08-05]
PySide1.2 2.x PyQt4 的 QComboBox.currentTextChanged 信号无响应解决办法
PySide1.2 2.x PyQt4 的 QComboBox.currentTextChanged 信号无响应解决办法 在 PySide1.2 PySide2.x PyQt4 中,使用 QComboBox.currentTextChanged 信号有时会无响应,如下[137/2020-06-29]

Archiver|Sitemap|小黑屋|德云社区   

GMT+8, 2020-10-27 09:02 , Processed in 0.031239 second(s), 27 queries .

工业和信息化部: 粤ICP备14079481号-2

技术支持 乐数软件     版权所有 © 2014-2021 德云社区    

返回顶部