炼数成金 大数据
订阅

大数据

Apache Flink 的迁移之路,2 年处理效果提升 5 倍
Apache Flink 的迁移之路,2 年处理效果提升 5 倍
我们最开始是以 standalone cluster 的模式部署。从 2017 年上半年开始,我们逐步把 Game Analytics 中一些小流量的 etl-job 迁移到 Flink,到 4 月份时,已经将产品接收各版本 SDK 数据的 etl-job 完全迁移至 Flink ...
分类:   
春节 幸运飞艇12 款 Linux 终端推荐
12 款 Linux 终端推荐
如果你跟我一样,整天要花大量的时间使用Linux命令行,而且正在寻找一些可替代系统自带的老旧且乏味的终端软件,那你真是找对了文章。我这里搜集了一些非常有趣的终端软件,可以用来替代debian系的Linux原生终端。Ti ...
分类:   
传感器发展通史简述
传感器发展通史简述
传感器与通信、计算机被称为现代信息技术的三大支柱和物联网基础,其应用涉及国民经济及国防科研的各个领域,是国民经济基础性、战略性产业之一。当前倍受国际关注的物联网、大数据、云计算技术,乃至智慧城市中的各 ...
分类:   
从Python代码到APP,你只需要一个小工具:GitHub已超3000星
从Python代码到APP,你只需要一个小工具:GitHub已超3000星
机器学习开发者想要打造一款 App 有多难?事实上,你只需要会 Python 代码就可以了,剩下的工作都可以交给一个工具。近日,Streamlit 联合创始人 Adrien Treuille 撰文介绍其开发的机器学习工具开发框架—— Streaml ...
分类:   
为什么要放弃 JSP ?
为什么要放弃 JSP ?
以前的项目大多数都是Java程序猿又当爹又当妈,既搞前,又搞后端。随着时代的发展,渐渐的许多大中小公司开始把前后端的界限分的越来越明确,前端工程师只负责前端的事情,后端工程师只管后端的事情。正所谓术业有专 ...
分类:   
SLAM初识
SLAM初识
SLAM,中文译作同时定位与地图创建。外行乍一听起来非常拗口,为了不在一开始就吓跑读者,我们先不对其进行专业的解释,用一个形象的例子来进行说明。我们知道现在有不少家用的扫地机器人(如下图所示),可以代替人 ...
分类:   
SLAM技术框架
SLAM技术框架
最早的SLAM雏形是在军事(核潜艇的海底定位)上的应用,主要传感器是军用雷达。SLAM技术发展到如今已经几十年,目前以激光雷达作为主传感器的SLAM技术比较稳定、可靠,仍然是主流的技术方案。但随着最近几年计算机视 ...
分类:   
关于 Redis 的一些新特性、使用建议和最佳实践
关于 Redis 的一些新特性、使用建议和最佳实践
redis从2009年诞生到现在已经走过将近10年,从最开始大家在讨论nosql和传统关系数据库孰优孰劣,到现在大家谈起分布式锁,缓存纷纷将Redis作为其第一选择,服务端面试中Redis也作为一项必备能力,而如今Redis 5.0已 ...
分类:   
终于有人把 Docker 讲清楚了,万字详解!
终于有人把 Docker 讲清楚了,万字详解!
LXC为Linux Container的简写。可以提供轻量级的虚拟化,以便隔离进程和资源,而且不需要提供指令解释机制以及全虚拟化的其他复杂性。相当于C++中的NameSpace。容器有效地将由单个操作系统管理的资源划分到孤立的组中 ...
分类:   
Redis 到底是怎么实现“附近的人”这个功能的?
Redis 到底是怎么实现“附近的人”这个功能的?
针对“附近的人”这一位置服务领域的应用场景,常见的可使用PG、MySQL和MongoDB等多种DB的空间索引进行实现。而Redis另辟蹊径,结合其有序队列zset以及geohash编码,实现了空间搜索功能,且拥有极高的运行效率。本文 ...
分类:   
Python 3.8已发布,现在是切换至新版本的好时机吗?
Python 3.8已发布,现在是切换至新版本的好时机吗?
Python 3.8 已于前两周正式发布,不过目前大多数开发者主要使用的仍是 Python 3.7.x 或更旧的版本。事实上,立刻切换到使用 Python 3.8 可能会引发一些问题。想知道何时切换至 Python 3.8?下文将简要概述切换主要的 ...
分类:   
《中华人民共和国密码法》正式发布!
《中华人民共和国密码法》正式发布!
第一条 为了规范密码应用和管理,促进密码事业发展,保障网络与信息安全,维护国家安全和社会公共利益,保护公民、法人和其他组织的合法权益,制定本法。第二条 本法所称密码,是指采用特定变换的方法对信息等进行 ...
分类:   
数据显示市场丢失,那么 Hadoop 气数已尽?
数据显示市场丢失,那么 Hadoop 气数已尽?
我先从一个悲观的观点说起:Hadoop 正在迅速失去市场,我们可以从 Google 趋势走向看出这个现象:看起来 Hadoop 正处于炒作图的下坡轨道上,正在走向灭亡。我们都知道前段时间 Cloudera 已经收购了 Hortonworks,这 ...
分类:   
Hadoop 对象存储 Ozone
Hadoop 对象存储 Ozone
Apache Hadoop 项目至今已经有十多年的历史了,作为大数据的基石,自从投放之社区之后就引来了不少的眼球,进而也孕育出了众多的Apache项目,例如HBase,Hive , Spark 等等这些优秀的数据存储和处理等项目,从而构造 ...
分类:   
JDK 13 新特性一览
JDK 13 新特性一览
ZGC目前没有取消提交并将内存返回给操作系统,即使该内存长时间未使用。对于所有类型的应用程序和环境,此行为并非最佳, 尤其是那些需要关注内存占用的应用程序和环境 例如:通过使用支付资源的容器环境。应用程序 ...
分类:   
轰动全球的谷歌量子计算机
轰动全球的谷歌量子计算机
在加利福尼亚戈莱塔的山峦和海岸之间,坐落着一间不起眼的办公室,旁边就是高速公路。它可能属于任何一家南加州公司;工人们坐在荧光灯下的灰色隔间里,有一个架子用来放员工的自行车和冲浪板。但在这些桌子上,物理 ...
分类:   
IBM直怼谷歌「实现量子霸权」:1万年太久,经典计算机只需2天半
IBM直怼谷歌「实现量子霸权」:1万年太久,经典计算机只需2天半
上个月,谷歌「实现量子霸权」的消息占据各大媒体的头版头条。《财富》、《金融时报》等多家外媒报道称,谷歌用一台 53 量子比特的量子计算机实现了传统架构计算机无法完成的任务,在世界第一超算需要计算 1 万年的 ...
分类:   
春节 幸运飞艇美国人为什么不待见人脸识别技术?
美国人为什么不待见人脸识别技术?
2019 年 5 月,旧金山市对人脸识别技术发出了禁令,禁止该技术在政府机关和执法机关中使用,从而成为全球首个对人脸识别技术发出禁令的城市。不过,美国社会对人脸识别技术的反对不止于旧金山。近期,加州奥克兰市正 ...
分类:   
Python3.8正式发布!新特性解析在这里
Python3.8正式发布!新特性解析在这里
10月14日,Python 3.8 正式版发布。这也意味着一个Python开发周期的结束,和另一个开发周期的开始。Python 3.9 预计在2020年10月份发布。Python项目中一个常见的麻烦就是清理git代码库中的__pycache__文件,这些文件 ...
分类:   
合规成本可能高达550亿美元的CCPA,将于2020年正式生效
合规成本可能高达550亿美元的CCPA,将于2020年正式生效
《加州消费者隐私保护法案》(CCPA)的出台,很可能意味着之后在加州经营的公司都需要按照相关法案指导意见来处理大量数据。就目前而言,CCPA主要体现在以下几个方面:保护消费者的知情权。企业在收集个人资料之前, ...
分类:   
GitHub趋势榜第一:超强PyTorch目标检测库Detectron2,训练更快,支持更多任务
GitHub趋势榜第一:超强PyTorch目标检测库Detectron2,训练更快,支持更多任务
PyTorch目标检测库Detectron2诞生了,Facebook出品。站在初代的肩膀上,它训练比从前更快,功能比从前更全,支持的模型也比从前更丰盛。开源5天,已在GitHub收获3100星,还成了趋势榜第一:除此之外,团队把大规模姿 ...
分类:   
为什么我抛弃了 Ubuntu?
为什么我抛弃了 Ubuntu?
对于Ubuntu,我仍然会给予很高的评价,而且我非常敬仰Canonical。在企业界,没有人能像红帽那样将Linux作为一种严格的企业基础设施工具予以大力推广。Canonical也同样功不可没,它成功地将Linux桌面版推广到了很多新 ...
分类:   
为什么不建议在 MySQL 中使用 UTF-8?
为什么不建议在 MySQL 中使用 UTF-8?
Unicode字符集包含了上百万个字符。最简单的编码是UTF-32,每个字符使用32位。这样做最简单,因为一直以来,计算机将32位视为数字,而计算机最在行的就是处理数字。但问题是,这样太浪费空间了。UTF-8可以节省空间, ...
分类:   
对于大表的写入和统计查询该如何权衡,我有四个解决思路
对于大表的写入和统计查询该如何权衡,我有四个解决思路
首先根据描述业务情况,业务部门的需求其实更偏向于AP方向的业务,执行频率不高,但对数据准确性要求高。 当然至于具体的解决方案,上层需求不应该关注底层的技术细节,而是做到技术有效支撑即可。所以从我的理解中 ...
分类:   
5G都不能取代的Wi-Fi6,到底有多6
5G都不能取代的Wi-Fi6,到底有多6
据了解,最新一代WiFi6(802.11ax)的传输速率最高可达9.6Gbps,也就是说理论传输速度达到了1.2GB/s的传输速度。随着WiFi6的到来,将会覆盖更多样化的应用,例如物联网、汽车,到4K视频传输等。蜂窝通信与WiFi,就像移 ...
分类:   
PostgreSQL 12.0 正式发布,更多新功能来袭!
PostgreSQL 12.0 正式发布,更多新功能来袭!
2019年10月3日,PostgreSQL全球开发组宣布——世界上功能最为强大的开源数据库正式发布PostgreSQL 12版本。PostgreSQL 12版在各方面都得到了加强,包括显著地提升查询性能,特别是对大数据集,总的空间利用率方面。 ...
分类:   
世界第一超算跑深度学习模型,2.76万块V100 GPU将分布式训练扩展到极致
世界第一超算跑深度学习模型,2.76万块V100 GPU将分布式训练扩展到极致
分布式计算确实需要在很多 GPU 上训练,但你见过在排名第一的超算上训练深度模型,在 2.76 万块 V100 GPU 训练模型的方法吗?重要的是,通过新的通信策略,这么多 GPU 还能实现近线性的加速比,橡树岭国家实验室和英 ...
分类:   
春节 幸运飞艇Kafka 孕育开源 KarelDB
Kafka 孕育开源 KarelDB
Apache Kafka及其配套的键值存储系统如今用于为越来越多的关系数据库提供持久性存储。大多数数据库使用键值存储系统作为基础。最近冒出来的KarelDB是一种关系数据库,它几乎完全建立在开源组件的基础上,包括用于SQL ...
分类:   
谷歌、IBM 们的“量子争霸”迷局
谷歌、IBM 们的“量子争霸”迷局
虽然官网很快撤下了论文,但NASA验证谷歌获得“量子霸权”的消息,已经让潜在对手和等待已久的业界集体躁动了起来。相关内容想必大家已经看到了许多讨论,就不再赘述了。简单来说,就是谷歌的量子计算机完成相关计算 ...
分类:   
让人头大的各种锁,从这里让你思绪清晰
让人头大的各种锁,从这里让你思绪清晰
Java中的锁准确的来说也是为了保证安全,不过不同的是Java中的锁是为了保证并发所需要的。所以在Java中加锁准确的来说是为了保证并发安全,同时也是为了解决内存中的一致性,原子性,有序性三种问题。在Java中提供了 ...
分类:   

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

热门文章

     

    GMT+8, 2019-11-8 05:56 , Processed in 0。128262 second(s), 19 queries 。

    幸运飞艇聊天 幸运飞艇多少期 幸运飞艇的资料 幸运飞艇二面 如何买幸运飞艇 幸运飞艇太假 幸运飞艇能打和 幸运飞艇刷反 幸运飞艇作弊 幸运飞艇群