-
51 Nod 1028 大数乘法 V2 NTT 学习
所属栏目：[大数据] 日期：2021-01-01 热度：178
题意：求两个大数的乘积 解题方法：之前已经用FFT做过了，今天学习一下NTT，记录一下模板。 先所以下NTT，具体的讲解可以看见这里 为了避免FFT在复数和浮点运算中出现精度问题，所以在某些情况下使用NTT。记录一下NTT的模板，其实和FFT很多一样。对了这个具[详细]
-
一份价值百万的大数据分析报告如何炼成？
所属栏目：[大数据] 日期：2021-01-01 热度：106
作者 | 江颖 大数据文摘欢迎各类优质稿件 请联系 tougao@bigdatadigest.cn 序 曾经，咨询公司一份报告就能收取企业几十万、甚至于上百万。而今，矫枉过正，数据分析报告却常常被企业认为没有任何实际价值。我经常和企业交流，他们告诉我，需要的是能够为他带[详细]
-
[bigdata-027] 最好用的 python+mysql的包：pymysql
所属栏目：[大数据] 日期：2020-12-31 热度：143
pip3 install pymysql import? pymysqlconn = pymysql.connect(host='127.0.0.1',port=3306,user='root',passwd='tiger88',db='spider_phone',charset='utf8')c = conn.cursor()c.execute('select * from phone_info limit 1;')r = c.fetchone()print(r)prin[详细]
-
数据可视化：手把手打造BI
所属栏目：[大数据] 日期：2020-12-31 热度：105
本文是 如何七周成为数据分析师 的第六篇教程，如果想要了解写作初衷，可以先行阅读七周指南。温馨提示：如果您已经熟悉BI，大可不必再看这篇文章，或只挑选部分。 我们上一篇 数据可视化：教你打造升职加薪的报表 教大家如何制作清晰美观的报表以及相应技巧[详细]
-
下一代大数据处理平台Apache Beam成为Apache顶级项目
所属栏目：[大数据] 日期：2020-12-31 热度：189
Apache软件基金会在2017年01月10正式宣布Apache Beam从孵化项目毕业，成为Apache的顶级项目 Apache Beam(原名Google DataFlow)是Google在2016年2月份贡献给Apache基金会的Apache孵化项目，被认为是继MapReduce，GFS和BigQuery等之后，Google在大数据处理领域[详细]
-
26、Power Query-日期与时间数据处理实例（统计出某年各月各周的
所属栏目：[大数据] 日期：2020-12-31 热度：188
本节重点：Power Query-日期与时间数据处理实例（统计出某年各月各周的借书人数） 需求如下： 上图所示，根据左侧的数据源，统计出2016年各月各周的借书人数（效果如右侧所示）。 分析：很明显，这个需求是对日期的一个操作，其实仅需要用到左侧的第一列即可[详细]
-
[bigdata-028]apache nifi 从mysql导出数据到hbase
所属栏目：[大数据] 日期：2020-12-31 热度：137
0.在hbase节点，启动thrift服务 hbase-daemon.sh start thrift 1. 在本机启动nif ./bin/nifi.sh start 2. 在浏览器输入http://localhost:8080/nifi，看到nifi的界面 3. 拖一个processor ExecuteSQL到界面 ??? 3.1 在processor上点击右键，选择configure，点[详细]
-
27、Power Query-日期与时间数据处理实例（图书室借书统计）
所属栏目：[大数据] 日期：2020-12-31 热度：122
本节要点：Power Query-日期与时间数据处理实例（图书室借书统计） 承接上一节的需求，我们引入切片器的功能，对图书室的借书以及归还情况进行查询和筛选，效果图如下： 对“借书状态”和“归还状态”进行筛选，亦可同时筛[详细]
-
[bigdata-029] 在centos 7上安装maria
所属栏目：[大数据] 日期：2020-12-31 热度：142
centos 7以上版本支持mysql的另一个分支maria 安装方式如下 正确安装mariadb http://blog.csdn.net/default7/article/details/39138139 http://blog.csdn.net/default7/article/details/41973887 yum install mariadb* service mariadb.service start system[详细]
-
从小程序的理念，挖掘小程序的方方面面
所属栏目：[大数据] 日期：2020-12-31 热度：84
小程序发布已过去3天，这个微信放的大招让整个互联网圈高潮了一把。目前业界已有各种小程序的分析和预测，也有很多诸如小程序解放了内存、小程序没用的声音。本文挖掘小程序背后表现出的理念，借这些理念阐述我对小程序的看法，适合的应用、与APP的关系等。[详细]
-
[bigdata-030] cdh 5.9的impyla操作hiveserver2
所属栏目：[大数据] 日期：2020-12-31 热度：147
参考文献：http://www.aichengxu.com/view/11094184 1. cdh 5.9 2. 开发机已经安装了impyla pip install thrift_sasl pip install sasl 3. 在cdh集群的一个节点启动hiveserver2 3.1 修改/etc/hive/conf.cloudera.hive/hive-site.xml 增加属性 property ? nam[详细]
-
HDU 2054 判断大数是否相等
所属栏目：[大数据] 日期：2020-12-31 热度：75
原题链接：http://acm.hdu.edu.cn/showproblem.php?pid=2054 题解：这个题不严谨，仅判断后向0就行，而且不用判正负。 代码： #includeiostreamusing namespace std;const int maxn = 100000;void cleanlastzero(char str[]) { int len = strlen(str),digit_[详细]
-
25、Power Query-日期与时间数据处理
所属栏目：[大数据] 日期：2020-12-31 热度：189
本节知识点：Power Query-日期与时间数据处理 日期与时间数据处理功能位置（同样在“转换”和“添加列”菜单中都存在）： 这里重点讲解一下某些知识点。 比如年限：意思是当前系统日期减去选中列的日期，结果以“天时分秒毫秒”方式显示。 月份下面的“一个[详细]
-
数据意识崛起，从企业应用看BI软件的未来发展
所属栏目：[大数据] 日期：2020-12-31 热度：120
前阵子，和一群企业CIO聊天，希望从甲方角度看看对BI产品的看法。在问及一些成熟企业为何不上BI项目时，大家纷纷表示目前还处于观望状态。 提及BI，大家都觉得有些飘忽，和大数据一样，听着高大上，能真正实现落地的并没有多少，性价比甚至不如一个报表工具[详细]
-
宋慧庆|广告系统中的大数据处理
所属栏目：[大数据] 日期：2020-12-31 热度：63
宋慧庆 ，时趣互动 移动广告架构师 十余年互联网老司机，具有多年互联网广告系统研发经验，负责研发个性化动态创意系统，用户画像标签系统以及大数据治理；对编程语言有浓厚的兴趣。 什么是大数据？ 从具备4V（Volume，Velocity，Variety，Value）特征的大量[详细]
-
[bigdata-023] pymongo 3.4和mongodb 2.x的安全机制导致的用户认
所属栏目：[大数据] 日期：2020-12-30 热度：136
#!/usr/bin/env python3#! coding:utf-8 -*-import pymongo"""python3.4.0 + mongo 2.4.14"""client = pymongo.MongoClient('114.55.239.66')client.tzdb1.authenticate("tzuser1","user1688",mechanism='MONGODB-CR')db = client["tzdb1"]devsycredit = db[[详细]
-
大数求和问题（C++版本）
所属栏目：[大数据] 日期：2020-12-30 热度：80
大数求和其实是个纯模拟，我们小学2年级老师就我们通过列竖式求加法，从个位开始加，进位+1，唯一需要值得注意的是我们求出来的结果要为有效值，即00001=1,0000=0 #include iostream#include stringusing namespace std;string nAB(string A,string B);strin[详细]
-
[bigdata-024] 在centos 6.5上手工安装mongodb 3.2.5
所属栏目：[大数据] 日期：2020-12-30 热度：182
1. 操作系统 centos 6.5 2. 删除旧版本 kill xxxx yum erase mongodb.x86_64 rm /etc/mongod.conf rm /init/mongo* rm /init.d/mongo* locate mongo 删除全部mongo的相关文件 updatedb -U / 3. 下载mongo http://downloads.mongodb.org/linux/mongodb-linux-[详细]
-
大数幂运算
所属栏目：[大数据] 日期：2020-12-30 热度：98
还是纯模拟，只可意会，不可言传，回到4年级，然后自己体会 #include stdio.h#include string.husing namespace std;#define MAX 40001int s[MAX];int nbit;void Init();void EXP(int nb,int ne);void vout(int x);int main(){ int base,exp; while(~scanf("[详细]
-
414. Third Maximum Number
所属栏目：[大数据] 日期：2020-12-30 热度：68
Given a non-empty array of integers,return the third maximum number in this array. If it does not exist,return the maximum number. The time complexity must be in O(n). Example 1: Input : [3,2,1] Output : 1 Explanation : The third maximum i[详细]
-
[bigdata-025] ubuntu 14.04 下用virtualbox安装ghost xp
所属栏目：[大数据] 日期：2020-12-30 热度：191
市面上的各种ghost的iso很多。这里只说关键点 1.? 用xp ghost镜像启动，选择dos 2. 在dos执行 pq，进行分区 ??? 2.1 首先，选择建立一个“主要分割磁区”，这一点千万不要错，设置为C盘。文件格式根据xp ghost 指定的格式来，现在一般是ntfs。大概，4g就行了[详细]
-
[bigdata-026] 大数据principle No.1 “只有干净数据才能进入存
所属栏目：[大数据] 日期：2020-12-30 热度：187
这个原则是极其重要。 1. 大数据eco，唯一的优点是处理海量数据，但是工具一般都不完善，藏着各种坑。不像传统数据库和传统功能，完备精致。 2. 最佳的使用方式就是：数据是干净清洁完美的，用大数据工具处理，性能很爽。 3. 但是，如果你试图用大数据eco做[详细]
-
[bigdata-026] 大数据principle No.1~No.4
所属栏目：[大数据] 日期：2020-12-30 热度：149
Principle No.1 只有干净的数据才能进入存储。 这个原则是极其重要。 1. 大数据eco，唯一的优点是处理海量数据，但是工具一般都不完善，藏着各种坑。不像传统数据库和传统功能，完备精致。 2. 最佳的使用方式就是：数据是干净清洁完美的，用大数据工具处理，[详细]
-
大数据处理算法一：BitMap算法
所属栏目：[大数据] 日期：2020-12-30 热度：57
腾讯面试题：给20亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中并且所耗内存尽可能的少？ ?解析:bitmap算法就好办多了 ?所谓bitmap，就是用每一位来存放某种状态，适用于大规模数据，但数据状态又不[详细]
-
大数据处理算法二：Bloom Filter算法
所属栏目：[大数据] 日期：2020-12-30 热度：182
百度面试题：给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ Bloom?Filter 是由 Bloom 在 1970 年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不[详细]
