编辑推荐
作者携手数据领域的强大智囊团为读者贡献的一本处理噪音数据的指南。
《数据整理实践指南》囊括众多真实世界的应用案例以及高水平的方法和策略。
《数据整理实践指南》汇集国外数据社区的技术骨干和活跃分子的集体智慧，多位数据领域的专家共同揭示了如何处理棘手的数据问题的奥秘。
噪音数据就是那些"给你惹麻烦的数据"，从蹩脚的存储到糟糕的说明，再到令人误解的策略，有多重情况可能导致噪音数据。
那么什么才是决定性因素呢？有人认为是技术方面的问题，比如缺失值或格式不对的记录，但是噪音数据包含更多的问题。
《数据整理实践指南》介绍了多种有效的方式来应对噪音数据。在《数据整理实践指南》中，多位数据领域的专家共同揭示了如何处理棘手的数据问题的奥秘。
通过阅读《数据整理实践指南》，你将学会：
测试你的数据，判断它是否适合分析；
将电子表格数据转变成可用的格式；
处理潜藏在文本数据里的编码问题；
进行一种成功的网络搜集尝试；
利用自然语言处理（NLP,NaturalLanguageProcessing）工具揭露线上评论的真实情感；
处理可以影响分析工作的云计算问题；
避免那些制造数据分析障碍的策略；
采用一种系统的数据质量分析方法。
内容简介
随着数据科学的热门，数据的优化、整理以及如何处理不良数据成为人们关注的重点。《数据整理实践指南》通过处理不良数据，进行数据清理的案例，向读者展示了处理数据的方法。
《数据整理实践指南》共有19章，从6部分向读者展示了使用和清理不良数据背后的理论和实践。第1部分是Grubby的动手实践指南，它向读者介绍了驾驭、提取数据的方法，如何处理文本数据中的数据以及Web开发中碰到的数据问题。第2部分是让人充满意外的数据，它向读者介绍了数据也会“撒谎”。第3部分是方法，它向读者介绍了处理不良数据的一些方法。第4部分是数据存储和基础设施，它向读者介绍了如何存储数据。第5部分是数据的商业化，它向读者介绍了如何避免数据处理的一些误差。第6部分是数据策略，它向读者介绍了如何追踪数据、评估数据质量以及构建数据质量相关平台等。
《数据整理实践指南》适合数据科学家、数据处理和整理相关开发人员阅读。也适合想要进入数据处理领域的读者阅读。
作者简介
Q．EthanMcCallum，是一位顾问、作家，也是一名科技爱好者。他帮助很多公司在数据和技术方面做出明智的决策，他为TheO’RellyNetwork和Java.net撰写文章，并且为《C/C++UsersJournal》《DoctorDobb’sJournal》和《LinuxMagazine》撰稿。目录
第1章从头说起：什么是噪音数据1
第2章是我的问题还是数据的问题4
2．1理解数据结构5
2．2校验8
2．2．1字段校验8
2．2．2值校验9
2．2．3简单统计的物理解释10
2．3可视化11
2．3．1关键词竞价排名示例13
2．3．2搜索来源示例18
2．3．3推荐分析19
2．3．4时间序列数据22
2．4小结27
第3章数据是给人看的不是给机器看的28
3．1数据28
3．1．1问题：数据是给人看的29
3．1．2对数据的安排29
3．1．3数据分散在多个文件中32
3．2解决方案：编写代码34
3．2．1从糟糕的数据格式中读取数据34
3．2．2从多个文件中读取数据36
3．3附言42
3．4其他格式43
3．5小结45
第4章纯文本中潜在的噪音数据46
4．1使用哪种纯文本编码？46
4．2猜测文本编码格式50
4．3对文本规范化处理53
4．4问题：在纯文本中掺入了特定应用字符55
4．5通过Python处理文本59
4．6实践练习题60
第5章重组Web数据62
5．1你能获得数据吗63
5．1．1一般工作流程示例64
5．1．2Robots协议65
5．1．3识别数据组织模式66
5．1．4存储离线版本68
5．1．5网页抓取信息69
5．2真正的困难73
5．2．1下载原始内容73
5．2．2表单、对话框和新建窗口73
5．2．3Flash74
5．3不利情况的解决办法75
5．4小结75
第6章检测撒谎者以及相互矛盾网上评论的困惑76
6．1Weotta公司76
6．2获得评论77
6．3情感分类77
6．4极化语言78
6．5创建语料库80
6．6训练分类器81
6．7分类器验证82
6．8用数据设计84
6．9经验教训84
6．10小结85
6．11信息资源86
第7章请噪音数据站出来87
7．1实例1：在制造业中减少缺陷87
7．2实例2：谁打来的电话90
7．3实例3：当“典型的”不等于“平均的”92
7．4经验总结95
7．5到工厂参观能成为试验的一部分吗96
第8章血、汗和尿97
8．1书呆子戏剧性工作交换97
8．2化学家如何整理数字98
8．3数据库都是我们的99
8．4仔细检查102
8．5生命短暂的漂亮代码库103
8．6改变化学家（和其他电子表单滥用者）104
8．7传递线（tl）和数据记录器（dr）105
第9章当数据与现实不匹配107
9．1到底是谁的报价机108
9．2股票分割、股利和调整110
9．3糟糕的现实112
9．4小结114
第10章偏差和误差的来源115
10．1估算上的偏差：一般性的问题117
10．2报告上的误差：一般性的问题118
10．3其他偏差来源121
10．3．1顶层编码/底部编码121
10．3．2Seam偏差122
10．3．3代理报告123
10．3．4样本选择123
10．4结论124
参考文献124
第11章不要把完美和正确对立起来：噪音数据真是噪音吗128
11．1回忆学校生活128
11．2向着专业领域前进129
11．2．1政府工作130
11．2．2政府数据非常真实131
11．3应用实例—服务电话132
11．4继续前进133
11．5经验与未来展望134
第12章数据库攻击：什么时候使用文件135
12．1历史135
12．2建立我的工具箱136
12．3数据存储—我的路障136
12．4将文件作为数据存储器137
12．4．1简单的文件138
12．4．2文件处理一切138
12．4．3文件可包含任何数据形式138
12．4．4局部数据破坏139
12．4．5文件拥有很棒的工具139
12．4．6没有安装税139
12．5文件的概念140
12．5．1编码140
12．5．2文本文件140
12．5．3二进制数据140
12．5．4内存映射文件140
12．5．5文件格式140
12．5．6分隔符142
12．6文件支持的网络框架143
12．6．1动机143
12．6．2实现145
12．7反馈145
第13章卧库表，隐网络146
13．1成本分配模型147
13．2组合展开微妙的作用150
13．3隐藏网络的浮现151
13．4存储图表151
13．5利用Gremlin遍历图表152
13．6在网络属性里寻找价值154
13．7从多重数据模型角度考虑并使用正确的工具155
13．8致谢155
第14章云计算神话156
14．1关于云的介绍156
14．2何谓“云”156
14．3云和大数据157
14．4Fred的故事157
14．4．1起初一切都好157
14．4．2基础结构全部放在云端158
14．4．3随着规模增长，最初的扩展很轻松158
14．4．4麻烦出现了158
14．4．5需要提高性能158
14．4．6关键要提高RAID10性能158
14．4．7重要的局部运行中断引发长期停机159
14．4．8有代价的RAID10159
14．4．9数据规模增大160
14．4．10地理冗余成为首选160
14．4．11水平扩展并不像想像得那么简单160
14．4．12成本显著增长160
14．5Fred的荒唐事161
14．5．1神话1：云是所有基础设施组件的解决方案161
该神话与Fred故事的联系161
14．5．2神话2：云可以节约成本161
该神话与Fred的故事的联系162
14．5．3神话3：通过RAID可以将cloud10的性能提高至可接受的水平163
该神话与Fred故事的联系163
14．5．4神话4：云计算使水平扩展轻松163
该神话与Fred故事的联系164
14．6结论和推荐164
第15章数据科学的阴暗面165
15．1避开这些陷阱165
15．1．1对数据一无所知166
15．1．2应该只为数据科学家提供一种工具来解决所有问题167
15．1．3应该为了分析而分析169
15．1．4应该学会分享169
15．1．5应该期望数据科学家无所不能170
15．2数据学家在机构中的位置170
15．3最后的想法171
第16章如何雇佣机器学习专家172
16．1确定问题172
16．2模型测试173
16．3创建训练集174
16．4选择特征175
16．5数据编码176
16．6训练集、测试集和解决方案集176
16．7问题描述177
16．8回答问题178
16．9整合解决方案178
16．10小结179
第17章数据的可追踪性180
17．1原因180
17．2个人经验181
17．2．1快照181
17．2．2保存数据源181
17．2．3衡量数据源182
17．2．4逆向恢复数据182
17．2．5分阶段处理数据并保持各阶段的独立性182
17．2．6识别根源183
17．2．7寻找要完善的区域183
17．3不变性：从函数程序设计借来的理念183
17．4案例184
17．4．1网络爬虫184
17．4．2改变185
17．4．3聚类185
17．4．4普及度185
17．5小结186
第18章社交媒体：是可抹去的印记吗187
18．1社交媒体：到底是谁的数据188
18．2管控188
18．3商业重组190
18．4对沟通和表达的期望190
18．5新的最终用户期望的技术含义192
18．6这个行业是做什么的194
18．6．1验证API195
18．6．2更新通知API195
18．7最终用户做什么195
18．8我们怎样一起工作196
第19章揭秘数据质量分析：了解什么时候数据足够优质197
19．1框架介绍：数据质量分析的4个C198
19．1．1完整性199
19．1．2一致性201
19．1．3准确性203
19．1．4可解释性205
19．2结论208
