做大数据分析一般用什么工具呢？

做大数据分析一般用什么工具呢？相关内容，小编在这里做了整理，希望能对大家有所帮助，关于做大数据分析一般用什么工具呢？信息，一起来了解一下吧！

本文目录一览：

• 1、做大数据分析一般用什么工具呢？
• 2、Python数据分析入门小知识：Jupyter notebook的68个常用快捷键
• 3、Python数据分析系列（一）Jupyter Notebook 的快捷键

做大数据分析一般用什么工具呢？

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据。基础
Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
好说完基础了，再说说还需要学习哪些大数据技术，可以按我写的顺序学下去。
Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。
记住学到这里可以作为你学大数据的一个节点。
Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。
Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。
Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。
Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。
Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。
Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。
Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。
Spark：它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

Python数据分析入门小知识：Jupyter notebook的68个常用快捷键

在使用Jupyter Notebook进行Python数据分析时，熟练掌握快捷键能显著提高效率。本文将介绍68个常用快捷键，帮助你更流畅地进行代码编写与调试。

在命令模式下，可通过按Esc键切换至编辑模式。编辑模式下，你可以进行代码的输入和编辑。在执行代码前，确保编辑模式下光标位于代码行首。

在编写代码时，经常需要引用之前的变量。值得注意的是，Jupyter Notebook中的变量在每个单元格执行后将保存于内存中。若在同一单元格内修改了之前定义的变量，这可能会导致后续单元格执行出现问题。例如，假设我们定义了变量a为2，随后在下一个单元格中将变量b修改为0。再次执行包含a/b的单元格时，会因为b值为0而产生除零错误。

为避免此类问题，建议在修改变量后，使用“Kernel->Restart&Run All”功能。这将重新启动内核并重新运行所有单元格，确保所有变量处于最新状态，从而避免因变量状态变更导致的执行错误。

在实际编程中，合理运用这些快捷键和技巧，能够有效提高代码编写效率，减少因变量管理不当导致的错误，让你在数据分析和科学计算的旅程中更加得心应手。

Python数据分析系列（一）Jupyter Notebook 的快捷键

Jupyter Notebook 的快捷键

Jupyter Notebook 提供了丰富的快捷键，以提高数据分析师和程序员的工作效率。这些快捷键分为命令模式和编辑模式，每种模式都有其特定的功能和快捷键。

一、命令模式（框线为灰色）

在命令模式下，你可以使用键盘快捷键来操作整个 Notebook，如运行代码单元、插入新单元、删除单元等。进入命令模式的快捷键是 Esc。

• Enter ：转入编辑模式。
• Shift-Enter ：运行本单元，并选中下一个单元。
• Ctrl-Enter ：运行本单元，但不改变当前选中的单元。
• Alt-Enter ：运行本单元，并在其下方插入一个新单元。
• Y ：将单元转换为代码状态。
• M ：将单元转换为 Markdown 状态，用于编写富文本。
• R ：将单元转换为 Raw 状态，通常用于显示原始文本。
• 1-6 ：分别设定 1-6 级标题（仅在 Markdown 单元中有效）。
• Up/K ：选中上方单元。
• Down/J ：选中下方单元。
• Shift-K ：扩大选中范围至上方单元。
• Shift-J ：扩大选中范围至下方单元。
• A ：在上方插入新单元。
• B ：在下方插入新单元。
• X ：剪切选中的单元。
• C ：复制选中的单元。
• Shift-V ：将剪切的单元粘贴到上方。
• V ：将剪切的单元粘贴到下方。
• Z ：恢复删除的最后一个单元。
• D,D ：删除选中的单元。
• Shift-M ：合并选中的单元。
• Ctrl-S 或 S ：保存文件。
• L ：切换行号显示。
• O ：切换输出显示。
• Shift-O ：切换滚动输出显示。
• Esc ：关闭当前页面（在某些情况下，可能需要按两次）。
• Q ：关闭页面（与 Esc+Q 功能相同）。
• H ：显示快捷键帮助。
• I,I ：中断 Notebook 内核。
• 0,0 ：重启 Notebook 内核。
• Shift-Space ：向上滚动页面。
• Space ：向下滚动页面。

二、编辑模式（框线为绿色）

在编辑模式下，你可以键入代码或文本，并对代码进行编辑。进入编辑模式的快捷键是 Enter。

• Tab ：代码补全或缩进。
• Shift-Tab ：显示函数细节提示。
• Ctrl-] ：增加缩进。
• Ctrl-[ ：减少缩进。
• Ctrl-A ：全选文本。
• Ctrl-Z ：撤销操作。
• Ctrl-Shift-Z 或 Ctrl-Y ：重做操作。
• Ctrl-Home 或 Ctrl-Up ：光标跳到单元开头。
• Ctrl-End 或 Ctrl-Down ：光标跳到单元末尾。
• Ctrl-Left ：光标跳到左边一个字首。
• Ctrl-Right ：光标跳到右边一个字首。
• Ctrl-Backspace ：删除前面一个字。
• Ctrl-Delete ：删除后面一个字。
• Esc 或 Ctrl-M ：退出编辑模式，进入命令模式。
• Shift-Enter ：运行本单元，并选中下一个单元。
• Ctrl-Enter ：运行本单元，但不改变当前选中的单元。
• Alt-Enter ：运行本单元，并在其下方插入一个新单元。
• Ctrl-Shift-- 或 Ctrl-Shift-Subtract ：分割当前单元。
• Ctrl-S ：保存文件（与命令模式下的 Ctrl-S 或 S 功能相同）。
• Up/Down ：在编辑文本时，光标上移或下移；在单元间切换时，选中上一个或下一个单元。

通过熟练掌握这些快捷键，你可以更加高效地使用 Jupyter Notebook 进行数据分析工作。

以上就是做大数据分析一般用什么工具呢？全部内容了，了解更多相关信息，关注国际学校信息网。