[大数据]MapReducer 排序控制、分区控制、分组控制

2019-3-18 流沙 大数据

数据结构: NewOrderBean public class NewOrderBean implements WritableComparable<NewOrderBean>{ private String orderId; private String orderUser; private String orderName; private float orderPrice; private int orderNum; private float totalPrice; public NewOrderBean() {}...

阅读全文>>

评论(0) 浏览(320)


hadoop读取文件java.io.EOFException解决

2019-3-13 流沙 大数据

调试了一上午, 蛋疼, 写代码不认真 ,记录下 public void readFields(DataInput in) throws IOException { // TODO Auto-generated method stub //this.page = in.readUTF(); //this.count = in.readInt(); this.page= in.readUTF(); this.count = in.readInt(); } public void write(DataOutput out) t...

阅读全文>>

评论(0) 浏览(533)


[大数据]Maven打包的三种方式

2019-3-8 流沙 大数据

Maven可以使用mvn package指令对项目进行打包,如果使用Java -jar xxx.jar执行运行jar文件,会出现"no main manifest attribute, in xxx.jar"(没有设置Main-Class)、ClassNotFoundException(找不到依赖包)等错误。 要想jar包能直接通过java -jar xxx.jar运行,需要满足: 1、在jar包中的META-INF/MANIFEST.MF中指定Main-Class,这样才能确定程序的入口在哪里; 2、要能加载到依赖包。 使用Maven...

阅读全文>>

评论(0) 浏览(380)


[大数据] hdfs wordcount 统计框架

2019-3-5 流沙 大数据

主要涉及的java的一些知识 统计固定目录中 单词个数 mapper可以随意切换逻辑 用到了简单的反射和配置机制 代码加载的lib包太多, 直接分享到百度网盘 框架可扩展 框架代码, 百度下载地址 链接: https://pan.baidu.com/s/18uivAWqDk1kCMmyy34s-YA 提取码: 3r3v 

阅读全文>>

评论(0) 浏览(331)


[大数据] hdfs_Client Demo 测试代码

2019-3-3 流沙 大数据

测试hdfs public class HdfsClientDemo { public static void main(String[] args) throws Exception { /** * Configuration参数对象的机制: * 构造时,会加载jar包中的默认配置 xx-default.xml * 再加载 用户配置xx-site.xml ,覆盖掉默认参数 * 构造完成之后,还可以conf.set("p","v"),会再次覆盖用户配置文件中的参数值 */ // ne...

阅读全文>>

评论(0) 浏览(387)


[大数据]hdfs客户端的常用操作命令

2019-2-26 流沙 大数据

1、上传文件到hdfs中 hadoop fs -put /本地文件  /aaa 2、下载文件到客户端本地磁盘 hadoop fs -get /hdfs中的路径   /本地磁盘目录 3、在hdfs中创建文件夹 hadoop fs -mkdir  -p /aaa/xxx 4、移动hdfs中的文件(更名) hadoop fs -mv /hdfs的路径1  /hdfs的另一个路径2 复制hdfs中的文件到hdfs的另一个目录 hadoop fs -cp /hdfs路径_1  /hdfs路径_2 ...

阅读全文>>

评论(0) 浏览(332)


[大数据]启动hadoop,报错Error JAVA_HOME is not set and could not be found

2019-2-26 流沙 大数据

  报如错误:JAVA_HOME is not set and could not be found,可能是因为JAVA_HOME环境没配置正确,还有一种情况是即使各结点都正确地配置了JAVA_HOME,但在集群环境下还是报该错误,解决方法是显示地重新声明一遍JAVA_HOME         1、检查JAVA_HOME是否配置正确(伪分布式环境)         启动start-all.sh时报错,如下所示 ...

阅读全文>>

评论(0) 浏览(280)


[大数据] ssm框架简单测试

2019-1-29 流沙 大数据

1\功能框架 -  spring springmvc  mybatis 框架 2\实现对数据的增删改查 3\使用了 mybatis的逆向功能,生成了 model dao mapper 可以直接使用测试, 源码下载地址 sql文件 + web源代码 (权限限制没有实现) 空间有流量限制, 提供百度网盘下载 链接: https://pan.baidu.com/s/187_2kM7ySK9eSWOoHmA7Zw 提取码: yiwm 

阅读全文>>

评论(0) 浏览(325)


[大数据]mybatis框架讲解(五) 逆向工程

2019-1-6 流沙 大数据

1 删除已经生成的包 2 配置好直接的数据库连接文件 3 配置好要生成的表 4 直接运行main 框架代码: generatorSqlmapCustom.rar

阅读全文>>

评论(0) 浏览(734)


[大数据]mybatis 框架详解(四) 完整测试案例

2019-1-6 流沙 大数据

功能展示: 1\ 详细展示了mybatis中resultMap的使用 2\ 详细展示了动态sql的使用方法 3\ 一对一查询和映射 4\一对多的高级映射 可供框架参考和开发 MyBatis.rar

阅读全文>>

评论(0) 浏览(323)


mysql外键约束

2019-1-6 流沙 大数据

如果表A的主关键字是表B中的字段,则该字段称为表B的外键,表A称为主表,表B称为从表。外键是用来实现参照完整性的,不同的外键约束方式将可以使两张表紧密的结合起来,特别是修改或者删除的级联操作将使得日常的维护工作更加轻松。外键主要用来保证数据的完整性和一致性 两个表必须是InnoDB表,MyISAM表暂时不支持外键 外键列必须建立了索引,MySQL 4.1.2以后的版本在建立外键时会自动创建索引,但如果在较早的版本则需要显示建立; 外键关系的两个表的列必须是数据类型相似,也就是可以相互转换类型的列,比如int和tinyint可以,而int和char则不可以; 创建外键语法: ...

阅读全文>>

评论(0) 浏览(308)


[大数据]mybatis 框架详解(三) 框架详解

2019-1-6 流沙 大数据

目录 1、什么是MyBatis? 2、MyBatis 入门实例基于xml配置 3、MyBatis 入门实例注解配置 4、MyBatis 入门实例  一对一  基于xml配置 4、MyBatis 入门实例  一对多,多对一  基于xml配置 5、MyBatis 入门实例  多对多  基于xml配置   回到顶部 1、什么是MyB...

阅读全文>>

评论(0) 浏览(426)


[大数据]mybatis 框架讲解(二) 增删改查配置

2019-1-5 流沙 大数据

模糊查询,注意他的使用方法,其他基本一致 具体的xml配置文件如下 <?xml version="1.0" encoding="UTF-8"?> <!-- 该文件代表的是user类和user表的映射关系,关于user表的sql语句等等写在这里 --> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd"> <mapper namespace="dao...

阅读全文>>

评论(0) 浏览(425)


[大数据]mybatis 框架讲解(一)

2019-1-4 流沙 大数据

用来替代jdbc的一个框架 代码实现功能: (一) 连接数据库 (二) 简单配置mybatis (三) 实现数据查询 下载地址: TestMyBatis.rar

阅读全文>>

评论(0) 浏览(827)


Powered by 流沙团