有时候需要制造一些测试的数据,以mysql官方给的测试库为基础,插入十万,百万或者千万条数据。利用一些函数和存储过程来完成。
官方给的测试库地址:
导入官方的数据库,做了一些简化,留下了部门表,员工表和雇佣表三张表,去掉了外键关联。因为是测试数据,日期的对应关系不具备准确性。
必要的函数
生成随机字符串
rand():生成0~1之间的随机数
floor:向下整数 (floor(1.2)=1)
ceiling 向上取整 (ceiling(1.2)=2)
substring:截取字符串
concat:字符串连接
create definer=`root`@`localhost` function `rand_string`(n int) returns varchar(255) charset latin1 begin declare chars_str varchar(100) default 'abcdefghijklmnopqrstuvwxyzabcdefghijklmnopqrstuvwxyz'; declare return_str varchar(255) default ''; declare i int default 0; while i < n do set return_str = concat(return_str,substring(chars_str , floor(1 + rand()*62 ),1)); set i = i +1; end while; return return_str; end
查看自定义的所有函数
show function status
测试使用:
select rand_string(5);
生成随机年月日字符串
生成一个指定时间段内的随机日期
select date( from_unixtime( unix_timestamp( '2000-01-01' ) + floor( rand() * ( unix_timestamp( '2020-12-31' ) - unix_timestamp( '2000-01-01' ) + 1 ) ) ));
函数:生成指定时间段内的随机日期
create definer=`root`@`localhost` function `rand_date_string`(startdate varchar(255),enddate varchar(255)) returns varchar(255) charset latin1 begin declare return_str varchar(255) default ''; set return_str =date( from_unixtime( unix_timestamp( startdate ) + floor( rand() * ( unix_timestamp( enddate ) - unix_timestamp( startdate ) + 1 ) ) ) ); return return_str; end
测试使用:
select rand_date_string('2000-01-01','2020-12-31'); //结果 2001-09-10
存储过程生成数据
给每个部门插入一百万员工,那么员工表就有九百万的数据。
create definer=`root`@`localhost` procedure `data`() begin declare i int default 1; declare j int default 0; declare id int default 0; while i < 10 do while j < 1000000 do insert into employees_m (emp_no,birth_date,first_name,last_name,gender,hire_date) values( id,rand_date_string('1970-01-01','1997-01-01'),rand_string(5),rand_string(5),'m',now()); insert into dept_emp_m (emp_no,dept_no,from_date,to_date) values( id,concat('d00',i),rand_date_string('1990-01-01','2020-12-31'),'2020-12-31'); set j=j+1; set id=id+1; end while; set j = 0; set i=i+1; end while; end
插入九百万条数据大概用时:4868s
上面的方式插入数据会很慢,可以将数据插入到内存表,就是将表的存储引擎修改为memory这样就会使用内存去存储数据,会比直接插入到innodb引擎的表中快很多,只不过就是没有持久化,但是速度贼快,插入一千万条数据大概需要时间: 1227.89s
附录
修改表存储引擎
alter table dept_emp_m engine=memory;
调整内存表的大小,修改配置文件
[mysqld] max_heap_table_size = 2048m tmp_table_size = 2048m
以上就是mysql制作具有千万条测试数据的测试库的方法的详细内容,更多关于mysql 千万条测试数据的资料请关注<计算机技术网(www.ctvol.com)!!>其它相关文章!
需要了解更多数据库技术:MySQL制作具有千万条测试数据的测试库的方法,都可以关注数据库技术分享栏目—计算机技术网(www.ctvol.com)!
本文来自网络收集,不代表计算机技术网立场,如涉及侵权请联系管理员删除。
ctvol管理联系方式QQ:251552304
本文章地址:https://www.ctvol.com/dtteaching/812971.html