这篇文章主要介绍了mysql数据迁徙方法工具解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
数据迁徙是每个后端都会遇到的工作之一,数据库技术:Mysql数据迁徙方法工具解析介绍了一些常见的数据迁徙方法与工具
mysqldump:数据结构不变的数据迁徙
导出数据
mysqldump -u root -p database_name table_name > dump.sql
恢复数据
mysql -u root -p databese_name < dump.sql
或者连接mysql客户端
mysql> source dump.sql
使用pymysql连接数据库
可以直接用用户名密码连接的数据库
class generalconnector: def __init__(self, config, return_dic=false): self.return_dic = return_dic self.config = config def __enter__(self): self.conn = pymysql.connect(**self.config, port=3306) if self.return_dic: # 一行数据会变成一个字典 self.cursor = self.conn.cursor(pymysql.cursors.dictcursor) else: self.cursor = self.conn.cursor() return self.cursor def __exit__(self, *args): self.cursor.close() self.conn.commit() self.conn.close()
使用:
# local_db = { # 'user': 'root', # 'passwd': '', # 'host': '127.0.0.1', # 'db': 'local_db' # } with generalconnector(const.local_db, return_dic=true) as cursor: cursor.execute('select `col1`, `col2` from test;') return cursor.fetchall()
连接处于需要ssh连接的服务器的数据库
class sshconnector: def __init__(self, server, config, return_dic=false): self.return_dic=return_dic self.server = server self.config = config def __enter__(self): self.conn = pymysql.connect(**self.config, port=self.server.local_bind_port) if self.return_dic: # 一行数据会变成一个字典 self.cursor = self.conn.cursor(pymysql.cursors.dictcursor) else: self.cursor = self.conn.cursor() return self.cursor def __exit__(self, *args): self.cursor.close() self.conn.commit() self.conn.close()
使用:
# server = sshtunnelforwarder( # (remote_host, ssh_port), # ssh_username=username, # ssh_pkey=ssh_key, # ssh_private_key_password=ssh_key_passwd, # remote_bind_address=('127.0.0.1', 3306) # mysql服务位置 # ) # server_db = { # 'user': 'root', # 'passwd': '', # 'host': '127.0.0.1', # 'db': 'server_db' # } # 创建一个隧道将服务端的mysql绑定到本地3306端口 with const.server as server: with sshconnector(server, const.server_db) as cursor: cursor.execute('show tables;') data = cursor.fetchall() print(data)
cursor的各种操作
1.cursor.execute(sql_statement)
执行一条sql语句
2.cursor.fetchall()
获取cursor的所有结果,常跟在select语句后使用
3.cursor.fetchone()
获取cursor的第一条结果
4.cursor.lastrowid
最后一条数据的id
5.cursor.executemany(insert_statement, data_list)
批量插入一批数据,如
with const.server as server: with connector.connector(server, const.db_1) as cursor: cursor.execute('select * from preference') preferences = cursor.fetchall() with connector.connector(server, const.db_2) as cursor: cursor.executemany('insert into preference (`id`,`theme`,`user_id`) values (%s,%s,%s)',preferences)
从cursor获取list类型的结果
cursor.execute('select `name` from user;')
直接使用fetchall(),只能得到tuple包裹的数据
cursor.fetchall() # (('jack',), ('ben'))
现在希望得到一个list结果集,做到像django中flat=true那样的效果
有两种方法
列表解析式(list comprehension)
name_list = [x[0] for x in cursor.fetchall()]
这个方法的缺点在于会先使用fetchall()将结果集读到内存,再做列表转换,并不高效。
itertools工具
name_list = list(itertools.chain.from_iterable(cursor))
推荐使用这个方式,第一它不会将所有结果fetch到内存中,第二使用itertools生成列表比列表解析式要快
如何在数据迁徙中使用django的model
- 需要拷贝django的settings文件,删掉不需要的配置,并设置好迁徙目标数据库
- 需要拷贝用到此model的文件
- 需要在settings.installed_apps中引入models.py文件所在的目录
- 在迁徙脚本头部启动django
import os import django import sys sys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__)))) os.environ.setdefault("django_settings_module", "translate.settings") django.setup()
通过ssh隧道的本地转发实现django连接远程数据库
创建一个ssh隧道,将远程数据库映射到本地端口
ssh -l local_port:localhost:<remote mysql port> <username>@<remote host>
ssh连接进行时,可以通过访问本地端口来访问远程数据库
在django的settings中配置数据库
databases = { 'default': { 'engine': 'django.db.backends.mysql', 'name': db_name, 'user': remote_mysql_user, # 远程数据库账号密码 'password': remote_mysql_password, 'host': "localhost", 'port': local_port, # 远程数据库映射到本地的端口 'options': {'init_command': 'set default_storage_engine=innodb;'} } }
至此,在使用django的model时,将通过ssh隧道访问远程数据库
注意事项
- 事先了解迁徙数据量,并且取5%~10%的数据测试迁徙速度
- 由测试数据预估总迁徙用时,如果总迁徙用时大于一小时,一定要把迁徙脚本放到服务器运行,这样迁徙过程不易中断,且服务器性能远比个人电脑更优
- 尽量使用批量插入减少写数据库的次数,使用cursor.executemany或者django的bulk_create
- 迁徙过程要写好log,这样能够知道数据迁徙到了哪一步,如意外终端也能找到断点继续运行
- 创建时间字段加上auto_add_now会自动记录数据的创建时间,在插入数据的时候对这个字段赋值无效
以上就是数据库技术:Mysql数据迁徙方法工具解析的全部内容,希望对大家的学习有所帮助,也希望大家多多支持<计算机技术网(www.ctvol.com)!!>。
需要了解更多数据库技术:Mysql数据迁徙方法工具解析,都可以关注数据库技术分享栏目—计算机技术网(www.ctvol.com)!
本文来自网络收集,不代表计算机技术网立场,如涉及侵权请联系管理员删除。
ctvol管理联系方式QQ:251552304
本文章地址:https://www.ctvol.com/dtteaching/821819.html