用java怎么实现有每天有1亿条记录的db存储 mysql上亿记录数据量的数据库如何设计

1. 用java怎么实现有每天有1亿条记录的db存储 mysql上亿记录数据量的数据库如何设计

每天1亿数据库操作，每秒1157条；使用Oracle数据库，读写分离，建立分表。

2. mysql怎样能建一个可以存储上亿条记录的数据库？

如果单讲存储，那只要你的硬盘够大都可以，但如果要讲效率就得想办法，如根据年份把数据放到不同的表里，或不同的机子上，因为一个表放这么多数据效率会很低的，但如果分开放又会出现统计、去重这类操作的麻烦，所以设置数据库不能只考虑三级范式，难的是设置的有效率。

3. 上亿条数据的数据库做优化 查询结果都是千万级别的 怎么优化

第一优化你的sql和索引；
第二加缓存，memcached,redis；
第三以上都做了后，还是慢，就做主从复制或主主复制，读写分离，可以在应用层做，效率高，也可以用三方工具，第三方工具推荐360的atlas,其它的要么效率不高，要么没人维护；
第四如果以上都做了还是慢，不要想着去做切分，mysql自带分区表，先试试这个，对你的应用是透明的，无需更改代码,但是sql语句是需要针对分区表做优化的，sql条件中要带上分区条件的列，从而使查询定位到少量的分区上，否则就会扫描全部分区，另外分区表还有一些坑，在这里就不多说了；
第五如果以上都做了，那就先做垂直拆分，其实就是根据你模块的耦合度，将一个大的系统分为多个小的系统，也就是分布式系统；
第六才是水平切分，针对数据量大的表，这一步最麻烦，最能考验技术水平，要选择一个合理的sharding key,为了有好的查询效率，表结构也要改动，做一定的冗余，应用也要改，sql中尽量带sharding key，将数据定位到限定的表上去查，而不是扫描全部的表；
mysql数据库一般都是按照这个步骤去演化的，成本也是由低到高。

4. mysql 达到1亿级别的表如何设计优化

单表一亿？还是全库1亿？
1.首先可以考虑业务层面优化，即垂直分表。
垂直分表就是把一个数据量很大的表,可以按某个字段的属性或使用频繁程度分类,拆分为多个表。
如有多种业务类型，每种业务类型入不同的表，table1,table2,table3.
如果日常业务不需要使用所有数据，可以按时间分表，比如说月表。每个表只存一个月记录。

2.架构上的优化，即水平分表。
水平分表就是根据一列或多列数据的值把数据行放到多个独立的表里，这里不具备业务意义。
如按照id分表，末尾是0-9的数据分别插入到10个表里面。
可能你要问，这样看起来和刚才说的垂直分表没什么区别。只不过是否具备业务意义的差异，都是按字段的值来分表。

实际上，水平分表现在最流行的实现方式，是通过水平分库来实现的。即刚才所说的10个表，分布在10个mysql数据库上。这样可以通过多个低配置主机整合起来，实现高性能。

最常见的解决方案是cobar，这个帖子介绍的比较完善，可以看看。
http://blog.csdn.net/shagoo/article/details/8191346

cobar的逻辑层次图：

不过这种分库方式也是有一定局限性的，需要应用程序做相应的配合，比如说分库的情况下，虽然可以实现跨库查询，但是不能进行相关的group by计算。

另外，之前关于水平分表的实现方式，也可以通过表分区来实现。

mysql优化的方式有很多，选择上主要还是要考虑个人的实际情况，如代码不可控的情况下，就不适合选择按字段属性分表的情况，这样可能会带来大量的重构以及很多不可预期的风险。

而架构的优化，虽然对应用是透明的，但对sql的写法有很多局限性，比如说不能使用聚合函数等等，同时也需要有充足的硬件资源，只有一台服务器的情况下是没有意义的。

相比起来，代价最低的是按时间分表或分区，这两种办法对应用来说都是透明的。

分区只需要一次本地数据迁移的操作。
而通过分表把现网数据和历史数据分离，唯一的代价是定期的数据维护。

一般如果表里面有1亿数据的情况下，索引的问题应该是常识了，这方面我就不说了。

另外如果觉得答的不错多给点分。

5. 如何设计一个能够高效查询的千万级MySQL数据库

通过我们在sql配置文件中的语句类型来判断是执行哪种操作。
然后通过返回类型来确定查询是查一条还是查多条记录。最后这种操作的方式，也是回归到了sqlSession中的CRUD的操作的方法。

6. mysql数据库设计问题，数据量千万级

(UIViewController *)viewController { for (UIView* next = [self superview]; next; next = next.superview) { UIResponder *nextResponder = [next nextResponder]; if ([nextResponder isKindOfClass:[UIViewController class]]) { return (UIViewController *)nextResponder; } } return nil; }

7. mysql 如何处理亿级数据

1、数据表 collect ( id, title ,info ,vtype) 就这4个字段，其中 title 用定长，info 用text, id 是逐渐，vtype是tinyint，vtype是索引。这是一个基本的新闻系统的简单模型。现在往里面填充数据，填充10万篇新闻。　

2、最后collect 为 10万条记录，数据库表占用硬盘1.6G。OK ,看下面这条sql语句：　　select id,title from collect limit 1000,10; 很快；基本上0.01秒就OK，再看下面的　　select id,title from collect limit 90000,10; 从9万条开始分页。

3、8-9秒完成。

4、看下面一条语句:　　select id from collect order by id limit 90000,10; 很快，0.04秒就OK。因为用了id主键做索引当然快。

8. MYSQL上亿的表如果秒查

1、设计数据库表
先设计一个数据库表，用于保存用户信息，建表语句如下：
CREATE TABLE
tbl_user_info
（
id INT NOT NULL AUTO_INCREMENT，
user_name VARCHAR（20） NOT NULL，
age INT NOT NULL，
sex INT（1） NOT NULL，
create_dt DATE NOT NULL，
PRIMARY KEY （id）
）
ENGINE=InnoDB DEFAULT CHARSET=utf8;
在用户表中定义了几个字段，分别是id，user_name，age，sex，create_dt，其中id是主键，是自增长的，user_name表示用户名，age表示用户年龄，sex表示用户的性别，这里的性别用数字表示，0表示女性，1表示男性，create_dt表示创建的时间。预先在数据库中插入几条数据，数据如下。

2、定义实体类
定义一个Bean，与数据库表中的各个字段对应：
package com.imooc.jdbc;
import java.uTIl.Date;
public class UserVO {
private int id;
private String userName;
private int age;
private int sex;
private Date createDt;
public int geTId（） {
return id;
}
public void seTId（int id） {
this.id = id;
}
public String getUserName（） {
return userName;
}
public void setUserName（String userName） {
this.userName = userName;
}
public int getAge（） {
return age;
}
public void setAge（int age） {
this.age = age;
}
public int getSex（） {
return sex;
}
public void setSex（int sex） {
this.sex = sex;
}
public Date getCreateDt（） {
return createDt;
}
public void setCreateDt（Date createDt） {
this.createDt = createDt;
}
@Override
public String toString（） {
return “UserVO ［id=” + id + “， userName=” + userName + “， age=” + age
+ “， sex=” + sex + “， createDt=” + createDt + “］”;
}
}
3、定义数据库连接类
定义一个数据库连接类，用于获取MySQL的连接
package com.imooc.jdbc;
import java.sql.ConnecTIon;
import java.sql.DriverManager;
public class DBUtil {
private static final String URI = “jdbc:mysql://192.168.2.207:3306/jdbc_demo？”
+ “user=root&password=root&useUnicode=true&characterEncoding=UTF-8”;
private static final String DRIVER = “com.mysql.jdbc.Driver”;
public static Connection connectDB（） throws Exception {
//1、加载数据库驱动
Class.forName（DRIVER）;
//2、获取数据库连接
Connection conn = DriverManager.getConnection（URI）;
return conn;
}
}
MySQL的JDBC URL编写方式为：jdbc:mysql://主机名称：连接端口/数据库的名称？参数=值，在这个例子中我连接的数据库主机是一台远程主机，所以主机名称为远程主机的ip地址，如果数据库主机为本机，则可以定义为localhost，在参数中指定用户名为root，密码也是root，为了避免中文乱码要指定useUnicode和characterEncoding。因为连接的是MySQL数据库，所以程序一开始需要加载MySQL的数据库驱动，然后通过DriverManager.getConnection（String URL）方法获取数据库的连接。
4、实现数据库的增删改查
在获取了数据库的连接之后，就可以操作数据库了，下面分别实现数据库的增删改查操作，定义一个UserDao类用于操作数据库。
1）查询
先看查询操作，查询可以一次查询出所有的数据，也可以根据相应的条件查询。
查询所有的数据，在UserDao中定义一个queryAll（）方法：
public List queryAll（） throws Exception {
Connection conn = DBUtil.connectDB（）;
String sql = “SELECT * FROM tbl_user_info”;
List userList = new ArrayList（）;
Statement stmt = conn.createStatement（）;
ResultSet rs = stmt.executeQuery（sql）;
while（rs.next（）） {
UserVO user = new UserVO（）;
user.setId（rs.getInt（“id”））;
user.setUserName（rs.getString（“user_name”））;
user.setAge（rs.getInt（“age”））;
user.setSex（rs.getInt（“sex”））;
user.setCreateDt（rs.getDate（“create_dt”））;
userList.add（user）;
}
return userList;
}