❶ 要怎么保存数据
保存数据，方法如下
1，数据分类
你要把自己想要长期有效保存的数据先分类清楚，等级划分为核心数据、重要数据、普通数据三个类型。然后依据不同层次的数据对可靠性的要求，再制定出对应的方法。
2/6
压缩存储空间
需要保存的数据可能有word、图片、音频、视频等各种类型的文件，可以把其都格式转换成空间较小的格式，这样我们能存储更多的数据。
3/6
选择存储介质
其实保存数据有很多方法，比如光盘、硬盘、机械硬盘、网盘，所以如果您有一定资金建议您选择更安全的存储介质。
4/6
定期查看
不管你存放的任何的介质中，您如果要长期保存数据，就要定期查看一下。适当的维护一下，如果有漏洞就要进行修复。
5/6
重要的数据要备份
重要的数据不是能只有一份，你要至少备份三份。当其中一份因为意外失去之后，不至于让你彻底失去这些数据。
6/6
把文件直接放在文件系统上
不要再弄一个打包文件把一堆文件打了包再存，当介质发生故障时，打包文件很难恢复，而直接放在文件系统上的文件相对容易恢复一些。
❷ 缓存中有10万条数据，如何提高效率
这个例子给你看下！希望对你有帮助！是关于hash_table的！
struct hashFun
{
size_t operator()(int nVal) const
{
char szVal[64] = {0};
_itoa(nVal, szVal, 10);
const char* psz = szVal;
unsigned long _hash = 0;
for (; *psz != 0; ++psz)
{
_hash *= 16777619;
_hash ^= (unsigned long) (unsigned short&)*psz;
}
return _hash;
}
};
struct tableNode
{
int nValue;
DWORD nKey;
int nCount; //这个元素的个数
tableNode* pNext;
};
struct BoxVec
{
int nCount; //这个桶下的元素的类型的个数,可能不同的数在同一个桶下
int nMaxNum; //这个桶下这个元素出现的次数
int nVal;
tableNode* pHead;
};
class CMyHasTable
{
public:
CMyHasTable(const int* pBoxSize, int nBoxCount, int nLevel);
~CMyHasTable();
private:
int m_nBoxCount; //桶增长级数个数
const int* m_pBoxSize; //桶级数的值
int m_nBox; //桶的大小
int m_nLow; //桶个数的最小值
int m_nHight; //桶个数的最大值
int m_nLevel; //当前桶级数的索引
BoxVec* m_pBoxs;
int m_nSize; //元素的个数
public:
void Insert(int nVale);
int FindMaxCount();
private:
inline DWORD GetBoxIndex(DWORD key) const
{
return key & (m_nBox - 1);
}
inline DWORD GetBoxIndex(DWORD key, int nNewBox) const
{
return key & (nNewBox - 1);
}
private:
tableNode* Find(tableNode node);
void IncreaseLevel();
void SwitchLevel(int nNewLevel);
void UpBoxMaxCount(int nIndex);
};
.cpp文件
CMyHasTable::CMyHasTable(const int* pBoxSize, int nBoxCount, int nLevel)
{
m_pBoxSize = pBoxSize;
m_nBoxCount = nBoxCount;
m_nLevel = nLevel;
m_nHight = m_nBox = m_pBoxSize[m_nLevel];
m_nLow = m_nLevel > 0 ? m_pBoxSize[m_nLevel - 1]/2 : 0;
m_pBoxs = new BoxVec[m_nBox];
memset(m_pBoxs, 0, sizeof(BoxVec) * m_nBox);
m_nSize = 0;
}
CMyHasTable::~CMyHasTable()
{
for (int i = 0; i < m_nBox; ++i)
{
tableNode* p = m_pBoxs[i].pHead;
while (p != NULL)
{
tableNode* q = p->pNext;
delete p;
p = q;
}
}
delete[] m_pBoxs;
}
void CMyHasTable::Insert(int nVale)
{
tableNode valNode;
valNode.nValue = nVale;
valNode.nKey = hashFun()(nVale);
valNode.pNext = NULL;
tableNode* pNode = Find(valNode);
if (pNode == NULL)
{
m_nSize ++;
tableNode* pNew = new tableNode;
*pNew = valNode;
pNew->nCount = 1;
DWORD dwBoxIndex = GetBoxIndex(valNode.nKey);
pNew->pNext = m_pBoxs[dwBoxIndex].pHead;
m_pBoxs[dwBoxIndex].pHead = pNew;
m_pBoxs[dwBoxIndex].nCount++;
m_pBoxs[dwBoxIndex].nMaxNum = 1;
m_pBoxs[dwBoxIndex].nVal = nVale;
if (m_nSize >= m_nHight)
IncreaseLevel();
}
else
{
pNode->nCount++;
DWORD dwBoxIndex = GetBoxIndex(pNode->nKey);
UpBoxMaxCount(dwBoxIndex);
}
}
int CMyHasTable::FindMaxCount()
{
int nMaxCount = m_pBoxs[0].nMaxNum;
int nIndex = 0;
for (int i = 1; i < m_nBox; i++)
{
if (nMaxCount < m_pBoxs[i].nMaxNum)
{
nMaxCount = m_pBoxs[i].nMaxNum;
nIndex = i;
}
}
return m_pBoxs[nIndex].nVal;
}
void CMyHasTable::UpBoxMaxCount(int nIndex)
{
tableNode* p = m_pBoxs[nIndex].pHead;
tableNode* q = p;
int nMax = p->nCount;
while(p->pNext)
{
if (nMax < p->nCount)
{
nMax = p->nCount;
q = p;
}
p = p->pNext;
}
m_pBoxs[nIndex].nMaxNum = nMax;
m_pBoxs[nIndex].nVal = q->nValue;
}
tableNode* CMyHasTable::Find(tableNode node)
{
DWORD short_key = GetBoxIndex(node.nKey);
tableNode* p = m_pBoxs[short_key].pHead;
while (p != NULL)
{
if (p->nKey == node.nKey)
{
if (p->nValue == node.nValue)
return p;
}
p = p->pNext;
}
return NULL;
}
void CMyHasTable::IncreaseLevel()
{
if (m_nLevel < m_nBoxCount - 1)
SwitchLevel(m_nLevel + 1);
else
m_nHight = 0x20000000;
}
void CMyHasTable::SwitchLevel(int nNewLevel)
{
m_nLevel = nNewLevel;
int nNewBox = m_pBoxSize[m_nLevel];
BoxVec* pNewBoxs = new BoxVec[nNewBox];
memset(pNewBoxs, 0, sizeof(BoxVec) * nNewBox);
for (int i = 0; i < m_nBox; ++i)
{
tableNode* p = m_pBoxs[i].pHead;
tableNode* q = NULL;;
int nCout = m_pBoxs[i].nCount;
int nMax = m_pBoxs[i].nMaxNum;
while (p != NULL)
{
q = p->pNext;
DWORD sht_key = GetBoxIndex(p->nKey, nNewBox);
p->pNext = pNewBoxs[sht_key].pHead;
pNewBoxs[sht_key].pHead = p;
p = q;
pNewBoxs[sht_key].nCount = nCout;
pNewBoxs[sht_key].nMaxNum = nMax;
}
}
m_nHight = m_nBox = m_pBoxSize[m_nLevel];
m_nLow = m_nLevel > 0 ? m_pBoxSize[m_nLevel - 1]/2 : 0;
delete m_pBoxs;
m_pBoxs = pNewBoxs;
}
❸ 大数据的数据的存储方式是什么
大数据有效存储和管理大数据的三种方式：
1.
不断加密
任何类型的数据对于任何一个企业来说都是至关重要的，而且通常被认为是私有的，并且在他们自己掌控的范围内是安全的。然而，黑客攻击经常被覆盖在业务故障中，最新的网络攻击活动在新闻报道不断充斥。因此，许多公司感到很难感到安全，尤其是当一些行业巨头经常成为攻击目标时。
随着企业为保护资产全面开展工作，加密技术成为打击网络威胁的可行途径。将所有内容转换为代码，使用加密信息，只有收件人可以解码。如果没有其他的要求，则加密保护数据传输，增强在数字传输中有效地到达正确人群的机会。
2.
仓库存储
大数据似乎难以管理，就像一个永无休止统计数据的复杂的漩涡。因此，将信息精简到单一的公司位置似乎是明智的，这是一个仓库，其中所有的数据和服务器都可以被充分地规划指定。然而，有些报告指出了反对这种方法的论据，指出即使是最大的存储中心，大数据的指数增长也不再能维持。
然而，在某些情况下，企业可能会租用一个仓库来存储大量数据，在大数据超出的情况下，这是一个临时的解决方案，而LCP属性提供了一些很好的机会。毕竟，企业不会立即被大量的数据所淹没，因此，为物理机器租用仓库至少在短期内是可行的。这是一个简单有效的解决方案，但并不是永久的成本承诺。
3.
备份服务
-
云端
当然，不可否认的是，大数据管理和存储正在迅速脱离物理机器的范畴，并迅速进入数字领域。除了所有技术的发展，大数据增长得更快，以这样的速度，世界上所有的机器和仓库都无法完全容纳它。
因此，由于云存储服务推动了数字化转型，云计算的应用越来越繁荣。数据在一个位置不再受到风险控制，并随时随地可以访问，大型云计算公司(如谷歌云)将会更多地访问基本统计信息。数据可以在这些服务上进行备份，这意味着一次网络攻击不会消除多年的业务增长和发展。最终，如果出现网络攻击，云端将以A迁移到B的方式提供独一无二的服务。
❹ 互联网如何海量存储数据
目前存储海量数据的技术主要包括Nosql、分布式文件系统、和传统关系型数据库。随着互联网行业不断的发展，产生的数据量越来越多，并且这些数据的特点是半结构化和非结构化，数据很可能是不精确的，易变的。这样传统关系型数据库就无法发挥它的优势。因此，目前互联网大正蔽拦行业偏向于使用NoSQL和分布式文件系统来存储海量数据。
下面介绍下常用的NoSQL和分布式文件系统。
NoSQL
互联网行业常用的NoSQL有：HBase、MongoDB、Couchbase、LevelDB。
HBase是ApacheHadoop的子项目,理论依据为Google论文Bigtable:开发的。HBase适合存储半结构化或非结构化的数据。HBase的数据模型是稀疏的、分布式的、持久稳固的多维map。HBase也有行和列的概念，这是与RDBMS相同的地方，但却又不同。HBase底层采用HDFS作为文件系统，具有高可靠性、高性能。
MongoDB是一种支持高性能数据存储的开源文档型数据库。支持嵌入式数据模型以减少对数据库系统的I/O、利用索引实现快速查询，并且嵌入式文档和集合也支持索引，它复制能力被称作复制集（replicaset），提供了自动的故障迁移和数据冗余。MongoDB的分片策略将数据分布在服务器集群上。
Couchbase这种NoSQL有三个重滚并悔要的组件：Couchbase服务器、CouchbaseGateway、CouchbaseLite。Couchbase服务器，支持横向扩展，面向文档的数据库，支持键值操作，类似于SQL查询和内置的全文搜索;CouchbaseGateway提供了用于RESTful和流式访问数据的应用层API。CouchbaseLite是一款面向移动设备和“边缘”系统的嵌入式数据库。Couchbase支持千万级海量数据存储
分布式文件系统
如果针对单个大文件，譬如超过100MB的文件，使用NoSQL存储就不适当了。使用分布式文件系统的优势在于，分布式文件系统隔离底层数据存储和分布的细节，展示给用户的是一个统一的逻辑视图。常用的分布式文件系统有GoogleFileSystem、HDFS、MooseFS、Ceph、GlusterFS、Lustre等。
❺ 海量数据存储有哪些方式与方法
杉岩海量对象存储MOS，针对海量非结构化数据存储的最优化解决方案，采用去中心化、分布式技术架构，支持百亿级文件及EB级容量存储，
具备高效的数据检索、智能化标签和分析能力，轻松应对大数据和云时代的存储挑战，为企业发展提供智能决策。
1、容量可线性扩展，单名字空间达EB级
SandStone MOS可在单一名字空间下实现海量数据存储，支持业务无感知的存储服务器横向扩容，为爆炸式增长的视频、音频、图片、文档等不同类型的非结构化数据提供完美的存储方案，规避传统NAS存储的单一目录或文件系统存储空间无法弹性扩展难题
2、海量小文件存储，百亿级文件高效访问
SandStone MOS基于完全分布式的数据和元数据存储架构，为海量小文件存储而生，将企业级NAS存储的千万文件量级提升至互联网规模的百亿级别，帮助企业从容应对几何级增长的海量小文件挑战。
3、中心灵活部署，容灾汇聚分发更便捷
SandStone MOS支持多数据中心灵活部署，为企业数据容灾、容灾自动切换、多分支机构、数据就近访问等场景提供可自定义的灵活解决方案，帮助企业实现跨地域多活容灾、数据流转、就近读写等，助力业务高速发展。
4、支持大数据和AI，统一数据存储和分析
SandStone MOS内置文件智能化处理引擎，实现包括语音识别、图片OCR识别、文件格式转换等批量处理功能，结合标签检索能力还可实现语音、证件照片检索，从而帮助企业更好地管理非结构化数据。同时，SandStone MOS还支持与Hadoop、Spark等大数据分析平台对接，一套存储即可满足企业数据存储、管理和挖掘的需求。
❻ 每天有N百万条记录增加，频繁读写，这样的数据可以用Mysql数据库存储吗
据说新浪微博之前就用的Mysql，所以我觉得还是可以的，主要看你对Mysql的优化，以及数据结构的设计了。。用oracle虽然强大，但是优化不好也是白搭。
个人观点呵呵
❼ 14.数据仓库常见的存储优化方法有哪些
存储优化管理的方式包括数据压缩、数据重分布、存储治理项优化、生命周期管理等方法。
数据压缩
在分布式文件系统中，会将数据存储3份，这意味着存储1TB的逻辑数据，实际上会占用3TB的物理空间。使用盘古RAIDfile格式的文件，将存储比从1：3提高至1:1.5。这样做的缺点是数据块损坏时的修复时间比原来更长，读的性能也有损失。数据重分布
由于每个表的数据分布不同，插入顺序不同，导致压缩效果有很大的差异，通过修改表的数据重分布(distributeby,sortby字段)进行数据重分布，能够对表进行优化处理。存储治理项优化：
存储治理项优化是指在元数据的基础上，诊断、加工成多个存储治理优化项。目前已有的存储治理优化项有未管理表、空表、最近62天未访问表、数据无更新无任务表等。生命周期管理策略
根本目的：用最少的存储成本满足最大的业务需求，使数据价值最大化。
a）周期性删除策略：针对无效的历史数据进行定期清理。
b）彻底删除策略：无用表数据或者ETL过程产生的临时数据，以及不需要保留的数据，可以进行及时删除，包括删除元数据。
c）永久保留策略：重要且不可恢复的底层数据和应用数据需要永久保留。
d）极限存储策略：超高压缩重复镜像数据。
e）冷数据管理策略：永久保留策略的扩展。永久保留的数据需要迁移到冷数据中心进行永久保存。一般将重要且不可恢复的、占用存储空间大于100TB，且访问频次较低的数据进行冷备，例如3年以上的日志数据。
❽ excel怎么样存10万数据
excel表中，一列数据有10万个数据，我要按顺序将每5000个数据分成一组
分很好分的，你打算把分后的数据放哪儿啊？
excel表格如何打开10万行的数据 如果有其他软件也请推荐一下
使用数据库程序打开，网上搜索哈，一大堆。
excel20多万行数据,如何分成一万一张的小表
这个如果要想批量处理，那么写代码是首选
不然得人工自己一万一万的分表复制粘贴另存。
EXCEL表格只能容纳6万条数据，有什么软件可以容纳10万条以上的数据呢？
可以用高版本的，不过这6万条是一个工作表，而一个EXCEL文档可以放很多张工作表的，可以把相关数据放在其它工作表中。
excel数据太长1万行怎么分成10份，一份1000……如图做示范，谢谢啦～
你要分10列还是10个工作表？
超过十万条的表格怎样用EXCEL打开
用EXCEL2007及其以上，打开，确切数字是：1048576行；16384列。
Excel是Microsoft Office system 中的电格程序。可以使用 Excel 创建工作簿（电子表格集合）并设置工作簿格式，以便分析数据和做出更明智的业务决策。特别是，可以使用 Excel 跟踪数据，生成数据分析模型，编写公式以对数据进行计算，以多种方式透视数据，并以各种具有专业外观的图表来显示数据。
求助，十几万条的excel表数据用什么配置能处理
CPU。inter 双核2.6Ghz以上，内存4G或以上，硬盘80G或以上都可以胜任你所说的文件，不是什么大困难。如果配置再低的话也可以，就是太卡啦。
excel表中，如何把B列10万条数据，按每999条分一组，进行分组查询。
如何快速填充公式1,填,可填充,如果前一列连续多行,则填充相同多行 方法2,先输入要填充式,按下SHIFT CTRL 方向键下,再按下CTRL D 方法3,按下SHIFT CTRL 方向键下,再在编辑栏里输入公式,再按下CTRL 回车 方法4,名称框输入需要填充的范围 (比如 A1:A54000) 回车 公式编辑栏输入要复制的公式后,同时按 CTRL 回车键输入 方法5,选中要填充的格子,按CTRL C(复制第一个带公式的单元格),然后鼠标移到名称框，直接输入列区间，如B3:B10000，回车，之后按CTRL V(点中该位置--右键粘贴)。 2和3的方法可填充至65536行 4和5方法就是要输入几行就是几行 你的要求合适用方法4