Article View: cn.bbs.comp.database
Article #153Re: ���(Bigtable):�ṹ����ݵķֲ��洢ϵͳ
From: Galaxy��VOLUNTEERS��Database
Date: Tue, 07 Jul 2009 05:55
Date: Tue, 07 Jul 2009 05:55
74 lines
9316 bytes
9316 bytes
���ȣ�BigTable �� 2004 ����Ϳ�ʼ�з��ˣ�������Ϊֹ�Ѿ����˽���8���¡���2005 ��2�£�Ŀǰ�����100�����ҵķ���ʹ��BigTable�����磺 Print,Search History,Maps�� Orkut�����Google��һ���������ڲ�������BigTable��Ϊ�������۵�P C������Ƶġ�BigTable ��Google���ṩ�·���ʱ�����гɱ����ͣ�����ȵ������� ����������BigTable �ǽ����� GFS ��Scheduler ��Lock Service �� MapReduce ֮�� �ġ� ����ÿ��Table����һ����ά��ϡ��ͼ sparse map��Table ���к�����ɣ�����ÿ���� ����Ԫ cell ����һ��ʱ������ڲ�ͬ��ʱ���ͬһ���洢��Ԫcell�ж�ݿ��������� �Ϳ��Լ�¼��ݵı䶯���������������У�����URLs ���п��Զ���һ�����֣����磺 contents��Contents �ֶξͿ��Դ洢�ļ�����ݡ����������ǣ���language�������Դ� ��һ����EN�������Դ����ַ� ����Ϊ�˹�����Table����Table����зָ��Щ�ָ������ͳ��Ϊ��Tablets�� ÿ��Tablets����� 100-200 MB��ÿ�������洢100�����ҵ� Tablets���ײ�ļܹ��ǣ� GFS������GFS��һ�ֲַ�ʽ���ļ�ϵͳ������Tablets�Ļ��ƺ��Ի�úܺõĸ��ؾ� �⡣���磺���Ѿ�����Ӧ �ı��ƶ���������л����ϣ�Ȼ������ؽ��� ����Tablets��ϵͳ�еĴ洢��ʽ�Dz����ĵ� immutable ��SSTables��һ̨����һ�� ��־�ļ�����ϵͳ���ڴ����ϵͳ��ѹ��һЩTablets������Jeff����������ʱ��˵ �ĺܿ죬������û��ʱ�����Ķ���¼���������������һ����ŵ�˵���� ����ѹ����Ϊ����Ҫ�ʹ�Ҫ�������֡���Ҫ��ѹ��������������Tablets������Ҫ��ѹ�� ʱ�������ϵͳ��ѹ������ѹ���л���Ӳ�̿ռ�Ĺ��ܡ�Tablets��λ��ʵ�����Ǵ洢�� ���������BigTable�Ĵ洢��Ԫcell�С�����������һ������ϵͳ�� �����ͻ�����һ��ָ ��METAO��Tablets��ָ�롣���METAO��Tablets��Ƶ��ʹ�ã��Ǹ� ��̨�����ͻ���������tabletsר��֧��METAO��� Tablets��METAO tablets ������ ���е�META1��tablets�ļ�¼����Щtablets�а��Ų���tablets��ʵ��λ�á�����ʵ ˵���뵽�����Ҳ��̫���ס�������� ϵͳ�в����ڴ��ƿ������Ϊ��Ƶ�����õ��� ���Ѿ�����ǰ��ò������˻��档 �����������Ƿ��ص��� �е�˵�������������������ʽ�� family:optional_qualifier������������У��У�www.search-analysis.com Ҳ������ ����contents:���а�htmlҳ��Ĵ��롣 �� anchor:cnn.com/news�� �а��� ��� Ӧ��url����anchor:www.search-analysis.com/�� �������ӵ����ֲ��֡����а��� ������Ϣ�� ����(���뵽������Ҫ��һ�䣬��ǰ�ҿ���һ������������ݿ�����£���ʱ�ܼ������� ��ϵ�����ߣ����ڻ�������������google�� bigtable ���Ǹ�õķ������в�˵�ֲ�ʽ �����ԣ��������ֽ����ı�ṹ�ͺ����ô���) ����ע������˵��������Ϣ�����������͡��е���Ϣ��������Ϣ��һ���ǣ�����/���� �� ���磺����n����ݵĿ��� ���� �������n�쳤�ȵȡ��� tablets ���½�����ʱ�� ������������Ĺ���������������ļ�¼����������ϵ�ԭ���б���Ĵ����Ǻ� ���ģ����Ǹ�����صĹ���ȷʵ�dz����ӵģ����������ᵽ �� ���ͺ�����Ϣ�ȡ� Ϊ���Ż���ȡ�ٶȣ��еĹ��ܱ��ָ�Ȼ������ķ�ʽ�洢��������Ļ����ϡ���Щ�� �ָ����������� �� ,Ȼ�ָ�ɲ�ͬ�� SSTables�����ַ�ʽ�������ϵͳ������ ����ΪС�ģ�Ƶ����ȡ���п��Ա������洢������Щ��IJ��������ʵ��и��뿪���� ������һ̨�����ϵ����е� tablets ����һ��log����һ����1�ڵ�tablets�ļ�Ⱥ�� ���⽫�ᵼ�·dz�����ļ�����д�������µ�log�龭����������һ����64M��С�� ���GFS�Ŀ��С��ȡ���һ������down�����ƻ����ͻ����·������log�鵽���� �����ϼ�����д��?��̨�����ؽ�tabletsȻ��ѯ�ʿ��ƻ�������ṹ�Ĵ洢λ�ã�Ȼ ��ֱ�Ӷ��ؽ������ݽ��д��? �������ϵͳ���кܶ�������ݣ������ϵͳ�д���ʹ����ѹ�������� ����Dean ��ѹ���IJ���˵�ĺܿ죬��û����ȫ�������������һ���˵����Űɣ�ѹ��ǰ ��Ѱ�����Ƶ� �У��У���ʱ�� ��ݡ� ��������ʹ�ò�ͬ�汾�ģ� BMDiff �� Zippy ������ ����BMDiff �ṩ�����Ƿdz����д�ٶȣ� 100MB/s �C1000MB/s ��Zippy �Ǻ� LZW �� �Ƶġ�Zippy ������ LZW ���� gzip ����ѹ���ȸߣ����������ٶȷdz��졣 ����Dean ������һ������ѹ�� web ֩����ݵ����ӡ�������ӵ�֩�� �� 2.1B ��ҳ �棬�а������µķ�ʽ��������com.cnn.www/index.html:http��.��δѹ��ǰ��web page ҳ���С�ǣ�45.1 TB ��ѹ����Ĵ�С�ǣ�4.2 TB �� ֻ��ԭ���� 9.2%��Links ���ѹ����ԭ���� 13.9% , �����ı����ѹ����ԭ���� 12.7%�� ����Google ���кܶ�û����ӵ����Ѿ����ǵĹ��ܡ� ����1. ��ݲ������ʽ��������ѽű����͵��ͻ������ṩ����ݵĹ��ܡ� ����2. ������ݵ�����֧�֡� ����3. ��ߴ���ݴ洢��Ԫ��Ч�ʡ� ����4. BigTable ��Ϊ�������С� ��������ÿ��������磺 maps �� search history ��ʷ������¼���������Լ��ļ� Ⱥ���� BigTable�� �������ǻ���������һ��ȫ�ֵ� BigTable ϵͳ��������Ҫ�ȽϹ�ƽ�ķָ���Դ�ͼ��� ʱ�䡣 -- Welcome to Database Board ��ӭ������ݿ�� http://bbs.sjtu.edu.cn/bbsdoc?board=database [m[1;31m�� ��Դ:����ˮ˼Դ bbs.sjtu.edu.cn��[FROM: 207.46.55.30][m [1;36m�� �ı���:��Dem �� 07��07��13:55:58 �ı��ġ�[FROM: 207.46.55.30][m
Technical Details
Message-ID:
<4gh9CS$b8e@bbs.sjtu.edu.cn>Path:
arc1-ca.pugleaf.net!g2news2.google.com!news1.google.com!npeer02.iad.highwinds-media.com!news.highwinds-media.com!feed-me.highwinds-media.com!news.glorb.com!news2.glorb.com!news.neu.edu.cn!news.shec6.edu.cn!SJTUShow Full Headers
Complete Article Headers
X-Google-Thread: 4df683fd51,2ae748770ae5337e,start X-Google-Attributes: gid4df683fd51,public,usenet X-Google-NewGroupId: yes X-Google-Language: Chinese,GB Path: arc1-ca.pugleaf.net!g2news2.google.com!news1.google.com!npeer02.iad.highwinds-media.com!news.highwinds-media.com!feed-me.highwinds-media.com!news.glorb.com!news2.glorb.com!news.neu.edu.cn!news.shec6.edu.cn!SJTU From: Dem.bbs@bbs.sjtu.edu.cn (Galaxy��VOLUNTEERS��Database) Newsgroups: cn.bbs.comp.database Subject: Re: ���(Bigtable):�ṹ����ݵķֲ��洢ϵͳ Date: 07 Jul 2009 05:55:58 GMT Organization: ��ˮ˼Դ Message-ID: <4gh9CS$b8e@bbs.sjtu.edu.cn> Mime-Version: 1.0 Content-Type: text/plain; charset="gb2312" Content-Transfer-Encoding: 8bit X-Filename: database/M.1246946140.A