🚀 go-pugleaf

RetroBBS NetNews Server

Inspired by RockSolid Light RIP Retro Guy

Article View: cn.bbs.comp.database
Article #153

Re: ���(Bigtable):�ṹ����ݵķֲ��洢ϵͳ

#153
From: Galaxy��VOLUNTEERS��Database
Date: Tue, 07 Jul 2009 05:55
74 lines
9316 bytes
���ȣ�BigTable �� 2004 ����Ϳ�ʼ�з��ˣ�������Ϊֹ�Ѿ����˽���8���¡���2005
��2�£�Ŀǰ�����100�����ҵķ���ʹ��BigTable�����磺 Print,Search 
History,Maps�� Orkut�����Google��һ���������ڲ�������BigTable��Ϊ�������۵�P
C������Ƶġ�BigTable ��Google���ṩ�·���ʱ�����гɱ����ͣ�����޶ȵ�������
����������BigTable �ǽ����� GFS ��Scheduler ��Lock Service �� MapReduce ֮��
�ġ�
����ÿ��Table����һ����ά��ϡ��ͼ sparse map��Table ���к�����ɣ�����ÿ����
����Ԫ cell ����һ��ʱ������ڲ�ͬ��ʱ���ͬһ���洢��Ԫcell�ж�ݿ���������
�Ϳ��Լ�¼��ݵı䶯���������������У�����URLs ���п��Զ���һ�����֣����磺
contents��Contents �ֶξͿ��Դ洢�ļ�����ݡ����������ǣ���language�������Դ�
��һ����EN�������Դ����ַ�
����Ϊ�˹���޴��Table����Table����зָ��Щ�ָ������ͳ��Ϊ��Tablets��
ÿ��Tablets����� 100-200 MB��ÿ�������洢100�����ҵ� Tablets���ײ�ļܹ��ǣ�
GFS������GFS��һ�ֲַ�ʽ���ļ�ϵͳ������Tablets�Ļ��ƺ󣬿��Ի�úܺõĸ��ؾ�
�⡣���磺���԰Ѿ�����Ӧ �ı��ƶ���������л����ϣ�Ȼ������ؽ���
����Tablets��ϵͳ�еĴ洢��ʽ�Dz����޸ĵ� immutable ��SSTables��һ̨����һ��
��־�ļ�����ϵͳ���ڴ����ϵͳ��ѹ��һЩTablets������Jeff����������ʱ��˵
�ĺܿ죬������û��ʱ�����Ķ���¼���������������һ����ŵ�˵����
����ѹ����Ϊ����Ҫ�ʹ�Ҫ�������֡���Ҫ��ѹ��������������Tablets������Ҫ��ѹ��
ʱ�������ϵͳ��ѹ������ѹ���л���Ӳ�̿ռ�Ĺ��ܡ�Tablets��λ��ʵ�����Ǵ洢��
���������BigTable�Ĵ洢��Ԫcell�С�����������һ������ϵͳ��
�����ͻ�����һ��ָ ��METAO��Tablets��ָ�롣���METAO��Tablets��Ƶ��ʹ�ã��Ǹ�
��̨�����ͻ���������tabletsר��֧��METAO��� Tablets��METAO tablets ������
���е�META1��tablets�ļ�¼����Щtablets�а��Ų���tablets��ʵ��λ�á�����ʵ
˵���뵽�����Ҳ��̫���ס�������� ϵͳ�в����ڴ��ƿ������Ϊ��Ƶ�����õ���
���Ѿ�����ǰ��ò������˻��档
�����������Ƿ��ص��� �е�˵�������������������ʽ�� 
family:optional_qualifier������������У��У�www.search-analysis.com Ҳ������
����contents:���а�htmlҳ��Ĵ��롣 �� anchor:cnn.com/news�� �а��� ���
Ӧ��url����anchor:www.search-analysis.com/�� �������ӵ����ֲ��֡����а���
������Ϣ��
����(���뵽������Ҫ��һ�䣬��ǰ�ҿ���һ������������ݿ�����£���ʱ�ܼ�������
��ϵ�����ߣ����ڻ�������������google�� bigtable ���Ǹ�õķ������в�˵�ֲ�ʽ
�����ԣ��������ֽ����ı�ṹ�ͺ����ô���)
����ע������˵��������Ϣ�����������͡��е���Ϣ��������Ϣ��һ���ǣ�����/����
�� ���磺����n����ݵĿ��� ���� �������n�쳤�ȵȡ��� tablets ���½�����ʱ��
������������Ĺ����޳�����������ļ�¼����������ϵ�ԭ���б���Ĵ����Ǻ�
���׵ģ����Ǹ�����صĹ���ȷʵ�dz����ӵģ����������ᵽ �� ���ͺ͹�����Ϣ�ȡ�
Ϊ���Ż���ȡ�ٶȣ��еĹ��ܱ��ָ�Ȼ������ķ�ʽ�洢��������Ļ����ϡ���Щ��
�ָ����������� �� ,Ȼ�󱻷ָ�ɲ�ͬ�� SSTables�����ַ�ʽ�������ϵͳ������
����ΪС�ģ�Ƶ����ȡ���п��Ա������洢������Щ��IJ��������ʵ��и��뿪����
������һ̨�����ϵ����е� tablets ����һ��log����һ����1�ڵ�tablets�ļ�Ⱥ��
���⽫�ᵼ�·dz�����ļ����򿪺�д�������µ�log�龭����������һ����64M��С��
���GFS�Ŀ��С��ȡ���һ������down���󣬿��ƻ����ͻ����·������log�鵽����
�����ϼ�����д��?��̨�����ؽ�tabletsȻ��ѯ�ʿ��ƻ�������ṹ�Ĵ洢λ�ã�Ȼ
��ֱ�Ӷ��ؽ������ݽ��д��?
�������ϵͳ���кܶ�������ݣ������ϵͳ�д���ʹ����ѹ��������
����Dean ��ѹ���IJ���˵�ĺܿ죬��û����ȫ�������������һ���˵����Űɣ�ѹ��ǰ
��Ѱ�����Ƶ� �У��У���ʱ�� ��ݡ�
��������ʹ�ò�ͬ�汾�ģ� BMDiff �� Zippy ������
����BMDiff �ṩ�����Ƿdz����д�ٶȣ� 100MB/s �C1000MB/s ��Zippy �Ǻ� LZW ��
�Ƶġ�Zippy ������ LZW ���� gzip ����ѹ���ȸߣ����������ٶȷdz��졣
����Dean ������һ������ѹ�� web ֩����ݵ����ӡ�������ӵ�֩�� �� 2.1B ��ҳ
�棬�а������µķ�ʽ��������com.cnn.www/index.html:http��.��δѹ��ǰ��web
 page ҳ���С�ǣ�45.1 TB ��ѹ����Ĵ�С�ǣ�4.2 TB �� ֻ��ԭ���� 9.2%��Links 
���ѹ����ԭ���� 13.9% , �����ı����ѹ����ԭ���� 12.7%��
����Google ���кܶ�û����ӵ����Ѿ����ǵĹ��ܡ�
����1. ��ݲ������ʽ��������԰ѽű����͵��ͻ������ṩ�޸���ݵĹ��ܡ�
����2. ������ݵ�����֧�֡�
����3. ��ߴ���ݴ洢��Ԫ��Ч�ʡ�
����4. BigTable ��Ϊ�������С�
��������ÿ��������磺 maps �� search history ��ʷ������¼���������Լ��ļ�
Ⱥ���� BigTable��
�������ǻ���������һ��ȫ�ֵ� BigTable ϵͳ��������Ҫ�ȽϹ�ƽ�ķָ���Դ�ͼ���
ʱ�䡣
 
--
Welcome to Database Board
��ӭ������ݿ��
http://bbs.sjtu.edu.cn/bbsdoc?board=database

�� ��Դ:����ˮ˼Դ bbs.sjtu.edu.cn��[FROM: 207.46.55.30]

�� �޸ı���:��Dem �� 07��07��13:55:58 �޸ı��ġ�[FROM: 207.46.55.30]
Technical Details
Message-ID: <4gh9CS$b8e@bbs.sjtu.edu.cn>
Path: arc1-ca.pugleaf.net!g2news2.google.com!news1.google.com!npeer02.iad.highwinds-media.com!news.highwinds-media.com!feed-me.highwinds-media.com!news.glorb.com!news2.glorb.com!news.neu.edu.cn!news.shec6.edu.cn!SJTU

Show Full Headers
Complete Article Headers
X-Google-Thread: 4df683fd51,2ae748770ae5337e,start
X-Google-Attributes: gid4df683fd51,public,usenet
X-Google-NewGroupId: yes
X-Google-Language: Chinese,GB
Path: arc1-ca.pugleaf.net!g2news2.google.com!news1.google.com!npeer02.iad.highwinds-media.com!news.highwinds-media.com!feed-me.highwinds-media.com!news.glorb.com!news2.glorb.com!news.neu.edu.cn!news.shec6.edu.cn!SJTU
From: Dem.bbs@bbs.sjtu.edu.cn (Galaxy��VOLUNTEERS��Database)
Newsgroups: cn.bbs.comp.database
Subject: Re: ���(Bigtable):�ṹ����ݵķֲ��洢ϵͳ
Date: 07 Jul 2009 05:55:58 GMT
Organization: ��ˮ˼Դ
Message-ID: <4gh9CS$b8e@bbs.sjtu.edu.cn>
Mime-Version: 1.0
Content-Type: text/plain; charset="gb2312"
Content-Transfer-Encoding: 8bit
X-Filename: database/M.1246946140.A