Article View: cn.bbs.comp.database
Article #154Re: Google�����ļ���֮BigTable
From: Galaxy��VOLUNTEERS��Database
Date: Tue, 07 Jul 2009 05:59
Date: Tue, 07 Jul 2009 05:59
63 lines
7532 bytes
7532 bytes
Google BigTable���ĸճ�����ʱ��ҴҶ���ûʲô���룬ֻ�ǵ���һ���ֲ�ʽ��άӳ ��?�����ض�һ�����ģ��ٶ�����ݿ������ؼ������о��е���˼�ˡ�һ����˵�� ��ݿ�ļ���ר�Ҵ����ʱ�䶼���о�һЩ������㷨�����⣬��һ����ݿ�ϵͳ���� һ����ݴ洢ϵͳ�������������ʵ�ֵ�����ȴ��̫�����ǣ��ⷽ���ѧ������Ҳ�ͱ� ���١� ��Ҫ����һ���µ���ݿ�ϵͳ����ݴ洢ϵͳʱ�����Ѿ����ľ��Ǹ��ּ���Ӧ�����ѡ ������⡣���磬Ӧ��ʹ���������Ի��������¼�Ĵ洢ģ�͡�Ӧ��ʹ�û������Ƕ� �汾�IJ������ơ�Ӧ�ö���ݽ��б��ظ��»��ǽ��ļ�¼�ڱ���ν�����ݷ��� �������������Ҫ�ṩʲô��IJ������ƺ������ܵȵȡ�ÿ���ط����кܶ�ѡ�� ��ʹ��֪����Щѡ�������ʵ�ֵģ�����ѡ����ʲô��ȱ�㣬�㻹�Ǻ���ѡ������ ����BigTable�����ĺ���BigTableʵ�����������ݿ�ʵ�ֵĵ䷶��BigTable�в��� �����м�������������ݿ�����������о��ɹ�BigTable��ɹ����Ǻܶ༼����ѡ ��ȡ�ᶼǡ���ô��� BigTable������Ҫ��ѡ���ǽ���ݴ洢��Ϊ�����֣����岿���Dz��ɱ�ģ���SSTable�� ��ʽ�洢��GFS�У����ĸ�����洢���ڴ棨��Ϊmemtable���С���������Ҫ���SSTa ble��memtable���ۺϾ���Ҫ��ȡ����ݵ�ֵ����һ��������ݿ�ϵͳ�в�̫���ã����� ʵҲ�кܶ��о��������Ӧ����LSM Tree����һ����ṹ�����ڴ��л���Դ�ͳB+���� ��ĸ��£���һ��ʱ����ٽ��ڴ��еĸ��ºϲ�����������ȥ���ںϲ���ʱ��Ϳ��Զ� ��ֵ������������ͽ��������������ת��Ϊ˳����£���������ܡ�Stonebraker ��Ƶ�C-StoreϵͳҲ������һ�ܹ�����һ������ʹ�ð����кܶ࣬����MySQL��InnoD B�洢������insert buffer��MySQL�µ������ʹ洢����Falcon��ֻ�����¼���£����� ��������£����µ�SSDӲ�̵�˳��д���ܸܺߣ������д���ܺܲ���SSD����ʱҲ �������ԭ��ݣ����ǽ������˳��д��һ�鼯�е�λ�ã��������������ݿ�System R�е�Ӱ��ҳ������ʹ�ò��ɱ�Ĵ洢�ĺô��Ƕ��ģ�����ʹ�÷dz������ѹ���㷨 �����Բ���Ҫ���Dz������Ƶ����⡣����BigTable��������һѡ�����ϵͳ����ƶ� ����ȫ��ͬ������ʵ�ֽ������ظ��ӻ��� �ڶ�����Ҫ�ľ����Dz�֧������ֻ��֤�Ե�����¼��ԭ���ԡ������Ǻö����������� Ҳ�ǵ�����ݿ�ʵ�ָ��ӻ��������½�����Ҫ�ĸ�Դ��BigTable�Ŀ�����ͨ����к� ����ʵ��Ҷ�����ûʲô����ֻҪ��֤�Ե�����¼�ĸ�����ԭ�ӵľͿ����ˡ����� ��Ϊ��֧��������Ҫ���ǵĴ��л�������Ļع��ȡ������⣨һ����Ϊ���ֲ�ʽ���� �е��������Dz����ܵģ�һ�㶼�ó�ʱ������ȵȸ������ⶼ�����ˡ�ϵͳʵ�ֽ�һ ���� ����������ѡ��BigTable���õ�����ݿ⼼�����зdz��࣬��Щ����������BigTable �Ŀ����߷����ģ����������Ƿdz��õĽ�������ϣ����ղ���һ���ܹ���ࡢģ������ ������ʵ�֡�����ʹ�á��������Ժ��ȶ��������ϵͳ����Щ�����磺 1. Locality groups: ָ����һ�����Դ洢�ڵ�����SSTable�У�������ݿ��д�ֱ���� ������ֱ��Ӧ�ã� 2. Tablet�ķָ��붨λ: ����ݿ��������˵����ˮƽ����ʹ��Global index�� 3. ��¡������(Bloom filter): һ�ֲ���ȷ����������ж�һ����ֵ�Ƿ��ڣ��� ¡���������ܻ�˵һ�����������ڵļ�ֵ���ڣ���������˵һ���������ڵ�ֵ�����ڡ�B igTable��Ҫ��ƿ���Ǵ�GFS�ж�ȡ�����������������������?����ˣ�����Ҫ�� ��ȷ��������������ռ�õĿռ�Ҳ��dz�С�� ��֮��BigTable������ֵ����ϸ�Ķ��� �����˵һ�㣬BigTable����ƾ�������������ȡС�ͼ�¼�������DZȽϲ�ģ��� ����ΪҪ����������٣�ҲҪ��GFS�д���һ������8K�Ŀ顣��Ҫ�����ڿͻ�����һЩ�� �棬�������ݷ����ȵ�dz����ԣ���Щ�������û̫���ô�����Ϊһ����˵�ͻ��˵� �������������ܵ��������˵ʵ����̫С�ˡ� http://wangyuanzju.blog.163.com/blog/static/130292008516103751713/ -- Welcome to Database Board ��ӭ������ݿ�� http://bbs.sjtu.edu.cn/bbsdoc?board=database [m[1;37m�� ��Դ:����ˮ˼Դ bbs.sjtu.edu.cn��[FROM: 207.46.55.30][m [1;36m�� �ı���:��Dem �� 07��07��13:59:22 �ı��ġ�[FROM: 207.46.55.30][m
Technical Details
Message-ID:
<4gh9Ga$bGg@bbs.sjtu.edu.cn>Path:
arc1-ca.pugleaf.net!g2news2.google.com!news1.google.com!npeer02.iad.highwinds-media.com!news.highwinds-media.com!feed-me.highwinds-media.com!news.glorb.com!news2.glorb.com!news.neu.edu.cn!news.shec6.edu.cn!SJTUShow Full Headers
Complete Article Headers
X-Google-Thread: 4df683fd51,5f90b7004bb30683,start X-Google-Attributes: gid4df683fd51,public,usenet X-Google-NewGroupId: yes X-Google-Language: Chinese,GB Path: arc1-ca.pugleaf.net!g2news2.google.com!news1.google.com!npeer02.iad.highwinds-media.com!news.highwinds-media.com!feed-me.highwinds-media.com!news.glorb.com!news2.glorb.com!news.neu.edu.cn!news.shec6.edu.cn!SJTU From: Dem.bbs@bbs.sjtu.edu.cn (Galaxy��VOLUNTEERS��Database) Newsgroups: cn.bbs.comp.database Subject: Re: Google�����ļ���֮BigTable Date: 07 Jul 2009 05:59:22 GMT Organization: ��ˮ˼Դ Message-ID: <4gh9Ga$bGg@bbs.sjtu.edu.cn> Mime-Version: 1.0 Content-Type: text/plain; charset="gb2312" Content-Transfer-Encoding: 8bit X-Filename: database/M.1246946340.A