V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  twl007  ›  全部回复第 47 页 / 共 112 页
回复总数  2236
1 ... 43  44  45  46  47  48  49  50  51  52 ... 112  
2020-11-02 03:32:39 +08:00
回复了 Weixk 创建的主题 程序员 有人试过用机器学习的算法炒股吗,收益如何?
我只想知道你怎么生成训练集 这个怕是你连合适的训练集都找不出来吧
2020-10-31 13:59:27 +08:00
回复了 clxtmdb 创建的主题 问与答 为什么这里很少人去关注手机的内部硬件设计?
@whywhywhy Mate40 的成本不高吧 占大头的部分用的都是低于同价位的配件 你用价格说事并不合适
2020-10-31 13:57:03 +08:00
回复了 clxtmdb 创建的主题 问与答 为什么这里很少人去关注手机的内部硬件设计?
据说是乔布斯的要求 就算用户看不到的地方也要做的美观
2020-10-30 23:48:59 +08:00
回复了 FEDT 创建的主题 iPhone iPhone12 屏幕清晰度为何比不上 6sp
@FEDT 对比度高 满足 HDR 的需求
2020-10-14 19:54:50 +08:00
回复了 py2cn 创建的主题 奇思妙想 想知道大家对国产开源的 MATLAB 怎么看?
@zy8848 那我们是不是写软件的研究成果也要自己弄呢?用了别人的论文成果算不算全面自主呢? Matlab 凝聚了多少人的成果才成为现在这个样子的
2020-10-14 15:52:08 +08:00
回复了 py2cn 创建的主题 奇思妙想 想知道大家对国产开源的 MATLAB 怎么看?
Matlab 的仿真都是实际测试过的 所以做仿真的敢拿来直接用 Python 的仿真貌似误差还是很大的 Matlab 用的做多的地方其实还是仿真 而不是数据处理
2020-10-11 19:13:58 +08:00
回复了 asdgsdg98 创建的主题 宽带症候群 为什么学校要屏蔽公共 DNS 服务器的 IP?
@asdgsdg98 唔 可能 PPPOE 的确更好些?🤷‍♂️

最好还是同时向学校和运营商一起反映下 直接说是缓存服务器的问题 当然还可以找个网络中心的工作干干么~
2020-10-11 18:50:38 +08:00
回复了 asdgsdg98 创建的主题 宽带症候群 为什么学校要屏蔽公共 DNS 服务器的 IP?
@asdgsdg98 这个有可能是运营商设备 运营商的缓存不熟的其实蛮广的 当然如果学校为了省带宽钱装这个 也说得过去

PPPOE 现在不知道是不是主流了 我毕业前学校在研究 PPPOE 倒是真的 貌似是因为限速好做?好像比早先的 802.11x 有优势
2020-10-11 18:44:17 +08:00
回复了 asdgsdg98 创建的主题 宽带症候群 为什么学校要屏蔽公共 DNS 服务器的 IP?
@asdgsdg98 也有可能是运营商帮学校部署的设备 有的学校是完全自建 有的是跟运营商合作建立 你们那个应该是合建的

可以同时找学校和运营商一起反映这个问题 取决于这个设备是谁在部署管理
2020-10-11 18:24:04 +08:00
回复了 asdgsdg98 创建的主题 宽带症候群 为什么学校要屏蔽公共 DNS 服务器的 IP?
@asdgsdg98 应该是缓存服务器压力大吧 或者带宽不够了?其实可以去招网络中心老师反映一下 其实可以调整一下的 感觉大概率是缓存服务器带宽不够了…… 基于学校对网络的投入 其实都是可以预料的 哎

你换了 DNS 基本就是绕过了缓存服务器了 直接走了外网的出口 如果这样不卡的话判断一下要不就是缓存服务器带宽不够 要不就是缓存服务器自己选了一个很差的哔哩哔哩的 CDN 节点
2020-10-11 18:12:52 +08:00
回复了 asdgsdg98 创建的主题 宽带症候群 为什么学校要屏蔽公共 DNS 服务器的 IP?
@asdgsdg98 一般都是用来做 DNS 劫持来切到缓存服务器的 如果你换到别的 DNS 这个其实就很难起作用了 所以有的学校会有这个限制 要不也没别的手段可以强制学生用这个缓存服务器了

缓存里面其实不只是常用软件 还有大家看的优酷啥的 那才是大头

所以有时候会觉得速度慢 其实就是缓存服务器有问题 我当年就遇到过某软件缓存服务器就缓存了一部分……
2020-10-11 17:44:48 +08:00
回复了 asdgsdg98 创建的主题 宽带症候群 为什么学校要屏蔽公共 DNS 服务器的 IP?
多半是因为学校内部有缓存服务器 你可以自己解析一下一些资源的 ip 地址 应该都被解析到缓存服务器了

实际上绕过限制也很简单 换成 tcp 协议就行了 一般好像不封 tcp
@alexanderchiu 对 第一层其实存具体的节点和文件位置就行 止痒方便你在 vfs 或者 fuse 上面写的时候能生成具体的目录结构 然后 storage node 上面再去具体负责单个文件的存储 然后用 key-value 的数据库来做索引 负责把文件从具体位置捞出来

用 Hash 得话稍微注意一下文件目录的数量就行 或者你可以换个别的方式 Hash 的问题就是在于你的一些参数变了可能所有文件的位置都要重新来一遍 不过因为是毕业设计所以应该也不用去考虑这些复杂的问题 但是如果文件数目多的话你要注意具体的 Node 上面单个目录下文件的数量 具体的设计可以参考 Ceph 的 Filestore 的实现
开源的话有个符合你要求的
https://github.com/chrislusf/seaweedfs
LevelDB RocksDB 不要直接拿来存文件 用来存你具体文件的 block 的索引就好 Ceph 的 BlueStore 底层就是用 RocksDB 来存文件块索引的 相当于 XFS 里面 inode

分布是的话你套两层就行了 第一层是分布式的 key-value 数据库 用来记录所有文件的记录以及这些文件存在哪些节点上方 在单个节点上你可以直接把文件按照一定规则写入到不同的目录下面 然后有一个 daemon 一类的帮你存取文件 如果真的是真海量的话 你具体的 storage node 上面其实也需要一套 RocksDB 来帮你缓存具体的文件位置来加快索引速度 如果问减少的话其实按照一定 hash 来存就行 你甚至可以在每个机器上面跑一个 Minio 然后再用一个集中化的数据库来管理那些文件存到那个 Minio 上面都行……
套个 rocksdb 也没啥不好的 参考 Ceph 的 OSD 部分 实现 用 rocksdb 去缓存整个存入文件的索引 可以看看老版本基于 Filesystem 的实现

基本就是文件切块直接存盘到系统 fs 上面 然后按照一定规则生成目录 避免 fs 在某个目录下太多文件导致效率降低 然后利用 key-value 一类的数据库来存文件的具体索引 分布式的话就在上面再套一个 你可以试试 Cassandra 或者选其他的分布式 key-value 数据库 记录一下某个文件具体落到某个那个位置去就行 然后具体位置再由具体的 key-value 去把文件块找出来返回就行

简单点的实现可以参考下 Minio ?但是那个是对象存储 不知道是不是符合你导师的意思就是了…… 看你导师的意思应该是让你实现个基于块存储吧
1 ... 43  44  45  46  47  48  49  50  51  52 ... 112  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1448 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 36ms · UTC 17:24 · PVG 01:24 · LAX 09:24 · JFK 12:24
Developed with CodeLauncher
♥ Do have faith in what you're doing.