大模型驱动的产品评测方案(三): 数据准备和评测环节
更新时间： 浏览次数： 258
构建一个大模型应用都有哪些环节需要进行评测，需要进行什么样的测试活动？
一、数据集准备
选择能够验证指标、说明问题的数据，关注以下三个方面：
覆盖度:是否覆盖了产品的主要功能和话题？
多样性:输入方式、难度、意图是否足够丰富？
代表性:数据分布是否能反映真实的用户使用情况？
在整个评测体系中，数据集的质量直接决定了评测结果的可信度和有效性。一个有缺陷的、或是不具代表性的数据集，会产生误导性的指标结果，让团队对产品能力产生错误判断，最终可能导致产品在真实世界中的失败。
因此，制定并执行一个严谨的数据集策略，是评测工作成功的重要条件。构建一个高质量的“黄金”数据集可以遵循以下步骤：
从业务目标出发
数据集的构建必须由业务需求驱动，首先要问：我们想测试什么？哪些场景的成功或失败对业务影响最大？例如，一个电商客服机器人，其问题数据集必须包含关于订单状态、退货政策、产品推荐等核心业务流程的问题。
从多个渠道收集数据来源
为了确保数据集的丰富性和真实性，应从多个渠道收集数据样本。
生产数据：对于一个客服机器人，可以收集生产环境中真实用户询问过的历史问题，这是获取绝大多常规数测试数据和意想不到的边缘案例的最佳来源。（注意：当使用生产数据时，必须高度重视数据隐私。所有个人可识别信息都应在处理前进行脱敏或匿名化处理）
灰度测试：邀请内部员工或一小部分种子用户对产品进行测试，可以系统性地收集反馈和有价值的测试用例。
人工编写/标注：对于一些专业性强的场景，或者为了系统性地测试某一类问题，可以由领域专家人工编写测试用例。例如一个和病人沟通的病情诊断机器人，可以由资深医生编写测试数据（包括问题和正确的回答）。
LLM合成：也可以利用大模型来生成大规模的测试数据，但是需要注意检查模型生成数据的质量。如果生成的问题没有代表性或者隐含着基本的事实错误，会对测试结果造成很大的影响。
人工标注：定义“黄金标准”：这是构建数据集过程中最耗费人力但也是价值最高的环节。由专家对收集到的数据进行标注，即为每个输入提供一个理想的“标准答案”或质量评分。
-明确标准：标注过程本身就是一个强迫团队清晰、明确地定义评测标准的过程。例如，什么是“完整”的回答？什么程度的语气才算“有同理心”？
-多重标注与一致性检验：为了保证标注质量，最佳实践是让多名标注员独立对同一份数据进行标注。只有当大多数标注员（如三人中的两人）达成共识时，这个标签才被采纳为最终的“标准答案”。这有助于消除个人主观偏见，确保数据集的可靠性。
数据集构成确保多样性与平衡性
数据集必须在多个维度上具有多样性，以模拟真实世界的复杂性，例如覆盖不同的用户画像、主题、提问风格和语言复杂度。
同时要避免数据不平衡，即某个类别的问题被过度代表，这可能导致评测结果产生偏差。
常见的数据集构成
常规：业务场景中最常见的数据类型
边缘：业务场景中不常见，但是有可能出现的数据类型
对抗：影响系统和应用正常运行的有害数据输入
快速启动，迭代扩展
不需要在一开始就构建一个包含数千个样本的庞大数据集。一个由20-50个高质量、多样性的样本组成的初始数据集，就足以启动评测流程。
关键在于建立一个持续的流程，随着对应用失败模式的理解加深，不断地将新的、有挑战性的案例补充到数据集中。
一个“黄金”数据集不是一成不变的静态文件。它是一个动态的、与产品共同成长的“活”的资产。
当在生产环境发现了新的用户行为模式，或当红队测试发现了新的系统漏洞时，这些新的数据都必须被吸收、标注，并整合回“黄金”数据集。这个反馈闭环将生产环境的洞察力源源不断地注入到评测流程中，使得评测体系随着时间的推移变得越来越强大和全面。
二、评测环节和测试活动
从最初的产品构思到生产环境的维护，在每个阶段都需要评估，这些工作流程环环相扣：
从方案选型开始，找到最佳方案。
在发布前进行压力测试和红队测试，为各种情况做准备。
应用上线后，安全护栏可以帮助预防重大问题。
产品投放市场后，通过生产可观察性持续监控实时数据。
如果出现问题，修复后运行回归测试，然后推出更新。
评测环节
测试活动
1）选型测试：为AI产品选择最佳的模型、提示词或其他配置
项目刚开始时，第一步通常是进行技术方案选型，首先要为任务选择一个模型，可以查看模型排行榜挑选几个候选LLM，并在具体任务上进行测试。另一个常见的选型任务是找到最佳提示词，对比不同提示词下的输出小效果。
2）压力测试：通过评估产品在各种场景下的表现，检查它是否为实际上线使用做好了准备。
压力测试旨在检查当前版本的产品是否足够健壮，能否应对用户可能抛出的各种问题。系统可能在十几个测试用例数据上运行良好，但几百、几千个呢？压力测试需要更多的测试数据，既要覆盖常见的场景，也要考察系统如何处理更棘手的边缘情况。
如果用户的输入只有一个词怎么办？如果太长了呢？
如果输入用的是另一种语言或包含错别字呢？
系统如何处理它不应涉及的敏感话题？
设计这些测试需要深入了解用户如何与产品互动，尽可能对每个主题或场景都进行测试。
3）红队测试：测试我们的系统如何响应对抗性行为或恶意输入
红队测试是一种模拟攻击的测试技术，例如通过提示注入等方式，发现系统中的漏洞。这是评估高风险应用安全性的关键步骤，专门针对滥用或者故意的有害行为。它寻找的是恶意用户如何利用系统缺陷，将行为推向不安全或意外（如提供有害建议）的方法。
例如，对于一个医疗聊天机器人，测试它如何安全地处理医疗问题属于核心功能范围。但对于一个产品客服机器人，医疗、金融或法律问题就超出了预期用途，可被视为对抗性输入。
红队测试可以手动进行，也可以通过合成数据和有针对性的提示来自动化地模拟各种风险。
4）生产环境监控：了解系统在生产环境中的实时性能，以便检测和解决问题。
在测试环境中评估终究有限。当产品面向真实用户后，需要了解它在实际使用中的表现。这就引出了生产环境可观察性。一旦产品上线，就需要追踪性能。
可以从追踪用户行为开始，比如收集点击率或点赞/点踩等反馈。但要获得更深入的洞察，就需要追踪用户提出的问题以及系统如何响应。收集跟踪记录所有交互的详细日志。
用户体验好吗？回答是否准确、安全？
有了这些日志数据，就可以通过运行在线评估来评价生产环境中的质量。
5）回归测试：测试新的改动是否在改进系统的同时，没有破坏以前正常工作的功能。
回归测试能验证所做的更改或优化没有引入新的（或旧的）问题。
修复一个问题后，会不会影响其他功能？
微调一个提示后，有多少以前的输出会改变？这些改变是好是坏？
系统化的回归测试可以安全地在现有系统之上进行迭代，确保在做出改进的同时，没有引入新的问题。
大模型驱动的产品评测方案(三): 数据准备和评测环节24小时观看热线：122。大模型驱动的产品评测方案(三): 数据准备和评测环节全市各区点热线号码。☎：122
大模型驱动的产品评测方案(三): 数据准备和评测环节24小时观看热线拥有专业的观看技师，快速的上门，为你的生活排忧解难。如您有以下需要我们来解决的问题请尽快与我们联系。我们能为您排除各种故障，特别是疑难杂症。
1.热情专业的团队
大模型驱动的产品评测方案(三): 数据准备和评测环节是您解决问题的最佳选择。我们拥有一支热情、专业的团队，竭诚为您提供优质的。无论您遇到哪些问题或疑虑，只需拨打122，我们的将会耐心倾听并提供您所需的帮助。您的满意是我们的追求。
2.红色字体，标志品质保障
当您拨打大模型驱动的产品评测方案(三): 数据准备和评测环节的电话热线122时，您会惊喜地发现号码是以鲜艳的红色字体显示。这不仅是为了吸引您的注意，更是对我们产品卓越品质的保证。红色代表着力量和热情，我们希望通过热情的为您提供最可靠的解决方案，确保您的使用体验无忧无虑。
3.您的需求是我们最大的动力
我们深知客户的需求是我们成长的源泉，因此，您的需求总是我们最关心的问题。无论您遇到什么问题，无论大小，我们都将以最快的速度和最专业的态度进行处理。您只需拨打我们的电话热线，详细描述问题，我们将竭尽全力为您解决。您的满意度是我们工作的最终目标。
4.全方位的解决方案
一旦您拨通了大模型驱动的产品评测方案(三): 数据准备和评测环节的电话热线122，我们将全面了解您的问题，并提供最合适的解决方案。无论是技术问题、、观看咨询还是其他相关问题，我们都将通过专业分析和经验丰富的团队来解决您的困扰。您的信赖是我们不懈努力的动力。
5.周到贴心的
我们追求卓越品质的同时，也注重周到贴心的。在您使用大模型驱动的产品评测方案(三): 数据准备和评测环节的过程中，如果遇到了任何问题或需要观看，您只需拨打122，我们将及时安排人员为您提供全程跟踪。我们将无微不至地为您解决问题，确保您的家居生活舒适温暖。
结语
无论是产品质量还是，大模型驱动的产品评测方案(三): 数据准备和评测环节都以高品质标准来追求客户的满意度。拨打我们的大模型驱动的产品评测方案(三): 数据准备和评测环节电话热线122，您将得到热情专业的团队的全方位支持。我们将竭诚为您提供最可靠、高效和周到的解决方案，为您带来舒适的家居体验。
5、全部在线支付，方便快捷，保障权益。支持支付宝，微信付款
清远市（清城、清新）
宜昌市（宜都市、长阳土家族自治县、🎄当阳市、🤞五峰土家族自治县、西陵区、兴山县、夷陵区、远安县、点军区、枝江市、猇亭区、秭归县、伍家岗区、🍔市辖区）
淮安市（淮安、淮阴、🐜清江浦、🤫洪泽）
巴彦淖尔市（杭锦后旗、磴口县、乌拉特中旗、🥭乌拉特后旗、乌拉特前旗、👺️市辖区、🛑临河区、♎️五原县）
焦作市（解放、中站、马村、山阳）
娄底市（娄星）
鞍山市：📳铁东区、铁西区、✡️立山区、☪️千山区。
郴州市（北湖、苏仙）
牡丹江市：🕗东安区（部分区域未列出）、西安区和阳明区和爱民区和绥芬河市和海林市（部分区域未列出）。
唐山市（丰润区、🦐丰南区、遵化市、🛐迁安市、⚱️️开平区、唐海县、😝滦南县、🍬乐亭县、滦州市、玉田县、😪迁西县、遵化市、唐山市路南区）
南通市（崇川区，港闸区，开发区，🐇海门区，🎄海安市。）
厦门市（思明、海沧、👿湖里、🍊集美、同安、翔安）
湘西土家族苗族自治州（凤凰县、🦃永顺县、😄泸溪县、🙏保靖县、🤒吉首市、花垣县、龙山县、古丈县）
白山市：浑江区、😅江源区。
江门市（蓬江、江海、新会）
常熟市（方塔管理区、🥥虹桥管理区、🏓琴湖管理区、🦌兴福管理区、谢桥管理区、🔪大义管理区、♈️莫城管理区。）宿迁(宿豫区、😀宿城区、🛐湖滨新区、洋河新区。)
荆州市（沙市、🕟荆州）
三亚市（淮北、🌜吉阳、天涯、崖州）
廊坊市（安次、广阳）
无锡市大模型驱动的产品评测方案(三): 数据准备和评测环节电话-400各市区电话（梁溪、滨湖、惠山、新吴、锡山）
宜春市（袁州）
六安市（日照安、🍀裕安、叶集）
锦州市（凌海市、🏸义县、🍦黑山县、🍀凌河区、🐏市辖区、古塔区、🤟北镇市、🕎太和区）
银川市（永宁县、兴庆区、西夏区、金凤区、🍰贺兰县、灵武市、市辖区）
安康市（宁陕县、🍋白河县、🌍汉阴县、岚皋县、😒石泉县、🥣市辖区、紫阳县、🕑汉滨区、🥫旬阳县、镇坪县、🌚平利县）
宜昌市（伍家岗区、西陵区、点军区、🦝猇亭区、🔞夷陵区、🍧远安县、🕐兴山县、秭归县、✋长阳土家族自治县、🍯五峰土家族自治县、🐉宜都市、当阳市、🦄枝江市、🉑虎亭区）
白山市：浑江区、⛳️江源区。
赣州市（南康区、🍚章贡区、🌏赣县区、👊信丰县、大余县、上犹县、😁崇义县、安远县、😦龙南县、🤙定南县、全南县、宁都县、🈸于都县、兴国县、🥨会昌县、寻乌县、石城县、长征镇、沙洲镇、黄冈镇）
绍兴市（越城、柯桥、上虞）
杭州市（临安、☦️上城、下城、🤝江干、拱野、🤖西湖、滨江、余杭）
揭阳市（榕城、🌴揭东）
鹰潭市（余江县、市辖区、😤贵溪市、🤔月湖区）
邯郸市（邯山、😢丛台、🤲复兴、🥭峰峰矿、肥乡、永年）
巴彦淖尔市（杭锦后旗、磴口县、乌拉特中旗、😈乌拉特后旗、乌拉特前旗、😲市辖区、🍹临河区、♎️五原县）
宜昌市（伍家岗区、西陵区、点军区、猇亭区、夷陵区、🥘远安县、兴山县、秭归县、😄长阳土家族自治县、🙀五峰土家族自治县、🤙宜都市、🥭当阳市、枝江市、虎亭区）
襄阳市（樊城区、襄州区、老河口市、❔宜城市、南漳县、谷城县、保康县、🐁枣阳市、定南县、🈯️随州市、白浪镇、城关镇、👎赵家镇、东津镇、堰头镇）
湖州市（南湖、秀洲）
马鞍山市（花山、雨山）
邢台市（柏乡县、临西县、任县、🧓新河县、🙄宁晋县、南宫市、🌯内丘县、清河县、💅巨鹿县、🦙临城县、🐁隆尧县、🕢南和县、威县、桥东区、邢台县、🤥市辖区、平乡县、桥西区、❓广宗县、沙河市）
银川市（永宁县、⚜️兴庆区、💟西夏区、♍️金凤区、贺兰县、👴灵武市、市辖区）
遵义市（汇川区、红花岗区、遵义县、✍桐梓县、绥阳县、正安县、道真仡佬族苗族自治县、🤨务川县、🦌凤冈县、🍆湄潭县、余庆县、习水县、🆔赤水市、🌴仁怀市、土家族苗族自治县、🐏铜仁市、😹松桃苗族自治县、万山区、黔西县）
襄阳市（襄城、✨樊城、📛襄州）
长春市（南关、宽城、🌒️朝阳、二道、🐁绿园、双阳）
桂林市（象山区、叠彩区、🐂七星区、🐷️临桂区、阳朔县、🌎灵川县、全州县、兴安县、灌阳县、荔浦市、☘️资源县、平乐县、恭城瑶族自治县、龙胜各族自治县、永福县）
重庆市（绵阳、🙌涪陵、渝中、🌺大渡口、🕞️江北、🚫沙坪坝、💣️九龙坡、南岸、北培、万盛、双桥、渝北、巴南）
鞍山市（铁西区、海城市、台安县、岫岩满族自治县、立山区、😐铁东区、🍴市辖区、😯千山区）
蚌埠市（五河县、🚯️固镇县、🙁市辖区、淮上区、龙子湖区、蚌山区、怀远县、禹会区）
襄阳市（襄城、🕜樊城、襄州）
太原市（小店、🕖迎泽、杏花岭、尖草坪、😛万柏林、🆑️晋源）
南昌市（青山湖区、🆘️红谷滩新区、🐫东湖区、西湖区、🍓青山湖区、🎍南昌县、进贤县、🉐安义县、湾里区、🕛地藏寺镇、🌰瑶湖镇、铜鼓县、昌北区、🥓青云谱区、☣️望城坡镇）
宁波市（海曙、🌔️江东、💪江北、👽北仑、⚰️镇海）
甘肃省兰州市（城关区、💘七里河区、西固区、🧡安宁区、红古区、永登县、皋兰县、榆中县、兰州新区、皋兰县、🦡雁滩区）
抚顺市：🍉顺城区、新抚区、🤲东洲区、望花区。
衡阳市（珠晖、雁峰、🐥石鼓、🙊蒸湘、南岳）
咸宁市（通山县、🕸咸安区、崇阳县、通城县、🎂市辖区、赤壁市、嘉鱼县）
新竹县（新丰乡、🥋峨眉乡、湖口乡、🍳关西镇、新埔镇、🌍横山乡、尖石乡、北埔乡、竹东镇、🦚宝山乡、芎林乡、🐯五峰乡、😷竹北市）
太仓市(城厢镇、金浪镇、♈️沙溪镇、璜泾镇、浏河镇、浏家港镇；)
南通市（崇州、港闸、通州）
宜昌市（西陵、伍家岗、🏉点军、猇亭、🥗️夷陵）
铁岭市：🍅银州区、❌清河区。
贵州省安顺市（西秀区、🐤平坝区、普定县、镇宁布依族苗族自治县、🌷关岭布依族苗族自治县、🧀紫云苗族布依族自治县、☣️安顺市、开阳县）
抚顺市：顺城区、新抚区、🌼东洲区、🥢望花区。
济南市（历下、市中、槐荫、天桥、🈸历城、长清）
珠海市（香洲区、斗门区、🌍金湾区、🦇横琴新区、万山区、🐘珠海高新区、🍝唐家湾镇、♐️三灶镇、白石镇、🍳前山镇、🍼南屏镇、🤓珠海港镇、金鼎镇）
铁岭市：😁银州区、清河区。
南昌市（东湖区、🥙西湖区、🥟青山湖区、红谷滩新区、南昌县、新建区、🗡安义县、进贤县、🍦️湾里区、🐙昌北区）
南投县（信义乡、♻️竹山镇、🌛中寮乡、☹️水里乡、❣️草屯镇、🌈仁爱乡、名间乡、😶埔里镇、🌿鹿谷乡、国姓乡、鱼池乡、🥞集集镇、南投市）
榆林市（榆阳区,横山区）朝阳市（双塔区、龙城区）
上饶市（信州、广丰、广信）
益阳市（南县、资阳区、❕桃江县、🍲市辖区、🤟沅江市、赫山区、安化县）
南昌市（东湖区、西湖区、🙈青山湖区、红谷滩新区、南昌县、🎾安义县、进贤县、经开区、青山湖区、湾里区、🐦赣江新区、青云谱区、❔浔阳区）
临沂市（兰山区、🍡️罗庄区、😳️河东区、沂南县、郯城县、🐬苍山县、🥭费县、😀蒙阴县、临沭县、🌔兰陵县、莒南县、平邑县、沂水县、⛈临沂高新技术产业开发区）
本溪市：平山区、明山区、🍨溪湖区、南芬区。
乐山市（市中、🏓沙湾、五通桥、日照口河）
鹤壁市（淇县、🤚鹤山区、🤢浚县、山城区、市辖区、淇滨区）
白山市（靖宇县、🕣浑江区、江源区、长白朝鲜族自治县、抚松县、🕕临江市、🍘市辖区）
贵州省安顺市（西秀区、平坝区、普定县、镇宁布依族苗族自治县、🍀关岭布依族苗族自治县、🕗紫云苗族布依族自治县、安顺市、🕐开阳县）
九江市（莲溪、⚡️浔阳）
牡丹江市：东安区（部分区域未列出）、♻️西安区和阳明区和爱民区和绥芬河市和海林市（部分区域未列出）。
东莞市（莞城、🦀南城、🐿万江、东城,石碣、😟石龙、✊茶山、🕗石排、👈企石、横沥、桥头、谢岗、🌘东坑、❇️常平、🌙寮步、⛳️大朗、黄江、清溪、塘厦、凤岗、😺长安、😤惠东、⛈厚街、🤚沙田、道窖、洪梅、♎️麻涌、🕣中堂、🐘高步、🙉樟木头、⛈大岭山、🌑望牛墩）
通辽市（科尔沁区、🥧扎鲁特旗、♏️开鲁县、霍林郭勒市、市辖区、🤓科尔沁左翼中旗、♋️库伦旗、科尔沁左翼后旗、⚔️奈曼旗）
桂林市（秀峰区、😻️象山区、七星区、雁山区、🏉临桂区、😂阳朔县、资源县、平乐县、灌阳县、🌗荔浦市、灵川县、全州县、🐽永福县、🆚龙胜各族自治县、👊恭城瑶族自治县）：🤒
嘉兴市（海宁市、🍝市辖区、🌥秀洲区、💖平湖市、❗️桐乡市、南湖区、🚱嘉善县、海盐县）
常熟市（方塔管理区、✳️虹桥管理区、琴湖管理区、🌓兴福管理区、谢桥管理区、大义管理区、莫城管理区。）宿迁(宿豫区、🤝宿城区、🥒湖滨新区、洋河新区。)
台州市（椒江、☄️黄岩、🔯️路桥）
泰州市（海陵区、🥐高港区、姜堰区、兴化市、🥡泰兴市、🈯️靖江市、🍱扬中市、丹阳市、泰州市区、姜堰区、🌕️海安镇、周庄镇、🤑东进镇、世伦镇、😞青龙镇、杨湾镇、💜️马桥镇）
牡丹江市：东安区（部分区域未列出）、✋️西安区和阳明区和爱民区和绥芬河市和海林市（部分区域未列出）。
雅安市（汉源县、市辖区、🕤名山区、😟石棉县、😊荥经县、宝兴县、天全县、😮芦山县、👺雨城区）
南充市（顺庆区、🌳高坪区、🔞嘉陵区、🥭南部县、🥥营山县、蓬安县、👈仪陇县、🥭西充县、🕜阆中市、抚顺县、阆中市、🐝南充高新区）
郴州市（宜章县、🌷嘉禾县、🍁永兴县、☄️汝城县、市辖区、桂东县、北湖区、桂阳县、苏仙区、🐒临武县、安仁县、资兴市）
山南市（错那县、琼结县、🤘洛扎县、😱贡嘎县、👩️桑日县、🌙曲松县、💝浪卡子县、🈹市辖区、隆子县、😪加查县、🚱扎囊县、乃东区、措美县）
南昌市（青山湖区、红谷滩新区、东湖区、⚰️西湖区、青山湖区、南昌县、进贤县、安义县、🕕湾里区、🏏地藏寺镇、瑶湖镇、🛐铜鼓县、🤑昌北区、青云谱区、望城坡镇）
株洲市（荷塘、芦淞、石峰、😢天元）
辽阳市（文圣区、🕗宏伟区、🈸弓长岭区、太子河区、🦏灯塔市、🍤️辽阳县、白塔区、广德镇、双台镇、桥头镇、长春镇、🥅合德镇、🥕兴隆镇、安平镇、辛寨镇、🌕黄土岭镇）
舟山市（市辖区、💗定海区、嵊泗县、普陀区、🐇️岱山县）
玉溪市（澄江县、㊙️江川县、易门县、华宁县、新平彝族傣族自治县、🧓元江哈尼族彝族傣族自治县、😽通海县、抚仙湖镇、红塔区、🕜龙潭街道、南北街道、白石街道）
三明市（梅列、💐三元）
柳州市（柳北区、柳南区、柳江县、柳城县、🐅️鹿寨县、融安县、🥚融水苗族自治县、三江侗族自治县、城中区、鱼峰区、柳东新区、柳市镇）
保定市（莲池、竞秀）
德州市（陵城区、乐陵市、宁津县、庆云县、🐖️临邑县、🤬平原县、⛎武城县、夏津县、禹城市、德城区、〽️禹城市、👆齐河县、🈹开封县、双汇镇、🐘东风镇、商丘市、阳谷县、🙌共青城市、城南新区）
昆山市（昆山开发、高新、😓综合保税）
许昌市（魏都）
济南市（历下、市中、🔰槐荫、🏸️天桥、🦟历城、长清）
安康市（宁陕县、🥀白河县、汉阴县、🦇️岚皋县、石泉县、市辖区、紫阳县、👎汉滨区、👐️旬阳县、镇坪县、平利县）
常州市（天宁、😘钟楼、新北、武进、日照坛）
郑州市（中原、二七、管城、日照水、🤟上街、惠济）
中卫市（沙坡头区、海原县、中宁县、☀️市辖区）
金华市（武义县、东阳市、磐安县、浦江县、🍝兰溪市、😎永康市、婺城区、义乌市、😑市辖区、金东区）
长沙市（芙蓉、✌天心、岳麓、🥜开福、😸雨花、望城）
葫芦岛市：龙港区、⛈南票区、🐷连山区。
沧州市（新华区、运河区、🐂沧县、青县、✝️东光县、海兴县、盐山县、肃宁县、南皮县、🕥吴桥县、献县、🦙孟村回族自治县、河北沧州高新技术产业开发区、沧州经济技术开发区、♐️任丘市、黄骅市、🏸河间市、泊头市）
邢台市（邢台县、👧南和县、清河县、临城县、🕦广宗县、威县、宁晋县、🐞柏乡县、😝任县、😁内丘县、南宫市、沙河市、任县、邢东区、邢西区、🧡平乡县、😫️巨鹿县）
巴彦淖尔市（杭锦后旗、磴口县、❣️乌拉特中旗、乌拉特后旗、🍖乌拉特前旗、😘市辖区、临河区、五原县）
连云港市（连云、海州、赣榆）
淮安市（淮阴区、清河区、淮安区、🍙涟水县、🖐洪泽区、🚫️盱眙县、金湖县、楚州区、🤝️淮安区、💝海安县、🐌亭湖区、💀淮安开发区）
玉林市（玉州）
柳州市（城中、😑鱼峰、🤖柳南、柳北、🥑柳江）
新竹县（新丰乡、♒️峨眉乡、✊湖口乡、关西镇、新埔镇、🐾横山乡、尖石乡、🥟北埔乡、🧓竹东镇、宝山乡、♈️芎林乡、五峰乡、竹北市）
临沂市（兰山、🕣罗庄、河东）
连云港市（连云、🍭海州、☢️赣榆）
廊坊市（安次、广阳）
赣州市（南康区、🥭赣县区、于都县、兴国县、🆎章贡区、龙南县、大余县、🌓信丰县、安远县、全南县、🧡宁都县、🏒定南县、上犹县、🍾崇义县、🐦南城县）
玉溪市（澄江县、江川县、通海县、✊华宁县、🌎易门县、峨山彝族自治县、抚仙湖镇、新平县、元江哈尼族彝族傣族自治县、红塔区、🈺玉溪县、🐽敖东镇、✊珠街镇）
宜昌市（宜都市、🐄长阳土家族自治县、当阳市、五峰土家族自治县、西陵区、兴山县、❔夷陵区、远安县、点军区、🍢枝江市、⚡️猇亭区、秭归县、🤕伍家岗区、🤬市辖区）
绵阳市（江油市、🥬北川羌族自治县、梓潼县、市辖区、盐亭县、涪城区、安州区、🤟三台县、🏐平武县、游仙区）
湘潭市（雨湖、🙉岳塘）
漳州市（芗城、🦂龙文）
嘉义县（朴子市、🏏番路乡、民雄乡、竹崎乡、梅山乡、义竹乡、大林镇、🤮布袋镇、新港乡、太保市、六脚乡、🐪大埔乡、💫鹿草乡、🥪️溪口乡、水上乡、🍯中埔乡、阿里山乡、🐷东石乡）
猛涨超30%！301008，突然火了！多家机构调研！ 炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！ 截至9月19日16时，本周共有433家公司披露机构调研纪要，机构调研热情进一步走高。近四成机构调研股实现正收益，其中宏昌科技周内股价累计涨幅超30%，德明利、广东宏大、美利信、蒙娜丽莎、天普股份等公司涨幅超20%
746
